Hadoop文件系统— 通过FileSystem API 读取数据

134 阅读 0 评论 89 点赞

我是靠谱客的博主怕孤独毛巾，这篇文章主要介绍Hadoop文件系统— 通过FileSystem API 读取数据，现在分享给大家，希望可以做个参考。

通过FileSystem API 读取数据

Hadoop文件系统通过Hadoop Path对象（而非java.io.File对象表示，因为它的语义与本地文件系统联系太过紧密）来代表文件。

复制代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

import java.net.URI;

public class FileSystemDoubleCat{
    public static void main(String[] args) throws Exception{
        String uri=args[0];
        Configuration conf =new Configuration();
        FileSystem fs =FileSystem.get(URI.create(uri),conf);
        FSDataInputStream in =null;
        try{
             in=fs.open(new Path(uri));
             IOUtils.copyBytes(in,System.out,4096,false);
             in.seek(0);
            IOUtils.copyBytes(in,System.out,4096,false);
        }finally {
            IOUtils.closeStream(in);
        }
    }
}