Hadoop HFTP 指导

本文固定链接:https://www.askmac.cn/archives/hadoop-hftp-guide.html

原文地址:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/Hftp.html

1介绍

 

HFTP 是hadoop文件系统用来让你从一个远程的hadoop HDFS集群中读取数据的组件。这个读取是通过HTTP,并且数据源是DataNodes。HFTP是一个只读的文件系统,当你试图用来写入数据或者修改文件系统状态时,会抛出异常。

HFTP 主要的帮助在有多个HDFS集群,并存在多个版本时,将数据从一个集群迁移到另一个。HFTP 在不同版本的HDFS中是兼容写的。你可以操作例如(www.askmac.cn):

hadoop distcp -i hftp://sourceFS:50070/src hdfs://destFS:8020/dest

注意NFTP是只读的,所以目标端必须是HDFS文件系统。(在这个例子中,distcp会使用新文件系统的配置运行。)

 

另外,HSFTP,默认使用HTTPS。这意味着数据在传输的时候会被加密。

 

 

2 实现

 

HFTP的代码在java 类org.apache.hadoop.hdfs.HftpFileSystem 中。同样的,HSFTP也在org.apache.hadoop.hdfs.HsftpFileSystem中实现(www.askmac.cn)

 

 

3 配置选项

 

名称 描述
dfs.hftp.https.port 远程集群的HTTPS端口。如果不设置,将回落到dfs.https.port
hdfs.service.host_ip:port 指定分配HFTP文件系统的服务名(与安全子系统相关)运行与ip:port

Posted

in

by

Tags:

Comments

Leave a Reply

Your email address will not be published. Required fields are marked *