【dbdao Hadoop 大数据学习】HFTP 指导

dbDao.com 引导式IT在线教育

Hadoop 技术学习QQ群号  : 134115150

本文固定链接:http://www.askmaclean.com/archives/hadoop-hftp-guide.html

原文地址:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/Hftp.html

1介绍

 

HFTP 是hadoop文件系统用来让你从一个远程的hadoop HDFS集群中读取数据的组件。这个读取是通过HTTP,并且数据源是DataNodes。HFTP是一个只读的文件系统,当你试图用来写入数据或者修改文件系统状态时,会抛出异常。

HFTP 主要的帮助在有多个HDFS集群,并存在多个版本时,将数据从一个集群迁移到另一个。HFTP 在不同版本的HDFS中是兼容写的。你可以操作例如(www.askmaclean.com):

hadoop distcp -i hftp://sourceFS:50070/src hdfs://destFS:8020/dest

注意NFTP是只读的,所以目标端必须是HDFS文件系统。(在这个例子中,distcp会使用新文件系统的配置运行。)

 

另外,HSFTP,默认使用HTTPS。这意味着数据在传输的时候会被加密。

 

 

2 实现

 

HFTP的代码在java 类org.apache.hadoop.hdfs.HftpFileSystem 中。同样的,HSFTP也在org.apache.hadoop.hdfs.HsftpFileSystem中实现(www.askmaclean.com)

 

 

3 配置选项

 

名称 描述
dfs.hftp.https.port 远程集群的HTTPS端口。如果不设置,将回落到dfs.https.port
hdfs.service.host_ip:port 指定分配HFTP文件系统的服务名(与安全子系统相关)运行与ip:port

关注刘相兵的新浪微博

扫码加入微信Oracle小密圈,了解Oracle最新技术下载分享资源

Speak Your Mind

沪公网安备 31010802001379号

TEL/電話+86 13764045638
Email service@parnassusdata.com
QQ 47079569