hadoop 双NameNode Federation 实验

本文固定链接:https://www.askmac.cn/archives/hadoop-federation-test.html

 

1.实验环境

虚拟机环境 VMBOX 5.0 ubuntu 15

java 1.80 hadoop 2.7.1

之前安装好的单机hadoop 虚拟机 *7

设置好各个主机的ip地址和主机名(/etc/hosts)

 

 

 

 

各个节点分布如下:

 

10.0.0.22                   dbdao  #NameNode

10.0.0.23             dbdao2      #ResourceManager

10.0.0.24         dbdao3       # web app proxy and MR Jobhistory server

10.0.0.25            dbdao4  #DataNode

10.0.0.26            dbdao5  #DataNode

10.0.0.27          dbdao6  #DataNode

10.0.0.28    dbdao08  #NameNode

 

 

2.先决条件:

  • 安装JAVA
  • 从apache镜像上下载稳定的hadoop版本

请参考hadoop集群安装

 

hadoop 集群是关闭状态

 

3. Federation配置:

 

在原本HA集群的基础上,增加一个Namenode节点配置。

 

3.1修改配置文件

 

在最开始集群配置文件的基础上(非HA),hdfs-site.xml配置如下:

 

 

<configuration>

<configuration>

<property>

<name>dfs.replication</name>

<value>3</value>

<name>dfs.namenode.name.dir</name>

<value>/home/dbdao/namespace</value>

</property>



<property>

<name>dfs.nameservices</name>

<value>ns1,ns2</value>

</property>

<property>

<name>dfs.namenode.rpc-address.ns2</name>

<value>dbdao08:8020</value>

</property>

<property>

<name>dfs.namenode.http-address.ns2</name>

<value>dbdao08:50070</value>

</property>

<property>

<name>dfs.namenode.secondaryhttp-address.ns2</name>

<value>dbdao08:8888</value>

</property>

<property>

<name>dfs.namenode.secondaryhttp-address.ns1</name>

<value>dbdao:8888</value>

</property>

<property>

<name>dfs.namenode.rpc-address.ns1</name>

<value>dbdao:8020</value>

</property>

<property>

<name>dfs.namenode.http-address.ns1</name>

<value>dbdao:50070</value>

</property>


</configuration>


</configuration>

 

3.2格式化

 

和集群安装的时候对NameNode进行格式化没什么区别

 

$HADOOP_PREFIX/bin/hdfs namenode -format -ns1

$HADOOP_PREFIX/bin/hdfs namenode -format -ns2

 

4. 观察

 

使用集群启动命令启动hdfs:

$HADOOP_PREFIX/sbin/start-dfs.sh

可以发现2个NameNode均被启动。

 

关闭hdfs:

$HADOOP_PREFIX/sbin/stop-dfs.sh

 

观察发现启动DataNode被分配到了2个NameNode上:

 

 

 

 

也就是多个NameNode组成的多个集群,由一套配置文件进行管理。NameNode配置和之前没什么区别,可以有自己的检查点节点,备份节点,HA等。


Posted

in

by

Tags:

Comments

Leave a Reply

Your email address will not be published. Required fields are marked *