hadoop单节点安装文档

dbDao.com 引导式IT在线教育
dbdao技术论坛贴吧 tieba.baidu.com/dbdao
Hadoop 技术学习QQ群号 134115150

1.目的

这个文档描述了如何安装和配置hadoop,这样很快的你就可以使用hadoop mapreduce 和 HDFS(hadoop文件系统)进行简单操作。

 

2.先决条件:

2.1平台支持

.支持GUN/Linux 作为开发和生产的平台。hadoop 展示过在GUN/Linux 上的 2000节点的集群。

.也支持windows 平台,但是下面的步骤只适用于linux。windows 上安装页面,参考wiki.

http://wiki.apache.org/hadoop/Hadoop2OnWindows

2.2所需软件:

在linux 上需要安装下列软件:

1.java 必须安装 可以参考:http://wiki.apache.org/hadoop/HadoopJavaVersions

2.ssh 必须安装,并且sshd 必须用hadoop 脚本来运行,这样就可以管理远程hadoop后台进程。

 

3.软件安装:

如果你的集群节点没有所需的软件,你需要安装,例如在乌班图上:

sudo apt-get install ssh

sudo apt-get install rsync

 

3.1下载

可以从http://www.apache.org/dyn/closer.cgi/hadoop/common/相关页面找到下载地址。

3.2准备开启hadoop 集群:

解压下载的hadoop 分布式文件。cd到解压后的文件夹中,编辑etc/hadoop/hadoop-env.sh  定义下列参数:

# set to the root of your Java installation

export JAVA_HOME=/usr/java/latest

 

然后运行下列命令:

bin/hadoop

这将显示使用hadoop脚本的文档。

 

现在你可以用下列三种模式中的一种来启动 hadoop 集群:

  • Local (Standalone) Mode http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/SingleCluster.html#Standalone_Operation
  • Pseudo-Distributed Mode
  • http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation
  • Fully-Distributed Mode
  • http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/SingleCluster.html#Fully-Distributed_Operation

4.独立操作模式:

默认情况,hadoop作为单独的java进程,以一个非分布式的模式的配置启动。这个一般用于debug调试。

下面的例子是使用 正则来匹配 从解压出的conf 文件中对应的文件,将这些文件拷贝到input文件夹作为input,然后output 到指定的目录中:

mkdir input

cp etc/hadoop/*.xml input

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar grep input output ‘dfs[a-z.]+’

cat output/*

–重新执行测试,output文件夹不能相同。

 

5.伪分布式操作:

hadoop 可以也在一个单独节点上使用伪分布式的模式,每个hadoop后台以单独java进程启动。

5.1配置:

 

etc/hadoop/core-site.xml:

 

 

configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

 

etc/hadoop/hdfs-site.xml:

 

 

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

 

5.2配置无密码ssh:

检查你的本地无密码

ssh localhost

 

如果不能无密码登陆,执行下列操作:

ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

export HADOOP\_PREFIX=/usr/local/hadoop

 

 

 

5.3执行:

下面介绍在本地运行一个MapReduce,如果你想在YARN上执行任务,参考YARN on a Single Node:

1文件系统格式:

bin/hdfs namenode -format

2.开启 NameNode进程和 DataNode进程

sbin/start-dfs.sh

hadoop后台日志写入到 $HADOOP_LOG_DIR (默认是 $HADOOP_HOME/logs)

3.为NameNode配置web界面;默认下这个是可用的:

NameNode – http://localhost:50070/

4.为执行MapReduce 任务配置 HDFS 目录:

bin/hdfs dfs -mkdir /user

bin/hdfs dfs -mkdir /user/<username>

5.拷贝输入文件到分布式文件系统:

bin/hdfs dfs -put etc/hadoop input

6.一些运行的例子:

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar grep input output ‘dfs[a-z.]+’

 

7.检查输出文件:将output文件从分布式文件系统拷贝到本地文件系统并检查

bin/hdfs dfs -get output output

cat output/*

或者在分布式文件系统中检查:

bin/hdfs dfs -cat output/*

8.当你完成,可以停止后台进程:

sbin/stop-dfs.sh

 

 

6.在单独节点上使用YARN:

你可以在一个伪分布式节点上,通过设置一些参数,并且运行ResourceManager守护进程和NodeManager守护进程的条件下,在YARN 上运行MapReduce 任务。

下列1-4个操作步骤(假设上面介绍的执行步骤都已经执行):

6.1配置

etc/hadoop/mapred-site.xml:

 

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

 

etc/hadoop/yarn-site.xml:

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

 

 

6.2 执行

1.开启资源管理进程和节点管理进程

sbin/start-yarn.sh

2.为资源管理器配置web;默认地址是:

ResourceManager – http://localhost:8088/

3.运行一个 MapReduce 任务

4.当你完成时,关闭进程:

$ sbin/stop-yarn.sh

 

 

 

 

7.全分布式操作:

更多设置一个完整分布式,简单集群可以参考:

http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/ClusterSetup.html

Comment

*

沪ICP备14014813号

沪公网安备 31010802001379号