三台主机建立Hadoop小集群

部署环境：

在鹿泉等地区，都构建了全面的区域性战略布局，加强发展的系统性、市场前瞻性、产品创新能力，以专注、极致的服务理念，为客户提供成都网站设计、成都网站建设 网站设计制作定制设计,公司网站建设,企业网站建设,成都品牌网站建设,网络营销推广,外贸营销网站建设,鹿泉网站建设费用合理。

OS：Redhat 5.5 Enterprise

JDK：jdk1.6.0_32

Hadoop：Hadoop-0.20.2

VMWare：7.0

节点安排及网络拓扑：

节点类型　　　　　　节点IP　　　　　　节点hostname

master节点　　　　 192.168.40.5　　master

slave节点　　　　　 192.168.40.5　　master(此时，master既是master节点，也是slave节点)

　　　　　　　　　　192.168.40.6　　salve1

　　　　　　　　　　192.168.40.7　　slave2

secondaryName节点192.168.40.5　　master(此时，master既是master节点，也是slave节点，也是secondaryNameNode)

配置步骤：

一、网络配置

首先关闭三台虚拟机的防火墙，步骤可参考：关闭防火墙

先用VMWare安装三台虚拟机（可以先安装一台，然后clone两台），按照节点安排及网络拓扑配置网络，先配置master节点的网络：

① 静态网络IP配置见VMware Redhat网络配置，分别将三台虚拟机的IP进行设置

② 修改主机名：vi /etc/hosts(解析IP要用)，添加

192.168.40.5 master
192.168.40.6 slave1
192.168.40.7 slave2

③ 按照此过程及相同数据(除了IP地址不同)对三台虚拟机进行配置

二、 安装jdk

Hadoop 是用java开发的，Hadoop的编译及mapreduce的运行都需要使用JDK，所以JDK是必须安装的

① 下载jdk，http://www.oracle.com/technetwork/java/javase/downloads/index.html

② 在用户根目录下，建立bin文件夹：mkdir ~/bin（也可放在其他处，个人习惯而已）

③ 改变执行权限：chmod u+x jdk-6u26-linux-i586.bin

④ 执行文件：sudo -s ./jdk-6u26-linux-i586.bin，一路确定

⑤ 配置环境变量：vi ~/.bash_profile,添加：

 
 
 
    
  
  
  
  1. export JAVA_HOME=/root/bin/jdk1.6.0_32  
    2. 
  
  
  
  2. export PATH=$PATH:$JAVA_HOME/bin 
    3.

⑥ 使profile文件生效：source ~/.bash_profile

⑦ 验证是否配置成功：which java

[root@master ~]# which java
/root/bin/jdk1.6.0_32/bin/java 配置生效。也可输入java -version, java, javac进一步确定

⑧ 分别相同配置另外两台主机

 
 
 
    
  
  
  
  1.  
    2.

三、建立ssh互信

hadoop 需要通过ssh互信来启动slave里表中各个主机的守护进程，所以SSH是必须安装的（redhat 5.5 Enterprise 以默认安装）。但是是否建立ssh互信（即无密码登陆）并不是必须的，但是如果不配置，每次启动hadoop，都需要输入密码以便登录到每台机器的Datanode上，而一般的hadoop集群动辄数百或数千台机器，因此一般来说都会配置ssh互信。

① 生成密钥并配置ssh无密码登陆主机(在master主机)

 
 
 
    
  
  
  
  1. ssh -keygen -t dsa -P '' -f ~/.ssh/id_dsa  
    2. 
  
  
  
  2. cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 
    3.

 

② 将authorized_keys文件拷贝到两台slave主机

 
 
 
    
  
  
  
  1. scp authorized_keys slave1:~/.ssh/  
    2. 
  
  
  
  2. scp authorized_keys slave2:~/.ssh/ 
    3.

 

③ 检查是否可以从master无密码登陆slave机

ssh slave1(在master主机输入) 登陆成功则配置成功，exit退出slave1返回master

四、配置Hadoop

① 下载：点击到下载页面，选择hadoop-0.20.2.tar.gz

② 放到~/bin下解压： tar -xzvf hadoop-0.20.2.tar.gz

③ 解压后进入：~/bin/hadoop-0.20.2/conf/，修改配置文件：

修改hadoop-env.sh:

export JAVA_HOME=/root/bin/jdk1.6.0_32转载注明出处：博客园 石头儿 http://www.cnblogs.com/shitouer/
hadoop-env.sh里面有这一行，默认是被注释的，只需要把注释去掉，并且把JAVA_HOME 改成你的java安装目录即可

修改core-site.xml

 
 
 
    
  
  
  
  1.  
    2. 
  
  
  
  2.  
    3. 
  
  
  
  3.  
    4. 
  
  
  
  4.  
    5. 
  
  
  
  5.  
    6. 
  
  
  
  6.  
    7. 
  
  
  
  7.    
    8. 
  
  
  
  8.     fs.default.name 
    9. 
  
  
  
  9.     hdfs://master:9000 
    10. 
  
  
  
  10.    
    11. 
  
  
  
  11.    
    12. 
  
  
  
  12.     Hadoop.tmp.dir 
    13. 
  
  
  
  13.     /tmp/hadoop-root 
    14. 
  
  
  
  14.    
    15. 
  
  
  
  15.  
    16.

转载注明出处：博客园 石头儿 http://www.cnblogs.com/shitouer/

注释一：hadoop分布式文件系统文件存放位置都是基于hadoop.tmp.dir目录的，namenode的名字空间存放地方就是 ${hadoop.tmp.dir}/dfs/name, datanode数据块的存放地方就是 ${hadoop.tmp.dir}/dfs/data，所以设置好hadoop.tmp.dir目录后，其他的重要目录都是在这个目录下面，这是一个根目录。

注释二：fs.default.name,设置namenode所在主机，端口号是9000

注释三：core-site.xml 对应有一个core-default.xml, hdfs-site.xml对应有一个hdfs-default.xml,mapred-site.xml对应有一个mapred-default.xml。这三个defalult文件里面都有一些默认配置，现在我们修改这三个site文件，目的就覆盖default里面的一些配置

修改hdfs-site.xml

 
 
 
    
  
  
  
  1.  
    2. 
  
  
  
  2.  
    3. 
  
  
  
  3.  
    4. 
  
  
  
  4.  
    5. 
  
  
  
  5.  
    6. 
  
  
  
  6.  
    7. 
  
  
  
  7.    
    8. 
  
  
  
  8.     dfs.replication 
    9. 
  
  
  
  9.     3 
    10. 
  
  
  
  10.    
    11. 
  
  
  
  11.  
    12.

dfs.replication，设置数据块的复制次数，默认是3，如果slave节点数少于3，则写成相应的1或者2

修改mapred-site.xml

 
 
 
    
  
  
  
  1.  
    2. 
  
  
  
  2.  
    3. 
  
  
  
  3.  
    4. 
  
  
  
  4.  
    5. 
  
  
  
  5.  
    6. 
  
  
  
  6.  
    7. 
  
  
  
  7.    
    8. 
  
  
  
  8.     mapred.job.tracker 
    9. 
  
  
  
  9.     http://master:9001 
    10. 
  
  
  
  10.    
    11. 
  
  
  
  11.  
    12.

mapred.job.tracker，设置jobtracker所在机器，端口号9001

修改masters

master     

虽然masters内写的是master，但是个人感觉，这个并不是指定master节点，而是配置secondaryNameNode

修改slaves

master
slave1
slave2
 
配置了集群中所有slave节点

④ 添加hadoop环境变量，并 source ~/.bash_profile使之生效

 
 
 
    
  
  
  
  1. export JAVA_HOME=/root/bin/jdk1.6.0_32  
    2. 
  
  
  
  2. export HADOOP_HOME=/root/bin/hadoop-0.20.2 
    3. 
  
  
  
  3. export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin 
    4.

⑤ 将已经配置好的hadoop-0.20.2，分别拷贝到另外两台主机，并做相同配置

⑥ 此时，hadoop的集群配置已经完成，输入hadoop，则可看到hadoop相关的操作

 
 
 
    
  
  
  
  1. [root@master ~]# hadoop  
    2. 
  
  
  
  2. Usage: hadoop [--config confdir] COMMAND  
    3. 
  
  
  
  3. where COMMAND is one of:  
    4. 
  
  
  
  4.   namenode -format     format the DFS filesystem  
    5. 
  
  
  
  5.   secondarynamenode    run the DFS secondary namenode  
    6. 
  
  
  
  6.   namenode             run the DFS namenode  
    7. 
  
  
  
  7.   datanode             run a DFS datanode  
    8. 
  
  
  
  8.   dfsadmin             run a DFS admin client  
    9. 
  
  
  
  9.   mradmin              run a Map-Reduce admin client  
    10. 
  
  
  
  10.   fsck                 run a DFS filesystem checking utility  
    11. 
  
  
  
  11.   fs                   run a generic filesystem user client  
    12. 
  
  
  
  12.   balancer             run a cluster balancing utility  
    13. 
  
  
  
  13.   jobtracker           run the MapReduce job Tracker node  
    14. 
  
  
  
  14.   pipes                run a Pipes job  
    15. 
  
  
  
  15.   tasktracker          run a MapReduce task Tracker node  
    16. 
  
  
  
  16.   job                  manipulate MapReduce jobs  
    17. 
  
  
  
  17.   queue                get information regarding JobQueues  
    18. 
  
  
  
  18.   version              print the version  
    19. 
  
  
  
  19.   jar             run a jar file  
    20. 
  
  
  
  20.   distcp   copy file or directories recursively  
    21. 
  
  
  
  21.   archive -archiveName NAME *  create a hadoop archive  
    22. 
  
  
  
  22.   daemonlog            get/set the log level for each daemon  
    23. 
  
  
  
  23.  or  
    24. 
  
  
  
  24.   CLASSNAME            run the class named CLASSNAME  
    25. 
  
  
  
  25. Most commands print help when invoked w/o parameters. 
    26.

⑦ 此时，首先格式化hadoop

在命令行里执行，hadoop namenode -format

⑧ 启动hadoop

在命令行里执行，start-all.sh，或者执行start-dfs.sh,再执行start-mapred.sh

⑨ 输入jps，查看启动的服务进程

master节点：[root@master ~]# jps
25429 SecondaryNameNode
25500 JobTracker
25201 NameNode
25328 DataNode
18474 Jps
25601 TaskTracker

slave节点：[root@slave1 ~]# jps
4469 TaskTracker
4388 DataNode
29622 Jps

如上显示，则说明相应的服务进程都启动成功了。

圈10(额，像①一样的圈出不来了(⊙o⊙)) 查看hdfs分布式文件系统的 文件目录结构

hadoop fs -ls /

此时发现为空，因为确实什么也没有，运行一下命令，则可创建一个文件夹：

hadoop fs -mkdir /newDir

再次执行hadoop fs -ls /，则会看到newDir文件夹，关于hadoop fs 命令，参见：HDFS 命令

圈11 运行hadoop 类似hello world的程序

本来，都是以word count来运行的，但是还得建文件夹之类的，有一个更简单的，就是example中的计算π值的程序，我们来计算一下，进入hadoop目录，运行如下：

 
 
 
    
  
  
  
  1.  
    2. 
  
  
  
  2. [root@slave1 hadoop-0.20.2]# hadoop jar hadoop-0.20.2-examples.jar pi 4 2  
    3. 
  
  
  
  3. Number of Maps  = 4 
    4. 
  
  
  
  4. Samples per Map = 2 
    5. 
  
  
  
  5. Wrote input for Map #0  
    6. 
  
  
  
  6. Wrote input for Map #1  
    7. 
  
  
  
  7. Wrote input for Map #2  
    8. 
  
  
  
  8. Wrote input for Map #3  
    9. 
  
  
  
  9. Starting Job  
    10. 
  
  
  
  10. 12/05/20 09:45:19 INFO mapred.FileInputFormat: Total input paths to process : 4  
    11. 
  
  
  
  11. 12/05/20 09:45:19 INFO mapred.JobClient: Running job: job_201205190417_0005  
    12. 
  
  
  
  12. 12/05/20 09:45:20 INFO mapred.JobClient:  map 0% reduce 0%  
    13. 
  
  
  
  13. 12/05/20 09:45:30 INFO mapred.JobClient:  map 50% reduce 0%  
    14. 
  
  
  
  14. 12/05/20 09:45:31 INFO mapred.JobClient:  map 100% reduce 0%  
    15. 
  
  
  
  15. 12/05/20 09:45:45 INFO mapred.JobClient:  map 100% reduce 100%  
    16. 
  
  
  
  16. 12/05/20 09:45:47 INFO mapred.JobClient: Job complete: job_201205190417_0005  
    17. 
  
  
  
  17. 12/05/20 09:45:47 INFO mapred.JobClient: Counters: 18  
    18. 
  
  
  
  18. 12/05/20 09:45:47 INFO mapred.JobClient:   Job Counters   
    19. 
  
  
  
  19. 12/05/20 09:45:47 INFO mapred.JobClient:     Launched reduce tasks=1 
    20. 
  
  
  
  20. 12/05/20 09:45:47 INFO mapred.JobClient:     Launched map tasks=4 
    21. 
  
  
  
  21. 12/05/20 09:45:47 INFO mapred.JobClient:     Data-local map tasks=4 
    22. 
  
  
  
  22. 12/05/20 09:45:47 INFO mapred.JobClient:   FileSystemCounters  
    23. 
  
  
  
  23. 12/05/20 09:45:47 INFO mapred.JobClient:     FILE_BYTES_READ=94 
    24. 
  
  
  
  24. 12/05/20 09:45:47 INFO mapred.JobClient:     HDFS_BYTES_READ=472 
    25. 
  
  
  
  25. 12/05/20 09:45:47 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=334 
    26. 
  
  
  
  26. 12/05/20 09:45:47 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=215 
    27. 
  
  
  
  27. 12/05/20 09:45:47 INFO mapred.JobClient:   Map-Reduce Framework  
    28. 
  
  
  
  28. 12/05/20 09:45:47 INFO mapred.JobClient:     Reduce input groups=8 
    29. 
  
  
  
  29. 12/05/20 09:45:47 INFO mapred.JobClient:     Combine output records=0 
    30. 
  
  
  
  30. 12/05/20 09:45:47 INFO mapred.JobClient:     Map input records=4 
    31. 
  
  
  
  31. 12/05/20 09:45:47 INFO mapred.JobClient:     Reduce shuffle bytes=112 
    32. 
  
  
  
  32. 12/05/20 09:45:47 INFO mapred.JobClient:     Reduce output records=0 
    33. 
  
  
  
  33. 12/05/20 09:45:47 INFO mapred.JobClient:     Spilled Records=16 
    34. 
  
  
  
  34. 12/05/20 09:45:47 INFO mapred.JobClient:     Map output bytes=72 
    35. 
  
  
  
  35. 12/05/20 09:45:47 INFO mapred.JobClient:     Map input bytes=96 
    36. 
  
  
  
  36. 12/05/20 09:45:47 INFO mapred.JobClient:     Combine input records=0 
    37. 
  
  
  
  37. 12/05/20 09:45:47 INFO mapred.JobClient:     Map output records=8 
    38. 
  
  
  
  38. 12/05/20 09:45:47 INFO mapred.JobClient:     Reduce input records=8 
    39. 
  
  
  
  39. Job Finished in 28.952 seconds  
    40. 
  
  
  
  40. Estimated value of Pi is 3.50000000000000000000 
    41.

计算PI值为3.5，还算靠近，至于输出log日志，就不介绍了，以后学的稍微深入，可多做了解。

Hadoop 三节点集群的配置就介绍到这里，接下来，会介绍一下如何在windows中远程连接hadoop，并配置eclipse来进行MapReduce的开发和调试。

当前题目：三台主机建立Hadoop小集群
当前地址：http://www.mswzjz.cn/qtweb/news49/89499.html

攀枝花网站建设、攀枝花网站运维推广公司-贝锐智能，是专注品牌与效果的网络营销公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 贝锐智能

贝锐智能技术为您推荐以下文章

静态网站知识

各行业网站

成都艺考培训　　 　德阳电信服务器托管　　 　成都电信服务器托管　　 　企业手机网站建设　　 　成都标志设计　　 　安娜尚美　　 　四川发电机回收　　 　营销网站定位　　 　外贸网站设计方案　　 　简阳电信服务器托管　　 　商标注册　　 　成都微信二次开发公司　　 　节能环保网站建设方案　　 　谷歌推广　　 　成都棕树电信机房　　 　高县网站建设　　 　成都口碑营销公司　　 　达州做网站　　 　成都服务器租用　　 　四川珉田机房