hadoop伪分布模式搭建(详细步骤）-创新互联
一、前期准备
临泉ssl适用于网站、小程序/APP、API接口等需要进行数据传输应用场景，ssl证书未来市场广阔！成为创新互联的ssl证书销售渠道，可以享受市场价格4-6折优惠！如果有意向欢迎电话联系或者加微信：18982081108（备注：SSL证书合作）期待与您的合作！1. 关闭防火墙
2. 安装好JDK
3. 准备hadoop安装包
二、安装hadoop伪分布模式
1. 在home/hadoop/software/路径下创建hadooptmp目录
2. 解压hadoop-3.3.0.tar.gz
3. 进入hadoop-3.3.0/etc/hadoop
4. 编辑hadoop运行是的环境
5. 配置NameNode所在的主机或者通讯地址及NameNode格式化后的目录的路径
6. 配置DataNode的数据块冗余度
7. 配置MapReduce运行框架的yarn容器
8. 配置ResourceManager所在的主机及MapReduce的shuffer方式
9. 配置hadoop环境变量
10 . 更新bash_profile 文件内容
11. 格式NameNode
12. 启动hadoop相关进程
13. 查看进程
一、前期准备
| hadoop版本 | 主机名 | ip | 安装路径 |
| hadoop-3.3.0 | hadooptest | 192.168.254.172 | home/hadoop/software/hadoop-3.3.0 |
2. 安装好JDK（1） 临时关闭防火墙命令：service iptables stop
（2）永久关闭防火墙命令：chkconfig iptables off
如果jdk没有安装好的可以参考这篇文章
https://editor.csdn.net/md/?articleId=126587725
3. 准备hadoop安装包hadoop-3-3.0下载地址
http://链接：https://pan.baidu.com/s/1YClfndoOCRdr_yRIxPrj_A?pwd=v8i1
注：下载好hadoop压缩包之后，将压缩包上传至虚拟机（此处上传的路径为home/hadoop/software/）
二、安装hadoop伪分布模式 1. 在home/hadoop/software/路径下创建hadooptmp目录2. 解压hadoop-3.3.0.tar.gzmkdir /hone/hadoop/software/hadooptmp
注意：这里的/hone/hadoop/software/是我存放hadoop压缩包的路径，对应改成自己的即可
3. 进入hadoop-3.3.0/etc/hadooptar -zxvf hadoop-3.3.0.tar.gz
4. 编辑hadoop运行是的环境cd home/software//hadoop-3.3.0/etc/hadoop
注意：这里是解压过后的hadoop-3.3.0/etc/hadoop 而不是直接cd hadoop
5. 配置NameNode所在的主机或者通讯地址及NameNode格式化后的目录的路径vi hadoop-env.sh
进入文件之后，添加jdk的环境变量，如下：
export JAVA_HOME=/home/hadoop/software/jdk1.8.0_171
添加好之后保存退出
注意这里/home/hadoop/software/是我存放jdk的路径，自己对应改成自己的即可
6. 配置DataNode的数据块冗余度vi core-site.xml
进入文件之后，滑到文件最下边，在
中添加如下内容
fs.defaultFS
hdfs://hadooptest:9000
hadoop.tmp.dir
/home/hadoop/software/hadooptmp 添加好之后保存退出
注意：这里的hadooptest是我的主机名，对应改成自己的主机名
这里的/home/hadoop/software/hadooptmp是第一步创建Hadooptmp的路径
7. 配置MapReduce运行框架的yarn容器vi hafs-site.xml
进入文件之后，滑到文件最下边，在
中添加如下内容
dfs.replication
1 添加好之后保存退出
8. 配置ResourceManager所在的主机及MapReduce的shuffer方式vi mapred-site.xml
进入文件之后，滑到文件最下边，在
中添加如下内容
mapreduce.framework.name
yarn 添加好之后保存退出
9. 配置hadoop环境变量vi yarn-site.xml
进入文件之后，滑到文件最下边，在
中添加如下内容
yarn.nodemanger.aux-services
mapreduce_shuffle 添加好之后保存退出
10 . 更新bash_profile 文件内容vi ~/.bash_profile
在文件中添加如下内容
export HADOOP_HOME=/home/hadoop/software/hadoop-3.3.0
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
注意：这里的/home/hadoop/software/hadoop-3.3.0是hadoop存放的路径，对应改成自己存放hadoop的路径即可
11. 格式NameNodesource ~/.bash_profile
12. 启动hadoop相关进程hadoop namenode -format
13. 查看进程start-all.sh
出现下图内容则启动完成
jps
之后会显示如下内容
到这里hadoop伪分布集群我们就搭建好啦，第一次搭建的话可能会遇到一些问题，有问题的可以评论，或者私聊我。
你是否还在寻找稳定的海外服务器提供商？创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源，准确流量调度确保服务器高可用性，企业级服务器适合批量采购，新人活动首月15元起，快前往官网查看详情吧
本文标题：hadoop伪分布模式搭建(详细步骤）-创新互联
分享URL：http://mswzjz.cn/article/cchoes.html