Hadoop分布式集群搭建完全详细教程
Hadoop分布式集群环境搭建步骤如下实验环境：
系统：win7
内存：8G(因要开虚拟机，内存建议不低于8G)
硬盘：建议固态
虚拟机：VMware 12
Linux：Centos 7
jdk1.7.0_67
hadoop-2.5.0.tar.gz
1.安装VMware虚拟机环境
2.安装Centos操作系统
3.修改主机名配置网络
4.配置ssh无密码登录
5.上传jdk配置环境变量
6.上传hadoop配置环境变量
7.修改hadoop配置文件
8.格式化namenode
9.启动hadoop并测试
1安装VMware虚拟机环境
这一步很简单，直接下载安装包下一步，安装成功之后打开输入注册码
5A02H-AU243-TZJ49-GTC7K-3C61N
GA1T2-4JF1P-4819Y-GDWEZ-XYAY8
FY1M8-6LG0H-080KP-YDPXT-NVRV2
ZA3R8-0QD0M-489GP-Y5PNX-PL2A6
FZ5XR-A3X16-H819Q-RFNNX-XG2EA
ZU5NU-2XWD2-0806Z-WMP5G-NUHV6
VC58A-42Z8H-488ZP-8FXZX-YGRW8
2安装Centos操作系统
我这里安装了3台Linux，一台作为namenode，两台作为datanode，使用的是Centos7 64位，建议使用Centos，原因很简单，免费开源，属于重量级Linux,更接近生产环境，当然用其它版本也是可以的。
下载地址：http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1611.iso
安装过程很简单这里就不详述了。
还是要推荐下我自己创建的大数据学习交流Qun: 710219868 有大佬有资料， 进Qun聊邀请码填写 南风（必填 ）
有学习路线的分享公开课，听完之后就知道怎么学大数据了
3.修改主机名配置网络
namenode:master
datanode:slave1 slave2
执行以下命令
vi /etc/hostname
将localhost改为master
另外两台分别改为slave1和slave2
接着执行以下命令
vi /etc/hosts
将三台linux的ip和主机名加进去
192.168.149.138 master
192.168.149.139 slave1
192.168.149.140 slave2
以上地址根据自己主机填写
4配置ssh无密码登录
在master上执行以下命令
ssh-keygen
上一步执行完之后将会生成公钥和私钥
cd ~/.ssh
在.ssh目录执行ll命令会看到id_rsa和id-rsa.pub两个文件，第一个是私钥，第二个是公钥
然后执行
ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.149.139
ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.149.140
这样就把公钥拷到了另外两台linux上
然后测试是否成功
ssh 192.168.149.139
如果不要密码则配置成功
5 上传jdk配置环境变量
将jdk上传至centos
执行以下命令
tar -zxvf jdk1.7.0_67
vi /etc/profile
将Java环境变量配置好之后
source /etc/profile 让配置生效
查看是否配好
java -version
6上传hadoop配置环境变量
将hadoop安装包上传至centos
执行以下命令
tar -zxvf hadoop-2.5.0.tar.gz
mv hadoop-2.5.0.tar.gz hadoop 重命名
配置hadoop环境变量同Java。PATH路径分别为bin和sbin
查看是否成功
hadoop version
7修改hadoop配置文件
需要修改的文件有 hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml
yarn-site.xml
hadoop-env.sh
将JAVA_HOME路径添加进去
core-site.xml
fs.default.name
hdfs://master:9000
hadoop.tmp.dir
/usr/local/hadoop/tmp
1
2
3
4
5
6
7
8
9
10
hdfs-site.xml
dfs.replication
1
1
2
3
4
5
6
mapred-site.xml
mapreduce.framework.name
yarn
1
2
3
4
5
6
yarn-site.xml
yarn.resourcemanager.hostname
master
yarn.nodemanager.aux-services
mapreduce_shuffle
1
2
3
4
5
6
7
8
9
10
注意：配置完成后别忘了把master上的hadoop拷贝到slave1和slave2上，使用命令：scp -r /usr/local/haoop slave1:/usr/local/
8格式化namenode
执行以下命令
hadoop namenode -format
start-dfs.sh
start-yarn.sh
9启动hadoop并测试
master上执行以下命令测试
jps
如结果如下则表示搭建成功
ResourceManager
Jps
NameNode
NodeManager
SecondaryNameNode
slave1和slave2上执行以下命令测试
jps
NodeManager
DataNode
Jps
至此hadoop分布式集群环境搭建就成功了！
页:
[1]