hadoop集群部署，cmaster , cslave1,cslave2-bjylpos的博客
一，准备环境1 使用VMware创建三台虚拟主机，最小化安装Centos7
2 配置好固定IP分别为192.168.2.75 ，192.168.2.76192.168.2.77，并保证可以通外网
# vi /etc/sysconfig/network-scirpts/ifcfg-eth0 ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.2.75
NETMASK=255.255.254.0
GATEWAY=192.168.2.1
DNS1=192.168.2.1
生效：
#systemctl restart network
#pingwww.baidu.com
3 设置主机名 hostnamectl set-hostname cmaster cslave1 cslave2
4 做/etc/hosts中的解析：
192.168.2.75 cmaster
192.168.2.76 cslave1
192.168.2.77 cslave2
检查是否解析成功需要三台机器互相ping 通
#ping cmaster
#pingcslave1
#pingcslave2
3 永久关闭selinux
#setenfore 0
#getenfore
disabled
4 关闭防火墙并设置为开机不启动
#systemctl stop firewalld
#systemctl disable firewalld
完成以上配置需要reboot
5 安装jdk1.8.0_151
# mkdir -p /home/jdk
# wget http://jdk1.8.0_151
# tar -zxvf jdk-8u151-linux-x64.tar.gz -C /usr/local/
# tail -3 /etc/profile
JAVA_HOME=/usr/local/jdk1.8.0_151
PATH=$PATH:$JAVA_HOME/bin
export JAVA_HOME PATH
生效：
# source /etc/profile 检查：
# javac
# java -version
6 在window中完成 cmaster cslave1 cslave2的解析
用管理员权限，打开记事本C:\Windows\System32\drivers\etc\hosts
添加如下内容：
192.168.2.75 cmaster
192.168.2.76 cslave1
192.168.2.77 cslave2
二 正式安装
cmaster cslaver1 cslaver2 都做如下操作：
登录hadoop官网：http://hadoop.apache.org/releases.html 下载安装包hadoop-3.0.0.tar.gz
#mkdir -p /home/joe
#cd /home/joe
#wget hadoop-3.0.0.tar.gz
#tar -zxvf /home/joe/hadoop-3.0.0.0.tar.gz
1 解压完成后要修改hadoop的配置文件：
#vi /home/joe/hadoop-3.0.0/etc/hadoop/hadoop-env.sh 在文件中找到export JAVA_HOME 修改为：
export JAVA_HOME=/usr/local/jdk1.8.0_151
2 修改core-site.xml文件:
#vi /home/joe/hadoop-3.0.0/etc/hadoop/core-site.xml 在标签中插入如下内容：
hadoop.tmp.dir/home/joe/cloudData
fs.defaultFShdfs://cmaster:8020
3 修改yarn-site.xml文件
#vi /home/joe/hadoop-3.0.0/etc/hadoop/yarn-site.xml 在标签中插入如下内容：
yarn.resourcemanager.hostnamecmaster
yarn.nodemanager.aux-servicesmapreduce_shuffle
4 修改mapred-site.xml.template
将/home/joe/hadoop-3.0.0/etc/hadoop/目录下的mapred-site.xml.template重命名为mapred-site.xml
并用命令
#vi /home/joe/hadoop/etc/hadoop/mapred-site.xml 在标签中插入如下内容：
mapreduce.framework.nameyarn
三启动hadoop
1 启动cmaster
#/home/joe/hadoop-3.0.0/sbin/hadoop-daemon.sh start namenode
#/home/joe/hadoop-3.0.0/sbin/yarn-daemon.sh start resourcemanager
检查是否启动成功
# jps 1574 ResourceManager
6154 Jps
1451 NameNode
# ps aux |grep hadoop
# ss -tnulp 注意观察端口号8088 9870
web端输入：http://cmaster:8088/cluster
http://cmaster:9870/
能够访问即为安装成功
2 启动cslave1 cslave2
#/home//joe/hadoop-3.0.0/sbin/hadoop-daemon.sh start namenode
#/home/joe/hadoop-3.0.0/sbin/yarn-daemon.sh start resourcemanager
检查是否访问成功：
#jps
7858 DataNode
7989 NodeManager
8286 Jps
#ps aux |grep hadoop
#ss -tnulp
注意观察端口号：8042 9864
在web端输入：http://cslave1:8042
http://cslave2:9864
在web端输入：http://cslave1:8042
http://cslave2:9864
这样，cslave1 cslave2也安装成功
注意在cmaster的web界面中的Active Nodes中
可以看到节点数为2
到此hadoop集群部署成功完成
页:
[1]