CentOS7-Hadoop安装

liuhongyu

　　环境：CentOS7  64位   3台
　　centos7-1 192.168.190.130   master
　　centos7-2 192.168.190.129   slave1
　　centos7-3  192.168.190.131  slave2
　　hadoop 下载地址：http://mirrors.hust.edu.cn/apache/hadoop/common/ 选则3.1.0版本
　　1.安装三台虚拟机（centos7),安装jdk,实现节点间免密码登陆。
　　

#安装虚拟机不做说明，可查看相关文章资料。　　#安装jdk，配置JAVA_HOME环境变量，不做说明，自行百度。
　　#三个虚拟机都需要修改hostname,修改/etc/hosts
　　#vim /etc/hostname              //分别写成master,slave1,slave2,修改后需要重新启动reboot
　　#vim /etc/hosts
　　#192.168.190.130 master
　　#192.168.190.129 slave1
　　#192.168.190.131 slave2
　　#给三台机器设置面密码ssh登陆
　　#ssh-keygen  -t   rsa             //生成密钥，三台机器都需要执行相同的命令
　　

　　#authorized_keys
　　#touch  /root/.ssh/authorized_keys                     //master节点上
　　#cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
　　#把slave1、slave2上的id_rsa.pub都拷贝到master节点上，直接追加到authorized_keys
　　#scp -r /root/.ssh/id_rsa.pub root@masterIP:/root/.ssh/slave1.id_rsa.pub //slave1
　　#scp -r /root/.ssh/id_rsa.pub root@masterIP:/root/.ssh/slave2.id_rsa.pub //slave2
　　#cat /root/.ssh/slave1.id_rsa.pub >> /root/.ssh/authorized_keys  //master
　　#cat /root/.ssh/slave2.id_rsa.pub >> /root/.ssh/authorized_keys  //master
　　#authorized_keys内容如下:

　　#通过scp命令将master的authorized_keys拷贝到slave1\slave2的/root/.ssh/下
　　#scp -r /root/.ssh/authorized_keys root@Slave1IP:/root/.ssh/
　　#scp -r /root/.ssh/authorized_keys root@Slave2IP:/root/.ssh/
　　

#ssh 目标域名                 //master、slave1、slave2,第一次需要确认一下输入yes,后面就不用了　　到此免密码登陆已经完成。
　　

　　2.载hadoop,解压tar.gz文件
　　

        #cd /usr　　#mkdir hadoop
　　#cd hadoop
　　#wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.1.0.tar.gz
　　#tar  -zxvf hadoop-3.1.0.tar.gz
　　

　　解压后，出现hadoop-3.1.0工作目录，既可以使用。
　　#cd /usr/hadoop/hadoop-3.1.0
　　#mkdir tmp
　　#./bin/hadoop -version   //检验是否可以使用
　　

　　2.设置环境变量，全局（/etc/profile）
　　

    #vim /etc/profile　　设置HADOOP_HOME,并加到PATH路径下
　　HADOOP_HOME=/usr/hadoop/hadoop-3.1.0
　　PATH=$PATH:$HADOOP_HOME/bin
　　#source /etc/profile
　　

　　3.配置hadoop
　　

    #hadoop主要的文件，路径hadoop-3.1.0/etc/hadoop/下　　hadoop-env.sh             //
　　core-site.xml                //
　　hdfs-site.xml                //
　　mapred-site.xml          //
　　yarn-site.xml               //
　　workers                      // 只要配置namenode节点，用于发现slave节点
　　

　　a.hadoop-env.sh配置
　　export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.171-0.b13.el7_3.x86_64
　　

　　b.core-site.xml配置
　　
　　
　　fs.default.name
　　hdfs://master:9000
　　HDFS的URI，文件系统://namenode标识:端口号
　　
　　
　　hadoop.tmp.dir
　　/usr/hadoop/tmp
　　namenode上本地的hadoop临时文件夹
　　
　　
　　

　　c.配置hdfs-site.xml
　　
　　
　　dfs.replication
　　1
　　副本个数，配置默认是3,应小于datanode机器数量
　　
　　
　　

　　d.配置mapred-site.xml
　　
　　
　　mapreduce.framework.name