厚道 善良 守信 宽容 诚实 谦虚 正直 执着
1 安装操作系统Centos 7 64位192.168.1.4 Master.Hadoop
192.168.1.5 Slave.Hadoop
最小安装
2 ssh免密钥登陆
SSH免密码登录，因为Hadoop需要通过SSH登录到各个节点进行操作，我用的是root用户，每台服务器都生成公钥，再合并到authorized_keys
1）SSH无密码原理
Master（NameNode | JobTracker）作为客户端，要实现无密码公钥认证，连接到服务器Salve（DataNode | Tasktracker）上时，需要在Master上生成一个密钥对，包括一个公钥和一个私钥，而后将公钥复制到所有的Slave上。当Master通过SSH连接Salve时，Salve就会生成一个随机数并用Master的公钥对随机数进行加密，并发送给Master。Master收到加密数之后再用私钥解密，并将解密数回传给Slave，Slave确认解密数无误之后就允许Master进行连接了。这就是一个公钥认证过程，其间不需要用户手工输入密码。重要过程是将客户端Master复制到Slave上。
第一步 Master 到 Slave 上的ssh无密码连接
Master 里面操作
yum install ssh 安装SSH协议
yum install rsync （rsync是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件）
yum install openssh-clients
systemctl restart sshd.service(重启 sshd 服务)
mkdir ~/.ssh (root目录下)
chmod 700 ~/.ssh
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa (这是生成其无密码密钥对:id_dsa和id_dsa.pub)
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys (把id_dsa.pub追加到授权的key里面去 )
chmod 600 ~/.ssh/authorized_keys
scp -r ~/.ssh/id_dsa.pub root@192.168.1.5:~/ (需要输入密码)
getenforce
setenforce 0 (setenforce是Linux的selinux防火墙配置命令 执行setenforce 0 表示关闭selinux防火墙。)
修改配置文件vi /etc/sysconfig/selinux
编辑selinux文件
# This file controls the state of SELinux onthe system.
# SELINUX= can take one of these three values:
# enforcing - SELinux security policy isenforced.
# permissive - SELinux prints warnings insteadof enforcing.
# disabled - No SELinux policy is loaded.
SELINUX=enforcing
# SELINUXTYPE= can take one of these twovalues:
# targeted - Targeted processes are protected,
# mls - Multi Level Security protection.
SELINUXTYPE=targeted
修改为
# This file controls the state of SELinux onthe system.
# SELINUX= can take one of these three values:
# enforcing - SELinux security policy isenforced.
# permissive - SELinux prints warnings insteadof enforcing.
# disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of these twovalues:
# targeted - Targeted processes are protected,
# mls - Multi Level Security protection.
SELINUXTYPE=targeted
systemctl restart sshd.service
在 Salve端执行
yum install ssh
yum install rsync
yum install openssh-clients
mkdir ~/.ssh
chmod 700 ~/.ssh
cat ~/id_dsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
systemctl restart sshd.service
验证
ssh 192.168.1.5 无密码登陆成功.
exit
第二步Slave到Master上的ssh无密码连接(配置所有Slave无密码登录Master)
在Slave端执行
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa (在Slave端生成了id_dsa > cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
chmod 700 ~/.ssh
scp -r ~/.ssh/id_dsa.pub root@192.168.1.4:~/
getenforce
setenforce 0
vi /etc/sysconfig/selinux (修改同上)
systemctl restart sshd.service
在Master 端执行
cat ~/id_dsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
systemctl restart sshd.service
验证 ssh192.168.1.4 (在Slave端 )
3 jdk 配置
在Master端/usr/java 目录下上传文件jdk-8u11-linux-x64.tar
cd /usr/java
tar -xzvf jdk-8u11-linux-x64.tar.gz
在/etc/profile文件中，配置环境变量，是JDK在所有用户中生效： 打开/etc/profile文件 vi /etc/profile
编辑文件，在最后添加：
JAVA_HOME=/usr/java/jdk1.8.0_11
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME
export PATH
export> 保存退出后，执行source /etc/profile是修改的环境变量生效
使用java -version命令测试是否成功
在Slave端操作jdk 与Master端操作一致
4 hadoop安装
参考http://www.open-open.com/lib/view/open1435761287778.html
安装Hadoop2.7，只在Master服务器解压，再复制到Slave服务器
(1) 下载“hadoop-2.7.2.tar.gz”，放到/home/hadoop目录下
(2) 解压，输入命令，tar -xzvf hadoop-2.7.2.tar.gz
(3) 在/home/hadoop目录下创建数据存放的文件夹，tmp、hdfs、hdfs/data、hdfs/name
(4)配置/home/hadoop/hadoop-2.7.2/etc/hadoop目录下的core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.1.4:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hadoop/tmp</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131702</value>
</property>
</configuration>
(4) 配置/home/hadoop/hadoop-2.7.2/etc/hadoop 目录下的hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>192.168.1.4:9001</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>
(5) 配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的mapred-site.xml
mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>192.168.1.4:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>192.168.1.4:19888</value>
</property>
</configuration>
(6) 配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>192.168.1.4:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>192.168.1.4:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>192.168.1.4:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>192.168.1.4:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>192.168.1.4:8088</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>768</value>
</property>
</configuration>
(7) 配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下hadoop-env.sh、yarn-env.sh的JAVA_HOME，不设置的话，启动不了，exportJAVA_HOME=/usr/java/jdk1.8.0_11
(8) 配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的slaves，删除默认的localhost，增加1个从节点，
192.168.1.5
(9) 将配置好的Hadoop复制到各个节点对应位置上，通过scp传送
scp -r /home/hadoop 192.168.1.5:/home/
(10)在Master服务器启动hadoop，从节点会自动启动，进入/home/hadoop/hadoop-2.7.0目录
A 初始化，输入命令，bin/hdfsnamenode -format
B 全部启动sbin/start-all.sh，也可以分开sbin/start-dfs.sh、sbin/start-yarn.sh
C 停止的话，输入命令，sbin/stop-all.sh
D 输入命令，jps，可以看到相关信息
(11)、Web访问，要先开放端口或者直接关闭防火墙
A输入命令，systemctl stopfirewalld.service
B浏览器打开http://192.168.1.4:8088/
C浏览器打开http://192.168.1.4:50070/
(12) 安装完成。这只是大数据应用的开始，之后的工作就是，结合自己的情况，编写程序调用Hadoop的接口，发挥hdfs、mapreduce的作用。
参考:
http://www.iyunv.com/Linux/2015-11/124800.htm
http://www.centoscn.com/image-text/install/2014/1121/4158.html
http://www.open-open.com/lib/view/open1435761287778.html
http://www.centoscn.com/image-text/install/2016/0830/7859.html
附件下载
页:
[1]