hadoop1.2分布式集群搭建
修改/etc/hosts/etc/hostname /etc/sysconfig/network 中的主机名1.安装jdk,配置环境变量(1./etc/profile,2.hadoop/conf/hadoop-env.sh)
直接执行之前写好的脚本
2.安装ssh 、rsync
yum install ssh
3.解压hadoop.tar.gz
(可创建软连接:# ln -sf /root/hadoop-1.2.1 /home/hadoop1.2)
3.hadoop-1.2.1/conf/core-site.xml:
fs.default.name //----设置NN
hdfs://node0:9000
hadoop.tmp.dir //设置NN的主要目录位置
/opt/hadoop-1.2
4.hadoop-1.2.1/conf/hdfs-site.xml://设置DN节点Block备份数
dfs.replication
1 //---------小于等于集群的DN数
5./conf/masters: 添加SecondaryNameNode的主机名
6./conf/slaves: 添加DataNode的主机名
7.设置免密码登录:
# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa//生成本地私钥公钥
# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
# scp ~/.ssh/authorized_keys root@node1:~/.ssh/authorized_keys
测试:#ssh node1
8.将NN节点的hadoop软件包同样安装到其他节点上
并将NN上的配置文件(/conf/*)传输过去
(hadoop/conf文件下)
#scp ./* root@nodel:/hadoop-1.2/conf/
9.格式化HDFS系统:(NN主机上)
/hadoop-1.2/bin
#./hadoop namenode -format
(这里所有节点都需要关闭防火墙)
centos7:#systemctl stop firewalld.service
centos6:# service iptables stop
10.# ./start-dfs.sh
11.jps
页:
[1]