louyaoluan 发表于 2018-10-29 13:17:44

hadoop1.2分布式集群搭建

  修改/etc/hosts/etc/hostname /etc/sysconfig/network 中的主机名
  1.安装jdk,配置环境变量(1./etc/profile,2.hadoop/conf/hadoop-env.sh)
  直接执行之前写好的脚本
  2.安装ssh 、rsync
  yum install ssh
  3.解压hadoop.tar.gz
  (可创建软连接:# ln -sf /root/hadoop-1.2.1 /home/hadoop1.2)
  3.hadoop-1.2.1/conf/core-site.xml:
  
  
  fs.default.name    //----设置NN
  hdfs://node0:9000
  
  
  hadoop.tmp.dir    //设置NN的主要目录位置
  /opt/hadoop-1.2
  
  
  4.hadoop-1.2.1/conf/hdfs-site.xml://设置DN节点Block备份数
  
  
  dfs.replication
  1         //---------小于等于集群的DN数
  
  
  5./conf/masters: 添加SecondaryNameNode的主机名
  6./conf/slaves: 添加DataNode的主机名
  7.设置免密码登录:
  # ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa//生成本地私钥公钥
  # cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
  # scp ~/.ssh/authorized_keys root@node1:~/.ssh/authorized_keys
  测试:#ssh node1
  8.将NN节点的hadoop软件包同样安装到其他节点上
  并将NN上的配置文件(/conf/*)传输过去
  (hadoop/conf文件下)
  #scp ./* root@nodel:/hadoop-1.2/conf/
  9.格式化HDFS系统:(NN主机上)
  /hadoop-1.2/bin
  #./hadoop namenode -format
  (这里所有节点都需要关闭防火墙)
  centos7:#systemctl stop firewalld.service
  centos6:# service iptables stop
  10.# ./start-dfs.sh
  11.jps

页: [1]
查看完整版本: hadoop1.2分布式集群搭建