在水一万 发表于 2018-10-30 07:28:49

hadoop的完全分布式安装

  配置hadoop
  1上传hadoop包
  2解压hadoop包
  tar -zxvf hadoop-*.tar.gz -C /usr/local/
  3配置hadoop伪分布式(要修改4个文件)
  第一个:hadoop-env.sh
  vim hadoop-env.sh
  export JAVA_HOME=/usr/java/jdk
  第二个:core-site.xml
  
  
  fs.defaultFS
  hdfs://hadoop01:9000
  
  
  hadoop.tmp.dir
  /usr/local/hadoop/tmp
  
  
  第三个:hdfs-site.xml
  
  
  dfs.namenode.secondary.http-address
  hadoop02:50090
  
  
  dfs.namenode.secondary.https-address
  hadoop02:50091
  
  
  第四个:masters
  vim masters
  hadoop01
  第五个:slaves
  vim slaves
  hadoop02
  hadoop03
  hadoop04
  配置ssh免登陆:
  生成ssh免登陆密钥
  cd ~,进入到我的home目录
  cd .ssh/
  ssh-keygen -t rsa (四个回车)
  执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
  将公钥拷贝到要免登陆的机器上
  cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  或ssh-copy-id -i localhost
  #把hadoop01的hadoop目录下的logs和tmp删除
  将配置好的hadoop拷贝到其他节点
  scp -r /usr/local/hadoop/ hadoop02:/usr/local/
  scp -r /usr/local/hadoop/ hadoop03:/usr/local/
  scp -r /usr/local/hadoop/ hadoop04:/usr/local/
  把hadoop01的/etc/profile复制到其他节点,并在目标节点中执行source /etc/profile
  格式化,在hadoop01节点执行hadoop namenode -format
  启动,在hadoop01节点执行start-all.sh
  ****注意:对于配置文件core-site.xml和mapred-site.xml在所有节点中都是相同的内容。

页: [1]
查看完整版本: hadoop的完全分布式安装