懂ni 发表于 2018-10-30 07:20:15

Hadoop安装简单版本

  操作系统环境:Linux ubuntu 3.2.0-23-generic-pae
  Hadoop版本:hadoop-1.0.3
  master: 192.168.1.2
  slaver: 192.168.1.3
  一, SSH免密码
  通过ssh-keygen产生公私钥,将公钥copy到希望免ssh密码登陆的机子上。
  master上操作:
  su hadoop
  cd /home/hadoop
  ssh-keygen -t rsa -P ''
  cat .ssh/id_rsa.pub >> .ssh/authorized_keys
  /etc/init.d/ssh restart
  ssh localhost
  测试本机是否免密码
  scp ~/.ssh/id_rsa.pub hadoop@192.168.1.3:~/
  将id_rsa.pub拷贝到192.168.1.3:/home/hadoop/id_rsa.pub
  slave上的操作:
  su hadoop
  cd /home/hadoop

  cat>
  rm>  二, 安装java设置路径
  export JAVA_HOME=/usr/java/jdk1.6.0_31

  export>  chown –R hadoop:hadoop hadoop #将文件夹"hadoop"读权限分配给hadoop用户
  export HADOOP_HOME=/usr/hadoop
  export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME:$HADOOP_HOME/bin
  三, 配置文件
  in master
  mkdir /usr/hadoop/tmp
  chown -R hadoop /usr/hadoop
  vi /usr/hadoop/conf/hadoop-env.sh
  export JAVA_HOME=/usr/java/jdk1.6.0_31
  vi /usr/hadoop/conf/core-site.xml
  hadoop.tmp.dir
  /usr/hadoop/tmp
  (备注:请先在 /usr/hadoop 目录下建立 tmp 文件夹)
  temporary directories.
  fs.default.name
  hdfs://192.168.1.2:9000
  vi /usr/hadoop/conf/hdfs-site.xml
  dfs.replication
  1
  vi /usr/hadoop/conf/mapred-site.xml
  mapred.job.tracker
  http://192.168.1.2:9001
  vi /usr/hadoop/conf/masters
  192.168.1.2
  vi /usr/hadoop/conf/slaves
  192.168.1.3
  in slaves
  将master的整个hadoop目录copy到slaves就可以了, slaves的配置和master的配置基本一样
  scp -r /usr/hadoop hadoop@192.168.1.3:/usr
  四,运行
  在master上执行命令
  格式化namenode
  hadoop namenode -format
  在namenode,开启服务
  start-all.sh
  在namenode,关闭服务
  stop-all.sh
  namenode离开安全模式
  hadoop dfsadmin -safemode leave
  验证:
  jps
  hadoop dfsadmin -report
  192.168.1.2:50030   mapreduce admin
  192.168.1.2:50070   namenodeadmin

页: [1]
查看完整版本: Hadoop安装简单版本