hadoop_4 分布式配置

zlzyp

--------------系统准备--------------------
测试firefox，ifconfig等功能，确保系统是ok的

sudo su root
gedit /etc/hosts修改内容如下：
192.168.52.134master
192.168.52.135slave1
192.168.52.136slave2

hostname master
gedit /etc/hostname master
把原来的Ubuntu删掉，不要用#注释，直接删掉，因为#没用，修改内容：
master

测试firefox  ping主机

------------安装---------------------

拷贝hadoop 和 jdk
sudo  -s ./jdk-6u41-linux-i586.bin

修改profile文件
sudo gedit /etc/profile
export JAVA_HOME=/home/tristan/jdk1.6.0_02  
export PATH=$PATH:/home/tristan/jdk1.6.0_02/bin  
export PATH=$PATH:/home/tristan/hadoop/bin  

修改profile文件
sudo gedit /etc/profile
export JAVA_HOME=/home/tristan/jdk1.6.0_41  
export PATH=$PATH:/home/tristan/jdk1.6.0_41/bin  
export PATH=$PATH:/home/tristan/hadoop/bin  

config hadoop xml
------hadoop-env.sh--------
export JAVA_HOME=/home/tristan/jdk1.6.0_41

------core-site.xml----
<property>  
  <name>fs.default.name</name>  
  <value>hdfs://master:9000</value>   
 </property>  

------mapred-site.xml------
     <property>   
      <name>mapred.job.tracker</name>  
      <value>master:9001</value>   
     </property>  

----hdfs-site.xml-----
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/tristan/name/</value>  
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/tristan/data/</value>
</property>

格式化namenode
hadoop namenode -format

测试
java -version
hadoop fs -ls /

--------------配置 启动 ---------------
hadoop-daemon.sh start namenode  
hadoop-daemon.sh start datanode  
hadoop-daemon.sh start secondarynamenode  
hadoop-daemon.sh start jobtracker  
hadoop-daemon.sh start tasktracker  
  
访问路径  
http://localhost:50070/dfshealth.jsp  
http://localhost:50030/jobtracker.jsp

运行wordcount实例
hadoop jar hadoop-examples-1.0.4.jar wordcount /sample/testA /result/testA

----------------clone第2 3台机器---------------------
配置ip文件slave1 slave2
确保能和master ping通
-----------------SSH-----------------
安装SSH
sudo apt-get install ssh

查看.ssh文件夹
ls -a /home/tristan

生成秘钥
ssh-keygen -t dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

验证
ssh -version
ssh localhost

复制到slave机器上
scp authorized_keys slave1:~/.ssh/

ssh slave1
ssh slave2

start-all.sh
stop-all.sh


-----------其他------------
如果slave1停掉了，在web界面中，live node还是为2
需要重新跑下start-all.sh。 live node 就变成1了


hadoop dfsadmin -refreshNodes
是为了在master段动态删除node

由于slave1 slave2 和master配置类似，而且可以用master端通过ssh控制
故只备份master的虚拟机就ok