hadoop的搭建

发牌SO

　　one night in Beijing,地铁挤得要命.........
　　重新梳理下hadoop的搭建吧，毕竟有人说过，没搭过4、5遍hadoop的人不能算是真的会搭建
　　这次搭建的方法是利用VMWare10和CentOS的虚拟机环境，因为有些人感觉利用Linux的vi编辑不好用，所以我们可以利用winscp来对几个配置文件内容进行修改。
　　下面是搭建的过程：
　　1.修改主机名
　　 
　　1.1查看主机名:  hostname
　　1.2修改主机名:  vi /etc/sysconfig/network
　　1.3将主机名hostname与ip绑定:  vi /etc/hosts,增加一行内容例如：
　　  192.168.80.100   hadoop验证：ping hadoop
　　 
　　2.关闭防火墙
　　2.1查看防火墙状态：service iptables status
　　2.2关闭：service iptables stop
　　2.3关闭防火墙自动启动功能：chkconfig iptables off
　　 
　　3.设置ssh无密码登陆
　　3.1产生秘钥：ssh-keygen -t rsa 位于~/.ssh文件夹
　　3.2cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
　　3.3验证：ssh localhost
　　exit (localhost退出)
　　exit (终端退出)
　　 
　　4.安装jdk
　　4.1用winscp将hadoop压缩包和jdk复制到/root/Downloads目录下
　　4.2  cd /usr/local
　　    rm -rf *  (删除所有)
　　4.3复制文件：  cp /root.Downloads/*  .
　　4.4给文件添加执行权限：chmod u+x jdk-6u24-linux-i586.bin
　　4.5安装jdk：  ./jdk-6u24-linux-i586.bin
　　4.6重命名：mv jdk1.6.0_24  jdk
　　4.5配置变量：vi etc/profile
　　  在# /etc/profile下添加export JAVA_HOME=/usr/lcoal/jdk
　　                        export PATH=.:$JAVA_HOME/bin:$PATH
　　  保存退出之后执行命令  source /etc/profile  让文件生效
　　  java -version检查jdk信息
　　5.安装hadoop
　　5.1解压：tar -zxvf hadoop-1.1.2.tar.gz
　　5.2重命名：mv hadoop-1.1.2  hadoop
　　5.3配置到环境中：vi etc/profile
　　  在# /etc/profile下添加export HADOOP_HOME=/usr/local/hadoop
　　  将export PATH=.:$JAVA_HOME/bin:$PATH
　　  修改为export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
　　  保存退出之后执行命令  source /etc/profile  让文件生效
　　5.4修改/usr/local/hadoop/conf下的配置文件hadoop-env.sh、core-site.xml
　　  hdfs-site.xml、mapred-site.xml(参考博客，用winscp改，注意主机名的区别)
　　6.运行
　　6.1格式化：hadoop  namenode  -format
　　6.2启动：start-all.sh
　　6.3检查进程启动情况：jps
　　6.4更改hosts文件：/system32/drivers/etc  添加一行：192.168.80.100  hadoop
　　 
　　        然后可以在windows下访问   hadoop:50030   hadoop:50070 检查mr任务执行情况
　　 
　　以上是单机情况下的伪分布式搭建，至于真正的集群搭建的注意事项等以后总结了在 继续更新博客。
　　补充：网上的介绍ssh的文章：http://www.ruanyifeng.com/blog/2011/12/ssh_remote_login.html
　　          安装pig hbase hive可以用wget 例如：
　　          wget http://archive-primary.cloudera.com/cdh5/cdh/5/hadoop-2.3.0-cdh5.0.2.tar.gz(需要下载的文件地址)