hadoop的搭建
one night in Beijing,地铁挤得要命.........重新梳理下hadoop的搭建吧，毕竟有人说过，没搭过4、5遍hadoop的人不能算是真的会搭建
这次搭建的方法是利用VMWare10和CentOS的虚拟机环境，因为有些人感觉利用Linux的vi编辑不好用，所以我们可以利用winscp来对几个配置文件内容进行修改。
下面是搭建的过程：
1.修改主机名
1.1查看主机名: hostname
1.2修改主机名: vi /etc/sysconfig/network
1.3将主机名hostname与ip绑定: vi /etc/hosts,增加一行内容例如：
192.168.80.100 hadoop验证：ping hadoop
2.关闭防火墙
2.1查看防火墙状态：service iptables status
2.2关闭：service iptables stop
2.3关闭防火墙自动启动功能：chkconfig iptables off
3.设置ssh无密码登陆
3.1产生秘钥：ssh-keygen -t rsa 位于~/.ssh文件夹
3.2cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
3.3验证：ssh localhost
exit (localhost退出)
exit (终端退出)
4.安装jdk
4.1用winscp将hadoop压缩包和jdk复制到/root/Downloads目录下
4.2 cd /usr/local
rm -rf * (删除所有)
4.3复制文件： cp /root.Downloads/* .
4.4给文件添加执行权限：chmod u+x jdk-6u24-linux-i586.bin
4.5安装jdk： ./jdk-6u24-linux-i586.bin
4.6重命名：mv jdk1.6.0_24 jdk
4.5配置变量：vi etc/profile
在# /etc/profile下添加export JAVA_HOME=/usr/lcoal/jdk
export PATH=.:$JAVA_HOME/bin:$PATH
保存退出之后执行命令 source /etc/profile 让文件生效
java -version检查jdk信息
5.安装hadoop
5.1解压：tar -zxvf hadoop-1.1.2.tar.gz
5.2重命名：mv hadoop-1.1.2 hadoop
5.3配置到环境中：vi etc/profile
在# /etc/profile下添加export HADOOP_HOME=/usr/local/hadoop
将export PATH=.:$JAVA_HOME/bin:$PATH
修改为export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
保存退出之后执行命令 source /etc/profile 让文件生效
5.4修改/usr/local/hadoop/conf下的配置文件hadoop-env.sh、core-site.xml
hdfs-site.xml、mapred-site.xml(参考博客，用winscp改，注意主机名的区别)
6.运行
6.1格式化：hadoop namenode -format
6.2启动：start-all.sh
6.3检查进程启动情况：jps
6.4更改hosts文件：/system32/drivers/etc 添加一行：192.168.80.100 hadoop
然后可以在windows下访问 hadoop:50030 hadoop:50070 检查mr任务执行情况
以上是单机情况下的伪分布式搭建，至于真正的集群搭建的注意事项等以后总结了在 继续更新博客。
补充：网上的介绍ssh的文章：http://www.ruanyifeng.com/blog/2011/12/ssh_remote_login.html
安装pig hbase hive可以用wget 例如：
wget http://archive-primary.cloudera.com/cdh5/cdh/5/hadoop-2.3.0-cdh5.0.2.tar.gz(需要下载的文件地址)
页:
[1]