详细 完整分布模式安装hadoop VirtualBox 3虚拟机
详细 完整分布模式安装hadoop VirtualBox 3虚拟机基础设备
宿主机器：
CPU：Intel® Core i5-2400 CPU @ 3.10GHz
内存：4G
硬盘：500G
操作系统：Win7 32Bit
Linux 版本：
CentOS-6.2-x86_64-minimal.iso
虚拟机版本
VirtualBox 4.2.0 RC1
计划安装3个CentOS虚拟机，实现完整分布式模式。
h1,h2,h3 分别内存为512M，硬盘容量为20G。
虚拟机配置
新建虚拟机。
http://pic002.cnblogs.com/images/2012/440956/2012090116161383.png
http://pic002.cnblogs.com/images/2012/440956/2012090116163378.png
内存预先设置为1G，安装完成后调整为512M。1G以上内存方可使用GUI安装。
http://pic002.cnblogs.com/images/2012/440956/2012090116164833.png
加载ISO光盘镜像。
http://pic002.cnblogs.com/images/2012/440956/2012090116173368.png
网络方式使用 桥接网卡 最为简单。
具体介绍：http://www.douban.com/group/topic/15558388/
http://pic002.cnblogs.com/images/2012/440956/2012090116180492.png
配置完成后，直接启动该虚拟机。
http://pic002.cnblogs.com/images/2012/440956/2012090116183530.png
跳过光盘检测。
http://pic002.cnblogs.com/images/2012/440956/2012090116185476.png
下面是配置键盘与语言等选项，一路next下去，注意网络配置画面。
http://pic002.cnblogs.com/images/2012/440956/2012090116191782.png
分区配置。
http://pic002.cnblogs.com/images/2012/440956/2012090116240424.png
然后配置管理员密码等。
http://pic002.cnblogs.com/images/2012/440956/2012090116243135.png
完成安装，重新启动虚拟机。
http://pic002.cnblogs.com/images/2012/440956/2012090116250328.png
正常登录后，在shell命令中，输入uname –r，查看Linux版本内核。
http://pic002.cnblogs.com/images/2012/440956/2012090116253093.png
输入ifconfig eth0 查看是否正常获取IP地址，使用ping命令确认能否上网。
http://pic002.cnblogs.com/images/2012/440956/2012090116255231.png
使用yum update -y命令将系统更新。（163下载的ISO自动在163的镜像上下载。）
时间较长！
http://pic002.cnblogs.com/images/2012/440956/2012090116261778.png
使用yum install –y wget 将下载工具安装。
彻底关闭Linux中的Iptables。
命令行中：service iptables stop && chkconfig iptables off
http://pic002.cnblogs.com/images/2012/440956/2012090116263650.png
一般linux中都已经开启了ssh功能。
下载随意windows下的ssh客户端，例如：Xshell、SecureCRT、PuTTY 、Xmanager等。
http://pic002.cnblogs.com/images/2012/440956/2012090116270238.png
登录后，使用此命令下载JAVA JDK
# wget http://210.75.11.10/ jdk-7u7-linux-x64.rpm
http://pic002.cnblogs.com/images/2012/440956/2012090116275951.png
# rpm -ivh jdk-7u7-linux-x64.rpm
安装JAVA JDK
http://pic002.cnblogs.com/images/2012/440956/2012090116283884.png
配置系统环境变量。
# vi /etc/profile
添加
JAVA_HOME=/usr/java/jdk1.7.0_07
PATH=$PATH:$JAVA_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH JAVA_HOME>http://pic002.cnblogs.com/images/2012/440956/2012090116292667.png
# java –version 测试是否成功。
http://pic002.cnblogs.com/images/2012/440956/2012090116333435.png
新增运行的hadoop用户，并配置密码。
http://pic002.cnblogs.com/images/2012/440956/2012090116392440.png
将grid 添加到管理员组。
http://pic002.cnblogs.com/images/2012/440956/2012090116395090.png
接下来，关闭本虚拟机。
halt –p
复制虚拟机
复制h1
C:\Program Files\Oracle\VirtualBox>VBoxManage clonehd "D:\Linux\CentOS\h1.vdi" "D:\Linux\CentOS\h2.vdi"
0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100%
Clone hard disk created in format 'VDI'. UUID: 74a09b9d-c4d8-4689-9186-87e34e4b5265
http://pic002.cnblogs.com/images/2012/440956/2012090116402165.png
复制h3
C:\Program Files\Oracle\VirtualBox>VBoxManage clonehd "D:\Linux\CentOS\h1.vdi" "D:\Linux\CentOS\h3.vdi"
0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100%
Clone hard disk created in format 'VDI'. UUID: 110c9759-c9c3-4867-9721-3633dfe02384
将虚拟机文件添加到VirtualBox内。命名分别为h1，h2，h3。
http://pic002.cnblogs.com/images/2012/440956/2012090116405652.png
分别登录3台虚拟机内，将IP地址与hostname，hosts修改正确，使之能互相ping通。
192.168.3.230 h1
192.168.3.231 h2
192.168.3.232 h3
vi /etc/hosts
http://pic002.cnblogs.com/images/2012/440956/2012090116433327.png
复制的h2 h3同样要做以下修改。
vi /etc/sysconfig/network
http://pic002.cnblogs.com/images/2012/440956/2012090116440039.png
命令行中输入hostname=h2 立即生效。
修改IP地址。
vi /etc/sysconfig/network-scripts/ifcfg-eth0
http://pic002.cnblogs.com/images/2012/440956/2012090116442936.png
直接修改配置文件IPADDR和 HWADDR（抄VBOX上的MAC地址）还不能使网卡变更。
最简单的解决办法是直接删除70-persistent-net.rules配置文件
rm -fr /etc/udev/rules.d/70-persistent-net.rules
reboot
重启系统就ok了，系统会自动生成一个新的。
配置ssh互信
分别启动h1，h2，h3虚拟机，互相ping确认是否能通。
然后分别使用grid用户，正常登录每台机器执行生成密钥命令。
ssh-keygen –t rsa
http://pic002.cnblogs.com/images/2012/440956/2012090116450765.png
回到h1主机上，使用跨主机的管道和重定向将h2,h3主机上的公钥id_rsa.pub添加到h1上的authorized_keys文件中。
http://pic002.cnblogs.com/images/2012/440956/2012090116454614.png
分别将通过
ssh h2 cat ~/.ssh/id_rsa.pub && ssh h3 cat ~/.ssh/id_rsa.pub
添加到
authorized_keys
http://pic002.cnblogs.com/images/2012/440956/2012090116460932.png
完成后，authorized_keys文件变成了三大段。
http://pic002.cnblogs.com/images/2012/440956/2012090116463786.png
然后分别scp 复制到h2,h3机器中。
scp authorized_keys grid@h2:~/.ssh/
http://pic002.cnblogs.com/images/2012/440956/2012090116474451.png
验证成功。
http://pic002.cnblogs.com/images/2012/440956/2012090116481628.png
SSH互信配置完成。
配置hadoop下载hadoop
回到h1虚拟机内，使用wget 命令下载hadoop 0.20。（如果没有安装wget可以yum install –y wget安装。）
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-0.20.2/hadoop-0.20.2.tar.gz
使用Xshell操作会简便很多，可以在windows与linux间复制。
http://pic002.cnblogs.com/images/2012/440956/2012090116484415.png
http://pic002.cnblogs.com/images/2012/440956/2012090116490634.png
解压hadoop
$ tar zxvf hadoop-0.20.2.tar.gz
http://pic002.cnblogs.com/images/2012/440956/2012090116493231.png
分别修改core-site.xml、hdfs-site以及mapred-site.xml
http://pic002.cnblogs.com/images/2012/440956/2012090116500021.png
http://pic002.cnblogs.com/images/2012/440956/2012090116501685.png
:wq保存退出。
$ vi mapred-site.xml
http://pic002.cnblogs.com/images/2012/440956/2012090116504597.png
:wq保存退出。
$ vi hdfs-site.xml
http://pic002.cnblogs.com/images/2012/440956/2012090117050844.png
:wq保存退出。
配置hadoop-env.sh文件
再次确认java jdk安装在/usr/java/jdk1.7.0_07目录下面。
$ vi hadoop-env.sh
http://pic002.cnblogs.com/images/2012/440956/2012090117074380.png
:wq保存退出。
修改masters和slaves文件
http://pic002.cnblogs.com/images/2012/440956/2012090117080661.png
http://pic002.cnblogs.com/images/2012/440956/2012090117081537.png
分别存盘退出。
向各节点复制hadoop目录
$ scp -r hadoop-0.20.2 h2:~/
$ scp -r hadoop-0.20.2 h3:~/
http://pic002.cnblogs.com/images/2012/440956/2012090117092813.png
格式化分布式文件系统
http://pic002.cnblogs.com/images/2012/440956/2012090117100384.png
格式化成功。
启动守护进程
http://pic002.cnblogs.com/images/2012/440956/2012090117102790.png
输入一次yes后，无需再输入。
检测守护进程启动情况
$ /usr/java/jdk1.7.0_07/bin/jps
jps工具查看java进程。
http://pic002.cnblogs.com/images/2012/440956/2012090117115366.png
至此，hadoop完整分布式模式安装完成。
页:
[1]