Hadoop 本地集成环境搭建

tonwei139

1. 相关软件
VMwave6，RedHat5 32bit，JDK6，Hadoop1.2
2. 集成环境搭建步骤
2.1 安装虚拟机
安装过程出现错误：
setup has detected vmware software running on this machine
解决方式：
打开TASK管理器，终止进程里VM相关的进程
出处：
http://zhidao.baidu.com/question/206989601.html?fr=qrl&cid=89&index=1
虚拟机配置：
网络：NAT
硬盘：30G
内存：512M
2.2 安装RedHat系统
关闭防火墙，创建用户hadoop，配置固定IP 192.168.153.128，在/etc/hosts中加入下列内容

192.168.153.1 host
192.168.153.128 master
192.168.153.129 node0
192.168.153.130 node1
2.3 安装JDK6和Hadoop1.2到/usr/local目录下
配置环境变量，在/etc/profile中加入下列内容，执行source profile

#set JDK evn
JAVA_HOME=/usr/local/jdk1.6.0_25
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH CLASSPATH
#set Hadoop evn
HADOOP_HOME=/usr/local/hadoop-1.2.1
PATH=$PATH:$HADOOP_HOME/bin
export PATH
2.4 配置Hadoop（$Hadoop/conf/）
hadoop-env.sh

export JAVA_HOME=/usr/local/jdk1.6.0_25
masters

node0
　　slaves

node0
node1
　　core-site.xml

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:8280</value>
<final>true</final>
</property>
</configuration>
　　hdfs-site.xml

<configuration>
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/hdfs/name</value>
<final>true</final>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/hdfs/data</value>
<final>true</final>
</property>
<property>
<name>dfs.checkpoint.dir</name>
<value>/home/hadoop/hdfs/checkpoint</value>
<final>true</final>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.http.address</name>
<value>master:50070</value>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>node0:50090</value>
</property>
</configuration>
　　mapred-site.xml

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>master:8021</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/home/hadoop/mapred/local</value>
</property>
<property>
<name>mapred.system.dir</name>
<value>/home/hadoop/mapred/system</value>
</property>
<property>
<name>mapred.child.java.opts</name>
<value>-Xmx200m</value>
</property>
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>2</value>
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>2</value>
</property>
</configuration>
2.4 克隆两份虚拟机node0，node1，更改网络配置
Linux关机命令

shutdown -h now
2.5 配置SSH免登录
-- 登录master，构建.ssh目录

mkdir .ssh
cd .ssh
-- 构建SSH公匙/私匙对，不输入密码直接按回车

ssh-keygen -t rsa
-- 复制一份公匙

cat id_rsa.pub >> authorized_keys
-- 将公匙传送到slaves中

scp ~/.ssh/authorized_keys hadoop@node0:/home/hadoop/
scp ~/.ssh/authorized_keys hadoop@node1:/home/hadoop/
-- 将slave中的公匙复制到指定位置

mkdir .ssh
cat ~/authorized_keys >> ~/.ssh/authorized_keys
rm authorized_keys
-- 权限设置

chmod 755 ~
chmod 755 ~/.ssh
chmod 644 ~/.ssh/authorized_keys
chmod 644 ~/.ssh/id_rsa.pub
chmod 600 ~/.ssh/id_rsa
-- 测试

ssh node0
ssh node1
2.6 HDFS初始化

hadoop namenode -format
2.7 启动Hadoop

start-all.sh
-- 验证

jps
-- 验证结果
master

3439 NameNode
3679 Jps
3591 JobTracker
node0

3475 TaskTracker
3391 SecondaryNameNode
3322 DataNode
3530 Jps
node1

3422 Jps
3369 TaskTracker
3293 DataNode
2.8 运行基准测试 
-- 使用TestNFSIO来测试HDFS

hadoop jar $HADOOP_HOME/hadoop-test-*.jar TestDFSIO -write -nrFiles 2  -fileSize 10
hadoop jar $HADOOP_HOME/hadoop-test-*.jar TestDFSIO -read -nrFiles 2  -fileSize 10
hadoop jar $HADOOP_HOME/hadoop-test-*.jar TestDFSIO -clean
-- 使用Sort程序测试MapReduce

hadoop jar $HADOOP_HOME/hadoop-examples-*.jar randomwriter -Dtest.randomwriter.maps_per_host=1 -Dtest.randomwrite.bytes_per_map=1048576 random-data
hadoop jar $HADOOP_HOME/hadoop-examples-*.jar sort random-data sorted-data
hadoop jar $HADOOP_HOME/hadoop-test-*.jar testmapredsort -sortInput random-data -sortOutput sorted-data
3. 使用HTTP访问Hadoop
Map/Reduce http://master:50030/
HDFS http://master:50070/
4. eclipse插件安装
-- 下载eclipse hadoop plugin 1.2.1 (版本一定要匹配)  
-- 安装插件
-- 配置


 
-- 查看HDFS