hadoop集群搭建(二)——集群环境配置
团队力量让我们站在云端！真的感觉团队的力量太强大了，整个集群配置能够顺利进行，完全是靠大家合作才能完成。我们确实有很多不明白的地方，但是我们的每一个人都敢于探索，敢于去实践，敢于去做各种尝试，最终的结果就是我们克服了各种困难完成了云端的搭建！
好了进入正题，假设每台机器都按照前一篇所属配置好了hadoop环境，那么接下来开始配置集群环境。
集群配置分为以下几个步骤：
1、 修改机器的IP地址等信息
2、 配置namenode的hosts文件；
3、 配置namenode的masters和slaves文件；
4、 配置namenode的core-site、mapred-site、hdfs-site文件；
5、 远程拷贝（可选操作）上述文件给所有的slaves；
6、 在namenode上生成公钥，远程拷贝公钥给所有的slaves，slaves上将公钥添加到授权文件；
7、s laves ssh连接master；
8、d ata结点启动datanode和tasktracker,name结点启动所有的data结点；
一、 修改机器IP；
这里我们总共准备了十台机器，依次将机器的IP地址改为192.168.1.2-192.168.1.11
选定11号机器为namenode,10号机器作为secondarynamenode；
二、 配置namenode的hosts文件；
sudo gedit /etc/hosts
修改文件如下：
127.0.0.1 localhost
127.0.1.1 ubuntu.ubuntu-domain ubuntu
192.168.1.11 master
192.168.1.7 s7
192.168.1.4 s4
192.168.1.2 s2
192.168.1.3 s3
192.168.1.5 s5
192.168.1.6 s6
192.168.1.8 s8
192.168.1.9 s9
192.168.1.10 s10
# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
三、 配置namenode的masters和slaves文件
cd /usr/local/hadoop
sudo gedit conf/masters
修改如下：
master
sudo gedit conf/slaves
s2
s3
S4
s5
S6
S7
S8
S9
这里配置的masters和slaves文件只是作为一种映射关系，将对应的名称映射到hosts文件中的IP;
四、 配置namenode的core-site、mapred-site、hdfs-site文件
sudo gedit conf/core-site.xml
1 <configuration>
2 <property>
3 <name>fs. default .name</name>
4 <value>hdfs:// master :9000</value>
5 </property>
6 <property>
7 <name>dfs.replication</name>
8 <value>1</value>
9 </property>
10 <property>
参数详解：第一个属性表示namenode的主机和端口，第二个属性表示hdfs中文件备份个数。
sudo gedit conf/mapred-site.xml
1 <configuration>
2 <property>
3 <name>mapred.job.tracker</name>
4 <value> master :9001</value>
5 </property>
6 </configuration>
参数详解：JobTracker的主机和端口;
sudo geidt conf/hdfs-site.xml
1 <property>
2 <name> dfs.name.dir </name>
3 <value> /home/hadoop/hdfs/name </value>
4 </property>
5
6 <property>
7 <name> dfs.data.dir </name>
8 <value> /home/hadoop/hdfs/data </value>
9 </property>
参数详解：第一个属性表示 NameNode 持久存储名字空间及事务日志的本地文件系统路径。
第二个属性表示 DataNode 存放块数据的本地文件系统路径 。
五、远程拷贝（可选操作）slaves上的文件给master；
scp /etc/hosts hadoop@s2:/etc/hosts
.
.
.
scp conf/core-site.xml hadoop@s2:/usr/local/hadoop/conf/core-site.xml
.
.
scp conf/mapred-site.xml hadoop@s2:/usr/local/hadoop/conf/mapred-site.xml
.
.
scp conf/hdfs-site.xml hadoop@s2:/usr/local/hadoop/conf/hdfs-site.xml
.
data结点上修改master文件同name结点，经过实践我们发现data结点作为slave，slaves文件其实不用修改。
六、 在namenode上生成公钥，远程拷贝公钥给所有的slaves，slaves上将公钥添加到授权文件;
1. 生成公钥： ssh-keygen -t dsa -P "" -f ~/.ssh/id_ r sa
2. 远程拷贝： scp ~/.ssh/id_rsa.pub hadoop@master ~/.ssh/
3. data结点上添加到收信任列表： cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorizedkeys
七、 datanode ssh连接namenode
ssh master
八、 配置SecondaryNamenode( 号外！ )
修改masters 文件，改为 s10
修改hdfs-site.xml 文件
<property>
<name>dfs.http.address</name>
<value> 192.168.1.11 :50070</value> >
</property>
九、data结点启动datanode和tasktracker,name结点启动所有的data结点
namenode启动之前做一次 block 负载均衡
sudo gedit conf/hdfs-site.xml
<property>
<name>dfs.balance.bandwidthPerSec</name>
<value>10485760</value>
<description>
Specifies the maximum bandwidth that each datanode can utilize for the balancing purpose in
term of the number of bytes per second.
</description>
</property>
bin/start-balancer.sh
在新的结点上启动datanode
bin/hadoop-daemon.sh start datanode
启动tasktracker
bin/hadoop-daemon.sh start tasktracker
启动SecondaryNameNode
bin/hadoop-daemon.sh start SecoondaryNameNode
启动namenode
bin/start-dfs.sh
连接时可以在namenode上查看连接情况:
bin/hadoop dfsadmin -report
运行测试和单机版基本步骤一致，参见前文！
好了配置完毕！由于是新手，还有N 多问题没有理解，敬请各位大牛指点！不过此文还会经过修改，敬请期待！
<!--EndFragment-->
页:
[1]