设为首页 收藏本站
查看: 870|回复: 0

[经验分享] hadoop集群搭建(二)——集群环境配置

[复制链接]

尚未签到

发表于 2016-12-8 10:10:46 | 显示全部楼层 |阅读模式
团队力量让我们站在云端!

 

真的感觉团队的力量太强大了,整个集群配置能够顺利进行,完全是靠大家合作才能完成。我们确实有很多不明白的地方,但是我们的每一个人都敢于探索,敢于去实践,敢于去做各种尝试,最终的结果就是我们克服了各种困难完成了云端的搭建!

 

好了进入正题,假设每台机器都按照前一篇所属配置好了hadoop环境,那么接下来开始配置集群环境。

 

 

集群配置分为以下几个步骤:

1、 修改机器的IP地址等信息

2、 配置namenode的hosts文件;

3、 配置namenode的masters和slaves文件;

4、 配置namenode的core-site、mapred-site、hdfs-site文件;

5、 远程拷贝(可选操作)上述文件给所有的slaves;

6、 在namenode上生成公钥,远程拷贝公钥给所有的slaves,slaves上将公钥添加到授权文件;

7、s laves ssh连接master;

8、d ata结点启动datanode和tasktracker,name结点启动所有的data结点;

 

 

 

 

一、 修改机器IP;

 

这里我们总共准备了十台机器,依次将机器的IP地址改为192.168.1.2-192.168.1.11

选定11号机器为namenode,10号机器作为secondarynamenode;

 

 

 

 

二、 配置namenode的hosts文件;

sudo gedit /etc/hosts

修改文件如下:

127.0.0.1 localhost

127.0.1.1 ubuntu.ubuntu-domain ubuntu

192.168.1.11 master

192.168.1.7 s7

192.168.1.4 s4

192.168.1.2 s2

192.168.1.3 s3

192.168.1.5 s5

192.168.1.6 s6

192.168.1.8 s8

192.168.1.9 s9

192.168.1.10 s10

 

# The following lines are desirable for IPv6 capable hosts

::1     ip6-localhost ip6-loopback

fe00::0 ip6-localnet

ff00::0 ip6-mcastprefix

ff02::1 ip6-allnodes

ff02::2 ip6-allrouters

 

 

 

 

三、 配置namenode的masters和slaves文件

cd /usr/local/hadoop

sudo gedit conf/masters

修改如下:

master

sudo gedit conf/slaves

s2

s3

S4

s5

S6

S7

S8

S9

这里配置的masters和slaves文件只是作为一种映射关系,将对应的名称映射到hosts文件中的IP;

 

 

 

四、 配置namenode的core-site、mapred-site、hdfs-site文件

   

sudo gedit conf/core-site.xml

1    <configuration>   

2   <property>   

3    <name>fs. default .name</name>   

4    <value>hdfs:// master :9000</value>    

5   </property>   

6   <property>   

7    <name>dfs.replication</name>    

8    <value>1</value>    

9   </property>   

10   <property>   

 

参数详解:第一个属性表示namenode的主机和端口,第二个属性表示hdfs中文件备份个数。

   

sudo gedit conf/mapred-site.xml

1    <configuration>   

2       <property>    

3          <name>mapred.job.tracker</name>   

4           <value> master :9001</value>    

5       </property>   

6  </configuration>  

 

   参数详解:JobTracker的主机和端口;

 

    sudo geidt conf/hdfs-site.xml   

 

1  <property>   

2       <name> dfs.name.dir </name>   

3       <value> /home/hadoop/hdfs/name </value>   

4  </property>   

5    

6  <property>   

7       <name> dfs.data.dir </name>   

8       <value> /home/hadoop/hdfs/data </value>   

9  </property>   

 

    参数详解:第一个属性表示 NameNode 持久存储名字空间及事务日志的本地文件系统路径。

    第二个属性表示 DataNode 存放块数据的本地文件系统路径   。  

  

五、远程拷贝(可选操作)slaves上的文件给master;

    scp /etc/hosts hadoop@s2:/etc/hosts

    .

    .

    .

    scp conf/core-site.xml hadoop@s2:/usr/local/hadoop/conf/core-site.xml

    .

    .

    scp conf/mapred-site.xml hadoop@s2:/usr/local/hadoop/conf/mapred-site.xml

    .

    .

    scp conf/hdfs-site.xml hadoop@s2:/usr/local/hadoop/conf/hdfs-site.xml

    .

    data结点上修改master文件同name结点,经过实践我们发现data结点作为slave,slaves文件其实不用修改。

 

 

 

 

六、 在namenode上生成公钥,远程拷贝公钥给所有的slaves,slaves上将公钥添加到授权文件;

    1.  生成公钥: ssh-keygen -t dsa -P "" -f ~/.ssh/id_ r sa    

    2.  远程拷贝: scp  ~/.ssh/id_rsa.pub hadoop@master  ~/.ssh/    

    3.  data结点上添加到收信任列表: cat  ~/.ssh/id_rsa.pub >>  ~/.ssh/authorizedkeys

 

 

 

七、 datanode ssh连接namenode

ssh master

 

 

八、 配置SecondaryNamenode( 号外! )

    修改masters 文件,改为 s10

    修改hdfs-site.xml 文件

     <property>
          <name>dfs.http.address</name>
          <value> 192.168.1.11  :50070</value> >
    </property>
 

 

九、data结点启动datanode和tasktracker,name结点启动所有的data结点

 

       namenode启动之前做一次 block 负载均衡

     sudo gedit  conf/hdfs-site.xml

 

     <property> 
                <name>dfs.balance.bandwidthPerSec</name> 
                <value>10485760</value> 
                <description>
                       Specifies the maximum bandwidth that each datanode can utilize for the balancing purpose in 

                       term of the number of bytes per second.
                 </description> 
     </property>  

     bin/start-balancer.sh

 

     在新的结点上启动datanode 

  bin/hadoop-daemon.sh start datanode  

     启动tasktracker

      bin/hadoop-daemon.sh start tasktracker 

     启动SecondaryNameNode

  bin/hadoop-daemon.sh start SecoondaryNameNode

     启动namenode

  bin/start-dfs.sh  

 

       

    连接时可以在namenode上查看连接情况:

      bin/hadoop dfsadmin -report

 

 

    运行测试和单机版基本步骤一致,参见前文!

 

     好了配置完毕!由于是新手,还有N 多问题没有理解,敬请各位大牛指点!不过此文还会经过修改,敬请期待!   

  <!--EndFragment-->

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.iyunv.com/thread-311359-1-1.html 上篇帖子: 解决hadoop web UI无法访问问题 下篇帖子: hadoop学习3——DistributedCache加载本地库
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表