集群hadoop装机步骤(2)

11lxm

集群hadoop装机步骤小结 (2)
　　第五：配置ip
　　（1）
  打开网络连接中——>编辑连接选项——>选择你当前的网络（出现如下图的窗体）  
　　 


（2）
   接上——>编辑选项——>ipv4设置（出现如下图的窗体）

地址（添加你们协定好的各自分配的ip）
第六：添加节点（在主机处）
　　（1）在/etc/hosts文件中添加你的ip和代号形式如下所示：
　　192.168.1.2  master 
　　192.168.1.3 s2
192.168.1.3 s3
192.168.1.4 s4
（2）在/usr/local/hadoop/conf/slaves中添加s20（我这台机子的代号）
 
 
 
 

 
　　 
 
　　
　　 
 
　　第七：拷贝密钥
　　（1）
   进入master

　　（2）
   从master那里拷贝密钥实现无密码登录



第八：配置文件
 
　　(1)用u盘在master机子的/usr/local/hadoop/conf文件夹下拷贝master slaves core-site.xml
Hadf-site.xml mapred-site.xml 以及/etc/hosts文件到同目录下覆盖你的文件
 
注意：如果你的权限存在问题请在命令行运行拷贝过程 示例如下（这里是先移到桌面） 
 

 

第九：启动datanode
　　包括赋权限给hadoop用户 切换目录 启动datanode 启动tasktracker  jps查看进程
 
　　

　　这里展示的是集群hadoop单个结点（datanode）的配置步骤，这里的配置文件时是直接从master那里拷贝，而master自己是要配置的所以这里展示一下需要配置的文件的具体内容
　　首先是/usr/local/hadoop/conf文件夹下的几个文件
　　core-site.xml
　　<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
  <property> 
  <name>fs.default.name</name> 
  <value>hdfs://master:9000</value>  
  </property>
</configuration>
 
mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
   <property>  
      <name>mapred.job.tracker</name> 
      <value>master:9001</value>  
     </property> 
</configuration>
 
hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
 <property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>

 
masters
secondaryname

 
slaves
　　s2
　　s3
　　s4
　　s5
　　s20 
另外还有一个/etc/hosts文件的配置比较简单文章已介绍过，不再赘述 
（最后一点：因为我的机子是配过单机版的haoop的所以如果出现的部分结果与我的不同是正常情况）