hadoop使用随记1

namedhao

　　linux安装流程：
　　1、确认Linux中安装了jvm并配置好了JAVA_HOME,并安装了ssh
　　2、下载hadoop0.20.2（由于hadoop-eclipse-plugin在0.20.203上没有联通，改用了0.20.2版本，之后会详细说报错信息）
　　3、修改hadoop0.20.2/conf文件夹下的配置文件
　　(1) core-site.xml
　　<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
　　<!-- Put site-specific property overrides in this file. -->
　　<configuration>
 <property>
  <name>fs.default.name</name><!--文件系统的默认名称-->
  <value>hdfs://192.168.38.66:9000</value>
 </property>
 <property>
  <name>hadoop.tmp.dir</name><!--Hadoop运行的临时目录-->
  <value>/home/hadoop/hdfs/tmp</value>
 </property>
</configuration>
　　(2)hdfs-site.xml
　　<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
　　<!-- Put site-specific property overrides in this file. -->
　　<configuration>
 <property>
  <name>dfs.replication</name>
  <value>1</value>
 </property>
 <property>
  <name>dfs.data.dir</name><!--DFS的数据保存目录-->
  <value>/home/hadoop/hdfs/data/dir1,/home/hadoop/hdfs/data/dir2</value>
 </property>
 <property>
  <name>dfs.name.dir</name><!-- DFS Namenode保存的位置-->
  <value>/home/hadoop/hdfs/namenode/name1,/home/hadoop/hdfs/namenode/name2</value>
 </property>
</configuration>
(3)mapred-site.xml
　　<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
　　<!-- Put site-specific property overrides in this file. -->
　　<configuration>
 <property>
  <name>mapred.job.tracker</name><!--Jobtracker的位置-->
  <value>192.168.38.66:9001</value>
 </property>
 <property>
  <name>mapred.tasktracker.map.tasks.maximum</name><!--单节点同时运行的最大map数-->
  <value>8</value>
 </property>
 <property>
  <name>mapred.tasktracker.reduce.tasks.maximum</name><!--单节点同时运行的最大reduce数-->
  <value>6</value>
 </property>
</configuration>
(4)masters
　　如果是单机伪分布式模式，只需要填写localhost或或主机名或主机ip地址，如果是集群模式，则写master Server（集群主节点）的ip地址或主机名（注：如果是主机名，需要在/etc/hosts文件中将主机名和ip地址进行对应）
　　我的配置：192.168.38.66（master server），集群方式的时候，各集群节点（slave）此文件配置相同
　　（5）slaves
　　　　如果是单机伪分布式模式，只需要填写localhost或主机名或主机ip地址，如果是集群模式，则写所有datanode 服务器的ip地址或主机名（注：如果是主机名，需要在/etc/hosts文件中将主机名和ip地址进行对应）
　　我的配置：
　　192.168.38.9（slave）

　　192.168.38.73（slave）
　　192.168.38.60（slave）
　　集群方式的时候，集群主节点（masterServer）需要配置所有集群节点（slave）的ip地址或主机名
　　(6)hadoop-env.sh
　　在此文件中配置JAVA_HOME和HADOOP_HOME(注：集群中各节点的jvm和hadoop安装路径最好完全一致，否则需要对不同的集群节点中的hadoop-env.sh文件单独配置，难以管理)