hadoop 伪分布模式

diaoyudao

　　hadoop 各个组件均利用XML文件进行配置。core-site.xml文件用于配置Common组件的属性，hdfs-site.xml文件用于配置HDFS属性，而mapred-site.xml文件则用于配置MapReduce属性。这些配置文件都放在conf子目录中。
　　hadoop的运行模式有三种：
　　1）独立模式：在本机模式下测试和调试，适宜用在开发阶段。
　　2）伪分布模式：hadoop守护进程运行在本机上，模拟一个小规模的集群。
　　3）全分布模式：守护进程运行在一个集群上，生产模式。
　　下面主讲一下伪分布模式：
　　core-site.xml

<?xml version="1.0"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost/</value>
</property>
</configuration>

　　hdfs-site.xml

<?xml version="1.0"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
　　mapred-site.xml

<?xml version="1.0"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:8021</value>
</property>
</configuration>

　　格式化HDFS文件系统
　　格式化HDFS文件系统非常方便，只需要一个命令：

hadoop namenode -format
　　启动和终止守护进程
　　为启动HDF和MapReduce守护进程，键入如下命令：

start-dfs.sh
start-mapred.sh

或执行：

start-all.sh
　　本地将启动三个守护进程：一个namenode、一个辅助namenode和一个datanode。可以浏览logs目录中的日志文件来检查守护进程是否成功启动，或通过web界面：http://localhost:500030查看jobtracker或在http://localhost:50070查看namenode。此外java的jps命令也能查看守护进程是否正在运行。
　　终止守护进程：

stop-dfs.sh
stop-mapred.sh