hadoop 伪分布模式
hadoop 各个组件均利用XML文件进行配置。core-site.xml文件用于配置Common组件的属性，hdfs-site.xml文件用于配置HDFS属性，而mapred-site.xml文件则用于配置MapReduce属性。这些配置文件都放在conf子目录中。hadoop的运行模式有三种：
1）独立模式：在本机模式下测试和调试，适宜用在开发阶段。
2）伪分布模式：hadoop守护进程运行在本机上，模拟一个小规模的集群。
3）全分布模式：守护进程运行在一个集群上，生产模式。
下面主讲一下伪分布模式：
core-site.xml
<?xml version="1.0"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost/</value>
</property>
</configuration>
hdfs-site.xml
<?xml version="1.0"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
mapred-site.xml
<?xml version="1.0"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:8021</value>
</property>
</configuration>
格式化HDFS文件系统
格式化HDFS文件系统非常方便，只需要一个命令：
hadoop namenode -format
启动和终止守护进程
为启动HDF和MapReduce守护进程，键入如下命令：
start-dfs.sh
start-mapred.sh
或执行：
start-all.sh
本地将启动三个守护进程：一个namenode、一个辅助namenode和一个datanode。可以浏览logs目录中的日志文件来检查守护进程是否成功启动，或通过web界面：http://localhost:500030查看jobtracker或在http://localhost:50070查看namenode。此外java的jps命令也能查看守护进程是否正在运行。
终止守护进程：
stop-dfs.sh
stop-mapred.sh
页:
[1]