【大数据系列】win10上安装hadoop开发环境
1、下载hadoop并解压
http://hadoop.apache.org/releases.html
2、单机模式配置
单机模式不需要进行配置,这种方式下,Hadoop被认为是一个单独的Java进程,经常用来进行调试。
3、伪分布模式
伪分布模式可以看做是只有一个节点的集群,在这个集群中,这个节点既是Master也是Slave,既是NameNode也是DataNode,既是JobTracket也是TaskTranker.
伪分布式需要修改配置文件hadoop-env.shcore-site.xmlhdfs-site.xml mapred-site.xml
<!--core-site-->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9999</value>
</property>
<property>
<name>mapred.child.tmp</name>
<value>/cygdrive/d/hadoop/hadoop-2.8.0/tmp</value>
</property>
</configuration>
<!--hdfs-site-->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
<!--mapred-site.xml-->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9998</value>
</property>
<property>
<name>mapred.child.tmp</name>
<value>/cygdrive/d/hadoop/hadoop-2.8.0/tmp</value>
</property>
</configuration>
4、启动hadoop
打开cygwin窗口,进入hadoop文件夹,启动hadoop之前需要先格式化Hadoop的文件系统HDFS,执行命令 bin/hadoop namenoce -format
页:
[1]