ck1987 发表于 2017-12-17 09:34:11

【大数据系列】win10上安装hadoop开发环境


1、下载hadoop并解压
  http://hadoop.apache.org/releases.html


2、单机模式配置
  单机模式不需要进行配置,这种方式下,Hadoop被认为是一个单独的Java进程,经常用来进行调试。

3、伪分布模式
  伪分布模式可以看做是只有一个节点的集群,在这个集群中,这个节点既是Master也是Slave,既是NameNode也是DataNode,既是JobTracket也是TaskTranker.
  伪分布式需要修改配置文件hadoop-env.shcore-site.xmlhdfs-site.xml mapred-site.xml
  

<!--core-site-->  
<configuration>
  <property>
  
    <name>fs.default.name</name>
  
    <value>hdfs://localhost:9999</value>
  
  </property>
  
  <property>
  
    <name>mapred.child.tmp</name>
  
    <value>/cygdrive/d/hadoop/hadoop-2.8.0/tmp</value>
  
  </property>
  
</configuration>
  

  

<!--hdfs-site-->  
<configuration>
  <property>
  <name>dfs.replication</name>
  <value>1</value>
  </property>
  
</configuration>
  

  

<!--mapred-site.xml-->  
<configuration>
  <property>
  
       <name>mapred.job.tracker</name>
  
       <value>localhost:9998</value>
  
      </property>
  
      <property>
  
       <name>mapred.child.tmp</name>
  
       <value>/cygdrive/d/hadoop/hadoop-2.8.0/tmp</value>
  
      </property>
  
</configuration>
  

  4、启动hadoop
  打开cygwin窗口,进入hadoop文件夹,启动hadoop之前需要先格式化Hadoop的文件系统HDFS,执行命令 bin/hadoop namenoce -format



页: [1]
查看完整版本: 【大数据系列】win10上安装hadoop开发环境