pangxia75 发表于 2016-12-3 10:43:07

windows安装hadoop

  hadoop是什么就不多说了,看这里

  hadoop推荐部署环境是在linux,但是我们想要在windows体验一下还是可以的,follow me
  我的环境:windows xp,hadoop安装包(0.20.1)
,cygwin

  打开cygwin

explorer .
  把hadoop的包放到这个目录下
  然后输入命令

tar zxf hadoop-0.20.1.tar.gz
  解压完成后进入hadoop-0.20.1的配置目录,打开core-site.xml,加入以下内容。这里是定义namenode运行地址和端口

<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
  打开hdfs-site.xml,加入以下内容

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
  这里把复制因子设置为1是因为我们在windows上做伪分布,只能启动一个datanode
  接下来可以定义namenode数据目录,和datanode数据目录。当然这个不是必须的,默认是在/tmp目录下面

<property>
<name>dfs.name.dir</name>
<value>c:/filesystem/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>c:/filesystem/data</value>
</property>

  最后修改hadoop-env.sh,把下面注释的这行打开,并设置为你的jdk路径。如果你的java在Program Files下,则整个jdk路径加引号


export JAVA_HOME=你的jdk路径
  



  ok,在cygwin下进入bin目录,首先需要格式化namenode

./hadoop namenode -format

  然后启动namenode

./hadoop namenode
  再打开一个datanode,同样在bin目录下

./hadoop datanode
  不出意外,你会看到
  namenode



  我们可以试一下上传文件

./hadoop fs -put d:/download/vmware6.03.rar /tt/vm.rar
  list一下

./hadoop fs -lsr /tt
  结果:

-rw-r--r--   1 Administrator supergroup   20793970 2010-01-18 15:52 /tt/vm.rar
   有兴趣的筒子可以去c:/filesystem/data/current看看哈:)
  过几天再记录一下hadoop mapreduce
页: [1]
查看完整版本: windows安装hadoop