总算在window下运行起来了hadoop小记
首先安装JDK 直接安装到C盘符下就行了然后安装cygwin，在选择openssl,openssh
准备在elipse下编译的 还需要安装“BaseCategory”下的“GUN SED“
建议还安装
还建议将“EditorsCategory”下的vim安装，以方便在Cygwin上直接修改配置文件；“DevelCategory”下的subversion建议安装，
然后把JDK和cygwin安装路径配置环境变量
需要配置的环境变量包括PATH和JAVA_HOME：JAVA_HOME指向安装目录，Cygwin的bin目录，以及Cygwin的usr\bin目录都必须添加到PATH环境变量中
我的用的是hadoop-0.20.1下面是下载的
http://dl.dbank.com/c0b3kwezsa
点击桌面上的
Cygwin
图标，启动
Cygwin
，执行
ssh-host-config
命令
点击桌面上的Cygwin图标，启动Cygwin，执行ssh-host-config命令 查看是否SSH 执行成功
再查看我的电脑---服务----启动CYGWIN sshd服务
在执行ssh-keygen命令生成密钥文件
然后在进入 Cygwin/home/用户文件夹/
执行ls -a 命令 会看到一个隐藏的.ssh 文件夹 没有自己创建
再执行cp id_rsa.pub authorized_keys
再执行ssh localhost 然后输入yes即可
失败可以把该文件删除 重新来一次
然后把下载下来的hadoop 解压到c:/hadoop/run 目录下
把conf 下的hadoop-env.sh #JAVA_HOME 地#号去掉 填上自己的JDK安装目录
ssh-keygen
列如我的 export JAVA_HOME=/cygdrive/c/Java/jdk1.6.0_23 前面cygdrive这个必须写。不知道的可以在cygwin 下执行 cd $JAVA_HOME 查看当前路径
ore-site.xml
、
hdfs-site.xml
和
mapred-site.xm
再修改里面的core-site.xml、hdfs-site.xml和mapred-site.xml
查找自己安装hadoop下面的src文件夹
core目录下的core-default.xml文件复制到conf目录下，并将core-default.xml文件名改成core-site.xml。修改fs.default.name的值，端口自己定义只要没暂用即可我定义的是localhost:10001
hdfs目录下的hdfs-default.xml文件复制到conf目录下，并将hdfs-default.xml文件名改成hdfs-site.xml。不需要再做其它修改
mapred目录下的mapred-default.xml文件复制到D:\hadoop\run\conf目录下，并将mapred-default.xml文件名改成mapred-site.xml。修改mapred.job.tracker的值端口自己定义没用即可 我定义的是localhost:10002
在回头到自己安装的hadoop/bin下面
格式化文件节点
执行./hadoop namenode -format
在执行./start-all.sh
如果失败 可以执行./stop-all.sh
再把上面的重复一次
成功了可以执行下面
检视分布式文件系统状况，其中 Live Nodes 字段应当显示为正常运行并连接到 namenode服务器的datanode个数
http://192.168.1.113:50070/dfshealth.jsp
本地主机的Hadoop Map / Reduce的管理
检视集群运转状况，其中 Nodes 字段应当显示正常运行并连接到 jobtracker 的 task tracker 个数。
http://192.168.1.113:50030/jobtracker.jsp
-----------暂记
页:
[1]