hadoop安装和配置

期盼死亡的小丑

本文转载自：http://fromwiz.com/share/s/0YAPBB0MskCl2frl3h0UOwHX3raS-22RIQ1m2iNRRc0rJBP9
0、安装jdk
参考http://freewxy.iyunv.com/blog/882784
（1）sudo apt-get install vim
vi .bashrc 进入vim模式  按i 进入插入模式 然后编辑 编辑完后 按ESC 然后：wq （保存并退出）
 
shift +zz （本质是按两个大写的Z）
 
:w 保存文件但并不退出vi
:w file 将修改另外保存到file中，不退出vi
:w! 强制保存，不退出vi
:wq 保存文件并退出vi
:wq!强制保存文件并退出vi
q: 不保存文件 退出vi
:q! 不保存文件 强制退出vi
:e! 放弃所有修改,以上次保存文件开始再编辑
 
vi编辑只读文档无法保存的解决办法
:w !sudo tee %
编辑/etc/sudoers文件 xxx ALL=(ALL) ALL

 
（2）配置环境变量：



 
　　1、下载好hadoop-1.0.0.tar.gz
cd /下载
→sudo cp hadoop-1.0.0.tar.gz /usr/local
→cd /usr/local→sudo tar -xzf hadoop-1.0.0.tar.gz
→sudo mv hadoop-1.0.0 hadoop（改名文件夹为hadoop）
 
sudo gedit /etc/sudoers
在root ALL =(ALL) ALL 下面添加如下文字： hadoop ALL = (ALL) ALL



 
执行sudo chown hadoop /usr/local/hadoop，将hadoop文件夹的权限赋给hadoop用户

 
2、安装ssh

ssh-keygen
会提示填写保存路径，直接填括号里同样的路径即可，

直接两次回车，
即成功，跳转到保存路径，可以看到生成了一对密钥。
然后将私钥添加到受信任列表中（把钥匙交给来访者）

然后验证：

第一次会询问你。

上示即为登陆成功。
 
3.配置hadoop文件
（1）配置hadoop-env.sh


sh hadoop-env.sh 如果没报错，则配置正确
（2）配置core-site.xml


即：

• <property>  
  
•   <name>fs.default.name</name>  
  
•   <value>hdfs://localhost:9000</value>   
  
•  </property> 
  

 
（3）配置hdfs-site.xml

即：

• <property>  
  
•   <name>dfs.replication</name>   
  
•   <value>1</value>   
  
•  </property>  
  

(4)配置mapred-site.xml

即：

•  <property>   
  
•   <name>mapred.job.tracker</name>  
  
•   <value>localhost:9001</value>   
  
•  </property>  
  

 
此时配置结束。
 
4、启动及运行wordcount
第一启动hdfs时要格式化一下，

localhost:50070   hdfs的管理界面
localhsot:50030   mapred的管理界面
 
在hodoop目录下建立input文件夹


 
在hdfs文件系统建/tmp/input文件夹,并将input下的两个文件上传

查看：

 
下面hadoop-examples-1.0.0.jar就是hadoop自带的wordcount


运行，并将结果输出到output文件夹

 
5、安装eclipse
下载好eclispe，然后cp /opt
sudo tar -zxvf eclipse****.tar.gz
然后 cp /opt/eclipse eclipse 即启动