hadoop 学习历程

loyalxuan

　　公司有可能要用hadoop了，我极其兴奋，开始自己先研究了
以下内容均是来自互联网和自己的实践。
主要是记录自己的学习过程。


　　首先是要知道什么是hadoop,这个东西有什么用。
　　hadoop 是 Doug cutting 创建的 ，起源于 Apache Nutch,(一个网络搜索引擎)，它是lucene（文本搜索系统库）的一部分。
　　2003年google  发布了一遍论文：google分布式文件系统。GFS,这个可以解决在网页爬起和索引过程中的超大文件的存储需求。
　　2004年开始实现一个开源的实现，Nutch的分布式文件系统NDFS。
　　2004年google 发布了论文介绍他们的MapReduce系统
　　2005年Nutch实现了一个MapReduce,并且将主要的算法移植，用MapReduce+NDFS来运行。
　　2006年MapReduce+NDFS 被Nutch开发人员移出成为一个Lucene的子项目称为hadoop.
　　2008年hadoop成为了apache的顶级项目
　　2008年hadoop 在62秒内完成了1TB的数据的排列.
　　
首先是要安装hadoop，我直接下的最新版本，hadoop2.0.3
　　系统用的是centOS6.3  64 
　　安装hadoop 的时候碰到了以下问题，
　　虽然centOS 是可以选择自带jdk，但是是openJDK,前辈有经验说，有用别的jdk出很多问题的，所以推荐用sun的
　　yum -y remove java java.....  卸载java openjdk
　　安装jdk，上传jdk，二种方式，第一种ftp，第二种安装lrzsz： yum -y install lrzsz 用secureCRT 。第二种适合个人。
　　安装hadoop ，一种直接wget 下载，一种上传。我选的是第一种。