伪分布式安装Hadoop + zookeeper + hbase安装配置
一．安装JDK,配置环境JAVA环境变量exportJAVA_HOME=/home/jdk1.6.0_27
exportJRE_HOME=/home/jdk1.6.0_27/jre
exportANT_HOME=/home/apache-ant-1.8.2
export> 二．安装Hadoop-1.0.3
[*] 1. 下载hadoop文件，地址为：http://hadoop.apache.org/coases.html，下载完成后解压hadoop-1.0.3.tar.gz
sudotar -xzf hadoop-1.0.3.tar.gz
[*] 2.配置Hadoop环境变量
exportHADOOP_INSTALL=/home/hadoop-1.0.3
exportPATH=$PATH:$HADOOP_INSTALL/bin
[*] 3.查看hadoop版本
输入 hadoop version命令后输入下图，则安装hadoop成功
[*] 4.修改配置文件
[*] a) 解压hadoop-1.0.3/hadoop-core-1.0.3.jar
[*] b) 去解压后的hadoop-core-1.0.3文件夹下,复制文件core-default.xml，hdfs-default.xml，mapred-default.xml三个文件到hadoop-1.0.3/conf/下,删除hadoop-1.0.3/conf/文件夹下的core-site.xml，hdfs-site.xml，mapred-site.xml，将复制过来的三个文件的文件名中的default修改为site
[*] c) 在hadoop-1.0.3文件夹同级创建文件夹hadoop，打开core-site.xml文件,修改属性节点下的name节点为hadoop.tmp.dir对应的value节点，修改为/home/${user.name}/hadoop/hadoop-${user.name}这样hadoop生成的文件会放入这个文件夹下.修改name节点为fs.default.name对应的value节点，修改为hdfs://localhost:9000/
打开mapred-site.xml文件，修改property节点下name为mapred.job.tracker对应的的value， 改为：localhost:9001
三．安装ssh
[*] 1.执行命令安装ssh：sudo apt-get install ssh
[*] 2.基于空口令创建一个新SSH密钥，以启用无密码登陆
[*] a) ssh-keygen-t rsa -P '' -f ~/.ssh/id_rsa
b) cat ~/.ssh/id_rsa.pub>> ~/.ssh/authorized_keys
[*] 3.测试
sshlocalhost
输入yes
再次输入ssh localhost
成功之后，就不需要密钥
四．格式化HDFS文件系统
输入指令:
hadoopnamenode –format
五．启动和终止守护进程
启动和终止HDFS和MapReduce守护进程，键入如下指令
启动start-all.sh(start-dfs.sh,start-mapred.sh)
出错了，JAVA_HOME is not set
需要修改文件，打开hadoop-1.0.3/conf/hadoop-env.sh
将红线以内部分注释解开,修改为本机JAVA_HOME
再次执行启动命令start-all.sh
停止stop-all.sh(stop-dfs.sh,stop-mapred.sh)
到此，hadoop就已经安装完成了
六．Hadoop文件系统
[*] 1.查看hadoop所有块文件
执行命令:
hadoopfsck / -files –blocks
此结果显示，hadoop文件系统中，还没有文件可以显示
[*] 2.将文件复制到hadoop文件系统中
[*] a) 在hadoop文件系统中创建文件夹,执行命令：
hadoopfs –mkdir docs
[*] b) 复制本地文件到hadoop文件系统中执行命令：
hadoopfs -copyFromLocal docs/test.txt \
hdfs://localhost/user/docs/test.txt
[*] c) 复制hadoop文件系统中的文件回本地,并检查是否一致
复制:hadoop fs -copyToLocal docs/test.txt docs/test.txt.bat
检查:md5 docs/test.txt docs/text.txt.bat
检查结果若显示两个md5加密值相同，则文件内容相同。
[*] d) 查看HDFS文件列表
执行命令:
hadoopfs –ls
e) 再次查看文件系统文件块
执行命令：
hadoopfsck / -files –blocks
此处为文件备份数量，可以调整，打开hadoop-1.0.3/conf/hdfs-site.xml文件,
此处修改文件备份数量
七．安装zookeeper
[*] 1.准备
zookeeper-3.4.3.tar.gz
下载地址：
http://apache.etoak.com/zookeeper/zookeeper-3.4.3/zookeeper-3.4.3.tar.gz
[*] 2.安装zookeeper
执行命令：tar zookeeper-3.4.3.tar.gz解压安装文件
[*] 3.环境变量
执行sudo vim /etc/profile
打开后加入
exportZOOKEEPER_HOME=/home/zookeeper-3.4.3
exportPATH=$PATH:$ZOOKEEPER_HOME/bin
执行命令 source/etc/profile 让环境变量生效
[*] 4.配置zookeeper
打开zookeeper /conf/coo.cfg
###以下是文件内容
#zookeeper基本时间单元（毫秒）
tickTime=2000
#zookeeper存储持久数据的本地文件系统位置
dataDir=/home/xxx/zookeeper
#zookeeper用户监听客户端连接的端口
clientPort=2181
###文件内容结束
保存文件后切换到 zookeeper/bin/目录下
执行./zkServer.sh start
执行./zkServer.sh status ，
echostat | nc –q 1 localhost，
echostat | nc localhost 2181 查看状态
执行 echo ruok | nc localhost 2181
执行结果为 imok是I am ok的意思表示安装并启动成功
关闭zookeeper
./zkServer.shstop
八．安装hbase
[*] 1.准备
hbase-0.92.1.tar.gz
下载地址：
http://labs.mop.com/apache-mirror/hbase/hbase-0.92.1/hbase-0.92.1.tar.gz
[*] 2.安装hbase
执行命令 tar hbase-0.92.1.tar.gz解压安装文件
[*] 3.环境变量
执行sudo vim /etc/profile
打开后加入
exportHBASE_HOME=/home/hbase-0.92.1
exportPATH=$PATH:$HBASE_HOME/bin
执行命令 source/etc/profile 让环境变量生效
[*] 4.配置hbase
[*] a) 打开hbase/conf/hbase-env.sh 加入如下内容
export JAVA_HOME=/home/jdk1.6.0_26
export HBASE_MANAGERS_ZK=false
export HBASE_HOME=/home/hbase-0.92.1
export HADOOP_INSTALL=/home/hadoop-1.0.3
修改HBASE_OPTS为：exportHBASE_OPTS="$HBASE_OPTS -XX:+HeapDumpOnOutOfMemoryError-XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode"
[*] b) 打开hbase/conf/hbase-site.xml加入如下内容
hbase.rootdir
hdfs://localhost:9000/hbase
hbase.cluster.distributed
true
hbase.master
localhost:60000
hbase.master.port
60000
Theport master should bind to.
打开regionservers文件放入localhost
先把hadoop启动起来 执行start-all.sh
转入hbase/bin/目录下
执行./start-hbase.sh 脚本,启动hbase
启动成功后执行hbase shell进去shell模式下
执行create ‘test’, ‘data’创建表。执行结果如下：
执行list查询表，执行结果如下：
这样我们就安装成功了
九．Eclipse结合MapReduce
[*] 1.准备
Eclipse > org.apache.hadoop.eclipse.merit_1.1.0.jar
将org.apache.hadoop.eclipse.merit_1.1.0.jar复制到eclipse安装目录的Plugin目录下
启动hadoop，start-all.sh
启动eclipse
[*] 2.配置MapReduce
点击菜单栏的WindowàpreferencesàHadoopMap/Reduce
配置hadoop目录
[*] 3.打开MapReduce视图
打开IDE的WindowàShowViewàOther
打开Map/Reduce Locations
在视图中创建一个新的Hadoop Location
将Map/Reduce Master(Job Tracker的IP和端口)中的配置，Host和Port修改为配置文件hadoop-1.0.3/conf/mapred-site.xml中的mapred.job.tracker属性的值
选中DFS Master(Name Node的IP和端口)，配置其中Host和Port，修改为配置文件hadoop-1.0.3/conf/core-site.xml中的fs.default.name属性的值
username默认的就行了，
点击finish
项目栏出现树状菜单，标识设置成功
这样就可以在eclipse中使用hadoop的文件系统了
[*] 4.创建Map/Reduce项目
FileàNewàOther
输入Map/Reduce Projectànext
输入项目名称àfinish
创建成功
创建Mapper和Reduce类，
Mapper的创建：
选中项目中的包，右键àNewàOther
输入MapperàNext
输入类名àfinish，该类自动继承
org.apache.hadoop.mapred.MapReduceBase这个类
Reduce的创建和Mapper是一样的
最后导入WordCount这个类此类位置
从hadoop自带的$HADOOP_HOME/src/examples/org/apache/hadoopexamples/WordCount.java
将此文件copy到刚创建的MapReduce项目中
[*] 5.运行WordCount
点击项目右键àRun AsàRun on Hadoop
输入WordCountà点击OK
选中刚刚配置的Map/Reduce Location点击finish
控制台输出
这个表示缺少两个参数
点击RunConfigurations,选中Arguments
编写两个参数，一个输入文件所在目录，一个输出文件所在目录，输出文件所在目录项目会自动帮我们创建，输入文件目录需要我们自己手动创建.
首先在local创建一个文件夹，再创建两个或两个以上文件
[*] a) mkdirinput
[*] b) cdinput
[*] c) touchfile1
[*] d) touchfile2
[*] e) 打开文件1vim file1，输入”Hello World”, 打开文件2vim file2
输入”Hello Hadoop”
[*] f) cd ..
[*] g) 将input文件夹下的文件放入hadoop文件系统中hadoop fs –put input input
[*] h) 在Arguments中的Program arguments中输入两个参数，一个输入文件夹，一个输出文件夹，/user/input /user/output,输出文件夹项目会帮我们创建
[*] i) 再次运行项目
这样证明项目正常运行了
[*] j) 刷新eclipse中的文件系统目录
[*] k) 双击part-r-00000
这样表示input文件夹下的所有文件包含内容信息
页:
[1]