Hbase+Hadoop环境搭建

car.3205

前言

每一颗璀璨的钻石，都曾被泥土和杂草埋没过，但正是因为这些，它才显得弥足珍贵。——我自己。
本文不打算介绍HBase的任何资料，旨在通过简洁明了的叙述，在最短时间内搭建一个可以运行的伪分布式环境。

下载HBase

从Apache官网下载hbase-0.92.1，解压到linux用户目录中。并且设置权限
tar -zxvf /mnt/hgfs/PublicData/hbase-0.92.1.tar.gz -C~/hadoop-data

chmod -R 777 ~/hbase-0.92.1

配置HBase

• 
  修改~/.bashrc文件，添加（可能需要去掉HIVE相关的部分）：
  
  export JAVA_HOME=/usr/java/jdk1.7.0_51
  export HADOOP_HOME=/home/hadoop/hadoop-0.20.2
  export HIVE_HOME=/home/hadoop/hive-0.6.0
  export HBASE_HOME=/home/hadoop/hbase-0.92.1
  export PATH=$HIVE_HOME/bin/:$HBASE_HOME/bin/:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
  export CLASSPATH=$HADOOP_HOME:$HADOOP_HOME/lib:$HBASE_HOME:$HBASE_HOME/lib:$CLASSPATH
  
  
• 复制$HADOOP_HOME下的hadoop-0.20.2-core.jar到$HBASE_HOME/lib下。并且删除（覆盖）原来的hadoop的版本。
  
• 
  修改$HBASE_HOME/conf/hbase-env.sh，添加如下内容：
  
  # The java implementation to use. Java 1.6 required.
  export JAVA_HOME=/usr/java/jdk1.7.0_51
  # Extra Java CLASSPATH elements. Optional.
  export HBASE_CLASSPATH=/home/hadoop/hadoop-0.20.2/conf
  # Tell HBase whether it should manage it's own instance of Zookeeper or not.
  export HBASE_MANAGES_ZK=true
  上面的红色字体为你的HADOOP_HOME路径
  
  
• 
  在HDFS中创建HBase的数据存放目录：
  
  hadoop fs –mkdir ~/hadoop-data/data/hbase
  hadoop fs -chmod -R 777 ~/hadoop-data/data/hbase
  
  
• 
  修改（文件若不存在则自己添加）$HBASE_HOME/conf下的hbase-site.xml为如下内容：
  
  
  
  <configuration>
  <property>
  <name>hbase.rootdir</name>
  <value>hdfs://hadoop:9000/home/hadoop/hadoop-data/data/hbase</value>
  <description>这里是HBase的数据文件存放地址，需要预先在hadoop中创建</description>
  </property>
  <property>
  <name>hbase.cluster.distributed</name>
  <value>true</value>
  </property>
  <property>
  <name>hbase.zookeeper.quorum</name>
  <value>hadoop</value>
  <description>本机名</description>
  </property>
  </configuration>
  

启动HBase

启动HBase需要首先启动Hadoop，并且退出HDFS的安全模式。
$HADOOP_HOME/bin/start-all.sh
$HADOOP_HOME/bin/hadoop dfsadmin -safemode leave
$HBASE_HOME/bin/start-hbase.sh
启动成功后，进入HBase的Shell进行操作（这里是创建一张'test'表，用以测试HBase的安装成功与否）：
$HBASE_HOME/bin/hbase shell
Create 'test','cf1','cf2'
如果看到了和我一样的结果，恭喜你，享受你的HBase之旅吧。


在Eclipse中运行HBase程序

• 复制$HBASE_HOME/lib中的所有jar到工程下（或者扩展添加方式）
  
• 复制$HBASE_HOME/confx/hbase-site.xml到src下。
  
• 
  如下代码：
  
  
  
  package org.xiaom.hadoop.hbase;
  import java.io.IOException;
  /**
  * 从HBase的'test'中读取数据，处理后存放到'word_count'中。
  * @authorhadoop
  *
  */
  publicclass ReadHBaseAndWriteToHDFS implements Tool {
  private Configuration conf = new Configuration();
  publicstaticclass Mapper extends TableMapper<ImmutableBytesWritable, Text>{
  protectedvoid map(ImmutableBytesWritable key, org.apache.hadoop.hbase.client.Result value, org.apache.hadoop.mapreduce.Mapper<ImmutableBytesWritable,org.apache.hadoop.hbase.client.Result,ImmutableBytesWritable,Text>.Context context) throws java.io.IOException ,InterruptedException {
  Iterator<byte[]> it=value.getMap().keySet().iterator();
  System.out.println(key.toString());
  while(it.hasNext()){
  System.out.println("\t"+new String(it.next())+":"+value.getMap().get(it.next()));
  }
  };
  }
  publicstaticclass SearchMapper extends TableMapper<ImmutableBytesWritable, Text> {
  protectedvoid map(ImmutableBytesWritable key, Result value,
  Context context) throws InterruptedException, IOException {
  System.out.println(value.toString());
  }
  }
  @Override
  publicvoid setConf(Configuration conf) {
  this.conf = conf;
  }
  @Override
  public Configuration getConf() {
  returnthis.conf;
  }
  @Override
  publicint run(String[] args) throws Exception {
  conf.set(TableInputFormat.INPUT_TABLE, "student");
  conf.set(TableOutputFormat.OUTPUT_TABLE, "test");
  conf.set("hbase.zookeeper.quorum", "hadoop");
  Job job=new Job(this.getConf());
  job.setJobName("read-write-hbase");
  job.setJarByClass(ReadHBaseAndWriteToHDFS.class);
  job.setInputFormatClass(TableInputFormat.class);
  job.setOutputFormatClass(TableOutputFormat.class);
  job.setMapOutputKeyClass(Text.class);
  job.setMapOutputValueClass(IntWritable.class);
  job.setOutputKeyClass(ImmutableBytesWritable.class);
  job.setOutputValueClass(ImmutableBytesWritable.class);
  job.setMapperClass(SearchMapper.class);
  // InitTestData.initData(conf);
  // return 0;
  return job.waitForCompletion(true)?1:0;
  }
  publicstaticvoid main(String[] args) throws Exception {
  System.exit(new ReadHBaseAndWriteToHDFS().run(args));
  }
  }
  
• 直接尼玛run as java application
  

一些小提示

• 
  这是我的hosts文件，这个东西配置不恰当会导致Eclipse的Hadoop插件无法连接HDFS
  
  
  
  
  
• 
  这是我的~/.bashrc文件，我把JDK、Hadoop、Hive、HBase的启动路径都添加到了PATH里面，这样以后就可以在终端中直接运行这些命令了。
  
  
  
  
• 遇到问题一定要看$HBASE_HOME/logs下的日志记录。