hadoop+hive配置

191145686

　　首先根据http://cp1985chenpeng.iyunv.com/blog/1328541中配置好hadoop分布式。
　　然后在master上下载hive
　　安装hive很简单，首先解压缩。
　　然后配置环境变量以ubuntu为例
　　$sudo vim /etc/environment
　　添加
　　JAVA_HOME="/usr/lib/jvm/java-6-sun"
HADOOP_HOME="/home/hadoop/hadoop"
HBASE_HOME="/home/hadoop/hbase"
HIVE_HOME="/home/hadoop/hive"
　　在$HIVE_HOME/conf目录下，新建一个hive-site.xml,配置Hive元数据的存储方式（我用的是mysql存储）
注意下面配置的是hive默认的是mysql的hive数据库，用户名是hive，密码是hive。所以在进行下列操作前要用root登录mysql创建hive数据库并且分配给用户hive。
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
　　<property>
  <name>hive.aux.jars.path</name>
  <value>file:///home/hadoop/hive/lib/hive-hbase-handler-0.7.1-cdh3u2.jar,file:///home/hadoop/hive/lib/hbase-0.90.4-cdh3u2.jar,file:///home/hadoop/hive/lib/zookeeper-3.3.1.jar </value>
</property>
　　<property>
  <name>hbase.zookeeper.quorum</name>
  <value>hostname（zookeeper配置主机名）</value>
</property>

<property>
  <name>hive.metastore.local</name>
  <value>true</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://localhost:3306/hive</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hive</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>hive</value>
</property>
<property>
  <name>datanucleus.fixedDatastore</name>
  <value>false</value>
</property>
</configuration>

 
在执行hive前，要把mysql-connector-java-5.1.18-bin.jar加到${HIVE_HOME}/lib中。
到此hive安装完成
$HIVE_HOME/bin/hive
 
hive> CREATE TABLE temp (info INT); 
OK 
Time taken: 0.251 seconds 
hive> CREATE TABLE test(content STRING);
OK 
Time taken: 0.251 seconds
hive> SHOW TABLES;
OK
temp
test
Time taken: 3.612 seconds
 
然后登录mysql验证
mysql> show tables;
+-----------------+
| Tables_in_hive  |
+-----------------+
| BUCKETING_COLS  |
| COLUMNS         |
| DATABASE_PARAMS |
| DBS             |
| PARTITION_KEYS  |
| SDS             |
| SD_PARAMS       |
| SEQUENCE_TABLE  |
| SERDES          |
| SERDE_PARAMS    |
| SORT_COLS       |
| TABLE_PARAMS    |
| TBLS            |
+-----------------+
13 rows in set (0.00 sec)
 
mysql> select * from COLUMNS;
+-------+---------+-------------+-----------+-------------+
| SD_ID | COMMENT | COLUMN_NAME | TYPE_NAME | INTEGER_IDX |
+-------+---------+-------------+-----------+-------------+
|     1 | NULL    | info        | int       |           0 |
|     2 | NULL    | content     | string    |           0 |
+-------+---------+-------------+-----------+-------------+
2 rows in set (0.04 sec)
 
到此hive配置成功！