nikoo 发表于 2017-12-17 19:45:11

Hadoop伪分布安装详解(五)

  目录:
  1.修改主机名和用户名
  2.配置静态IP地址
  3.配置SSH无密码连接
  4.安装JDK1.7
  5.配置Hadoop
  6.安装Mysql
  7.安装Hive
  8.安装Hbase
  9.安装Sqoop
  ********************

8.安装Hbase
  HBase是基于HDFS的一种列式数据库,接下来使用伪分布式的安装方式。
  (1)将/opt/hbase-1.0.0-cdh5.6.0.tar.gz解压
  

tar-zxvf/opt/hbase-1.0.0-cdh5.6.0.tar.gz  

  (2) 配置Hbase相关配置文件,在其conf目录下可查看所有配置文件,如下图:

  打开hbase-env.sh
# vihbase-env.sh   


[*]    #这里同时需要注释掉与zookeeper相关配置,在这里使用自带的Zookeeper。不使用单独的zookeeper。一般在文件中已经作了注释,无需修改该配置文件。
[*]    #在文件末尾追加JAVA_HOME和HBASE_MANAGERS的配置信息
  

export JAVA_HOME=/usr/java/default  
export HBASE_MANAGES_ZK
=true   #表示使用自带的zookeeper  


  (3)配置regionservers
# vi regionservers

  该配置选项为当Hbase启动的时候,Hreginserver进程是根据conf/regionserver文件中的节点来启动的,因此,这里需要根据自己的主机名进行填写。
  (4)配置hbase-site.xml
  

<configuration>  
<property>
  
<name>hbase.rootdir</name>
  
<value>hdfs://neusoft-master:9000/hbase</value>
  
</property>
  
<property>
  
<name>hbase.cluster.distributed</name>
  
<value>true</value>   true表示运行模式为完全分布式模式,如果是伪分布更改爲false
  
</property>
  

  
</configuration>
  


  (4)配置环境变量 vi /etc/profile
  

export HBASE_HOME=/opt/hbase-1.0.0-cdh5.6.0  
export PATH
=$JAVA_HOME/bin/:$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin:$HBASE_HOME/bin:$SQOOP_HOME/bin  

   
  

source/etc/profile#配置生效  

  (5)启动并验证
  (a)首先启动Hadoop
  

# cd /opt/hadoop-2.6.0-cdh5.6.0/sbin/  
[iyunv@neusoft
-master sbin]# ./start-all.sh   

  检验hadoop启动是否成功
  
  (b)启动Hbase进程
  

# chmod +x /opt/hbase-1.0.0-cdh5.6.0/bin/start-hbase.sh   #启动文件赋权限  
[iyunv@neusoft
-master bin]# ./opt/hbase-1.0.0-cdh5.6.0/bin/start-hbase.sh   #启动hbase进程  

  使用jps进程查看是否有如下进程


[*]HMaster            #Hbase的配置节点。默认在start-habse.sh启动时启动。
[*]HregionServer    #该配置选项为当Hbase启动的时候,Hreginserver进程是根据conf/regionserver文件中的节点来启动的。
[*]HQuorumpeer   #该进程为Zookeeper进程

  (c)进入Hbase命令行模式
  

# hbaseshell  


  注意:安装完HBase,需要采用NTP时间同步服务器使得各节点时间一致,否则有了误差,Hbase会启动失败。


9.安装Sqoop
  Sqoop是一个从关系型数据库抽取到Hadoop中,用于进一步处理数据。
  (1)将/opt/sqoop-1.4.6-cdh5.6.0.tar.gz解压
  

tar -zxvf   /opt/sqoop-1.4.6-cdh5.6.0.tar.gz  

  (2)# vi /etc/profile
  

export SQOOP_HOME=/opt/sqoop-1.4.6-cdh5.6.0  
export PATH
=$JAVA_HOME/bin/:$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin:$HBASE_HOME/bin:$SQOOP_HOME/bin  

  使得环境变量生效
  

source/etc/profile#使得环境变量生效  

  (3)进入mysql执行以下
  mysql>grant all privileges on*.* to 'sqoop'@'neusoft-master'>
  mysql>select host,user,passwordfrom mysql.user
  mysql>flush privileges;
  mysql>create database sqoop;
  mysql>use sqoop;
  mysql>create table test(id int,name varchar(20),age int)
  mysql>insert into test(1,'tag',20)
  如果上述语句出错,插入语句可直接指定具体字段:mysql>insert into test(id,name,age) values(1,'tag',20)
  (4)linux命令行中执行下述sqoop代码:
  

sqooplist-databases--connectjdbc:mysql://neusoft-master:3306/--usernamesqoop--passwordsqooppwd  



[*]执行完后,即可显示MySql数据库中所有实例:
  hive
  mysql
  sqoop
  test
  END~
页: [1]
查看完整版本: Hadoop伪分布安装详解(五)