hadoop+hbase伪分布式安装

samdung

 

安装hadoop+hbase伪分布式  
1.安装hadoop伪分布式
    1.1安装jdk-6u24-linux-x64-rpm.bin，需要说明的是，尽可能的使用64位的JDK版本。
    1.2进入到CDH3的官方下载网址http://archive.cloudera.com/cdh/3/下载最新hadoop和hbase的release版本hadoop-latest.tar.gz 和hbase-latest.tar.gz 。
    1.3新建系统hadoop用户。命令：#adduser hadoop；#passwd hadoop，回车输入hadoop。
    1.4用hadoop用户登录服务器。
    1.5在/home/hadoop/目录下建立.ssh目录，修改/home/hadoop/.ssh/authorized_keys文件的权限为：-rw-r–r–，设置命令：$ cd /home/hadoop/.ssh，$ chmod 644 authorized_keys。
    1.6通过ssh无需密码登录本机。ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa，直接回车，完成后会在~/.ssh/生成两个文件：id_dsa 和id_dsa.pub。这两个是成对出现，类似钥匙和锁。再执行命令$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys。此时通过命令$ssh localhost测试。
    1.7解压缩hadoop.$tar -zxvf hadoop-latest.tar.gz。$mv hadoop-0.20.2-cdh3u2 hadoop.
    1.8修改～/hadoop/hadoop/conf/hadoop-env.sh文件的环境变量
    $cd hadoop/conf/,$vim hadoop-env.sh添加环境变量export JAVA_HOME=/usr/java/jdk1.6.0_20（自己机器上的jdk安装路径）
    1.9修改hadoop配置文件
    conf/core-site.xml:
    <configuration>
             <property>
                 <name>fs.default.name</name>
                 <value>hdfs://localhost:9000</value>
             </property>
    </configuration>
    conf/hdfs-site.xml：
    <configuration>
        <property>
                 <name>dfs.replication</name>
                 <value>1</value>
             </property>
    </configuration>
    conf/mapred-site.xml:
    <configuration>
             <property>
                 <name>mapred.job.tracker</name>
                 <value>localhost:9001</value>
             </property>
    </configuration>
    1.10修改/etc/hosts配置文件
    把文件中的127.0.0.1 替换成本机的实际IP。
    1.11、启动/停止hadoop
        1.1.1格式化namenode。$ bin/hadoop namenode -format
        1.1.2启动hadoop。$ bin/start-all.sh
            可以通过浏览器查看NameNode - http://localhost:50070/ ，和
            JobTracker - http://localhost:50030/
        1.1.3停止hadoop。$bin/stop-all.sh
2.安装hbase伪分布式
    2.1解压缩上面下载的hbase-latest.tar.gz
    $tar -zxvf hbase-latest.tar.gz. $mv hbase-0.90.4-cdh3u2 hbase.
    $cd hbase.
    2.2修改hbase-env.sh
    export JAVA_HOME=/usr/lib/jvm/java-6-sun。（自己的jdk安装路径）
    export HBASE_CLASSPATH=/home/hadoop/hadoop/conf
    export HBASE_MANAGES_ZK=true

    2.3修改hbase-site.sh
    <configuration>
        <property>
            <name>hbase.cluster.distributed</name>
            <value>true</value>
        </property>
        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://localhost:9000/hbase(此处要和前面配置的hadoop路径一致)</value>
          </property>
          <property>
                <name>dfs.replication</name>
                <value>1</value>
          </property>
    </configuration>

    2.4 修改hadoop-env.sh

        export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/home/hadoop/hbase/lib/zookeeper-3.3.3-cdh3u2.jar:      /home/hadoop/hbase/hbase-0.90.4-cdh3u2.jar:/home/hadoop/hadoop/hadoop-hbase-streaming.jar
    2.4启动/关闭HBase
        2.4.1.启动hbase $bin/start-hbase.sh
        2.4.2执行$hbase shell命令,进入hbase控制台，执行控制台命令操作hbase。
        2.4.3关闭hbase $bin/stop-hbase.sh