Hadoop-环境搭建

liukaida

登陆master机器
ssh-keygen -t rsa     生成密钥对
cp id_rsa.pub authorized_kyes
scp authorized_keys 从节点1:/home/xx/.ssh        
scp authorized_keys 从节点2:/home/xx/.ssh

需要输入密码，不过输入一次密码之后以后就不用输入了


配置/etc/hosts
增加三台机器的信息:

IP master
IP slave1
IP slave2
IP slave3

三台机器都需要增加这份配置


配置$HADOOP_HOME\conf下的 hadoop-env.sh ，配置JAVA_HOME
export JAVA_HOME=.............


配置conf下的masters文件，将原内容删除，改为:
master

配置conf下的slaves文件，将原内容删除，改为:
slave1
slave2
slave3

配置conf/core-site.xml，增加如下内容:
<configuration>
    <property>
        <name>fs.default.name</name>>
        <value>hdfs://master:12345</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/xxx/hdfstmp</value>
    </property>
</configuration>


配置conf/hdfs-site.xml，增加如下内容:
<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://master:12345</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/xx/hdfstmp</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>


在bin目录下执行./start-dfs.sh
如果启动成功，执行jps会显示
会出现NameNode和SecondaryNameNode，表示master节点启动正确，在slave，执行jps
出现DateNode说明也启动正确

再看一下监听的端口:
netstat -ano | grep 12345
出现监听的端口表示启动正确，如果在slave机器上telnet master机器的12345端口是可以连通的

输入：
http://master ip:50070/
则显示正确，可以看到name node的一些信息




配置hbase
配置 hbase-env.sh
export JAVA_HOME=.......
export HBASE_MANAGES_ZK=true         这个是使用hbase自带的zookeeper


配置regionservers，增加如下内容:
slave1
slave2


配置 hbase-site.xml，增加如下内容:
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://master:12345/hbase</value>
    </property>        
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>        
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>zookeeper的ip</value>
    </property>        
    <property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/data/xxxx</value>
    </property>        
    <property>
        <name>hbase.master.maxclockskew</name>
        <value>180000</value>
    </property>
    <property>  
         <name>hbase.zookeeper.property.clientPort</name>  
         <value>2181</value>
    </property>  

配置一个软连接
将hadoop_home\conf下的hdfs-site.xml引到hbase_home\conf下

在bin目录下执行./start-hbase.sh
然后用jps查看主从节点
输入:
ttp://master ip:60010/master-status
http://slave ip:60030/rs-status
则显示正确，可以看到master和数据节点的一些信息