设为首页 收藏本站

运维网

 找回密码
 立即注册
查看: 696|回复: 0

[经验分享] hadoop cdh 安装笔记

[复制链接]
shirobert

尚未签到
发表于 2016-12-4 11:17:09 | 显示全部楼层 |阅读模式
 
3
https://ccp.cloudera.com/display/CDHDOC/CDH3+Installation
https://ccp.cloudera.com/display/CDHDOC/HBase+Installation
https://ccp.cloudera.com/display/CDHDOC/ZooKeeper+Installation
https://ccp.cloudera.com/display/CDHDOC/CDH3+Deployment+on+a+Cluster
 
-install
 
http://archive.cloudera.com/redhat/cdh/cdh3-repository-1.0-1.noarch.rpm
http://archive.cloudera.com/redhat/6/x86_64/cdh/cdh3-repository-1.0-1.noarch.rpm
rpm -ivh cdh3-repository-1.0-1.noarch.rpm
 
yum --nogpgcheck localinstall cdh3-repository-1.0-1.noarch.rpm
rpm --import http://archive.cloudera.com/redhat/cdh/RPM-GPG-KEY-cloudera
 
--hadoop
yum search hadoop
yum install hadoop-0.20 hadoop-0.20-native
yum install hadoop-0.20-<daemon type> #namenode|datanode|secondarynamenode|jobtracker|tasktracker
 
--hbase
yum install hadoop-hbase
yum install hadoop-hbase-master
yum install hadoop-hbase-regionserver
yum install hadoop-hbase-thrift
yum install hadoop-hbase-rest
 
--zookeeper
yum install hadoop-zookeeper
yum install hadoop-zookeeper-server
 
-config
 
--hadoop
alternatives --display hadoop-0.20-conf
cp -r /etc/hadoop-0.20/conf.empty /etc/hadoop-0.20/conf.cluster
alternatives --install /etc/hadoop-0.20/conf hadoop-0.20-conf /etc/hadoop-0.20/conf.cluster 50
alternatives --set hadoop-0.20-conf /etc/hadoop-0.20/conf.cluster
 
cd /data/hadoop/
mkdir dfs && chown hdfs:hadoop dfs
mkdir mapred && chown mapred:hadoop mapred
chmod 755 dfs mapred
 
hadoop fs -mkdir /data/hadoop/temp
hadoop fs -mkdir /mapred/system
hadoop fs -chown mapred:hadoop /mapred/system
 
core-site.xml:
<property>
    <name>fs.default.name</name>
    <value>hdfs://namenode:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/data/hadoop-${user.name}/</value>
</property>
 
hdfs-site.xml:
<property>
    <name>dfs.data.dir</name>
    <value>${hadoop.tmp.dir}/dfs/data</value>
</property>
<property>
    <name>dfs.block.size</name>
    <value>134217728</value>
</property>
 
mapred-site.xml:
<property>
    <name>mapred.job.tracker</name>
    <value>jobtracker:9001</value>
</property>
<property>
    <name>mapred.child.java.opts</name>
    <value>-Dfile.encoding=utf-8 -Duser.language=zh -Xmx512m</value>
</property>
<property>
    <name>mapred.system.dir</name>
    <value>/mapred/system</value>
</property>
 
--zookeeper
#!/bin/sh
ZOO=/usr/lib/zookeeper
java -cp $ZOO/zookeeper.jar:$ZOO/lib/log4j-1.2.15.jar:$ZOO/conf:$ZOO/lib/jline-0.9.94.jar org.apache.zookeeper.ZooKeeperMain -server $1:2181
 
crontab -e
15 * * * * java -cp $classpath:/usr/lib/zookeeper/lib/log4j-1.2.15.jar:/usr/lib/zookeeper/lib/jline-0.9.94.jar:/usr/lib/zookeeper/zookeeper.jar:/usr/lib/zookeeper/conf org.apache.zookeeper.server.PurgeTxnLog /var/zookeeper/ -n 5

 

--hbase

hadoop fs -mkdir /hbase
hadoop fs -chown hbase:hbase /hbase
 
crontab -e
* 10 * * * rm -rf `ls /usr/lib/hbase/logs/ | grep -P 'hbase\-hbase\-.+\.log\.[0-9]{4}\-[0-9]{2}\-[0-9]{2}' | sed -r 's/^(.+)$/\/usr\/lib\/hbase\/logs\/\1/g'` >> /dev/null &

 

<property>

    <name>hbase.cluster.distributed</name>
    <value>true</value>
</property>
<property>
    <name>hbase.rootdir</name>
    <value>hdfs://node1:9000/hbase</value>
</property>
<property>
    <name>hbase.tmp.dir</name>
    <value>/data0/hbase</value>
</property>
<property>
    <name>hbase.zookeeper.quorum</name>
    <value>node1,node2,node3</value>
</property>
 
如果需要限制ip

iptables -F
iptables -A INPUT -i lo -j ACCEPT
iptables -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT
iptables -A INPUT -p icmp -m icmp --icmp-type any -j ACCEPT
iptables -A INPUT -i eth0 -p tcp --dport 22 -j ACCEPT;
iptables -A INPUT -i eth0 -p tcp -s 192.168.1.1 -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 192.168.1.2 -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 192.168.1.3 -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 192.168.1.4 -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 192.168.1.5 -j ACCEPT
iptables -A INPUT -j DROP
 
 
各服务的端口占用：
DSC0000.jpg
 
 
4.1.2
-core 
　　<property>
　　<name>fs.defaultFS</name>
　　<value>hdfs://node0/</value>
　　</property>
　　-hdfs
　　<property>
　　<name>dfs.namenode.name.dir</name>      <value>/data0/hadoop/dfs/name,/data1/hadoop/dfs/name,/data2/hadoop/dfs/name,/data3/hadoop/dfs/name,/data4/hadoop/dfs/name,/data5/hadoop/dfs/name</value>
　　</property>
　　<property>
　　<name>dfs.datanode.data.dir</name>
　　<value>/data0/hadoop/dfs/data,/data1/hadoop/dfs/data,/data2/hadoop/dfs/data,/data3/hadoop/dfs/data,/data4/hadoop/dfs/data,/data5/hadoop/dfs/data</value>
　　</property>
　　<property>
　　<name>dfs.namenode.checkpoint.dir</name>
　　<value>/data0/hadoop/dfs/namesecondary,/data1/hadoop/dfs/namesecondary,/data2/hadoop/dfs/namesecondary,/data3/hadoop/dfs/namesecondary,/data4/hadoop/dfs/namesecondary,/data5/hadoop/dfs/namesecondary</value>
　　</property>
　　-mapred
　　<property>
　　<name>mapreduce.framework.name</name>
　　<value>yarn</value>
　　</property>
　　-yarn
　　<property>
　　<name>yarn.nodemanager.aux-services</name>
　　<value>mapreduce.shuffle</value>
　　</property>
　　<property>
　　<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
　　<value>org.apache.hadoop.mapred.ShuffleHandler</value>
　　</property>
　　<property>
　　<name>yarn.log-aggregation-enable</name>
　　<value>true</value>
　　</property>
　　<property>
　　<description>Classpath for typical applications.</description>
　　<name>yarn.application.classpath</name>
　　<value>
　　$HADOOP_CONF_DIR,
　　$HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,
　　$HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,
　　$HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,
　　$YARN_HOME/*,$YARN_HOME/lib/*
　　</value>
　　</property>
　　<property>
　　<name>yarn.resourcemanager.resource-tracker.address</name>
　　<value>node0:8031</value>
　　</property>
　　<property>
　　<name>yarn.resourcemanager.address</name>
　　<value>node0:8032</value>
　　</property>
　　<property>
　　<name>yarn.resourcemanager.scheduler.address</name>
　　<value>node0:8030</value>
　　</property>
　　<property>
　　<name>yarn.resourcemanager.admin.address</name>
　　<value>node0:8033</value>
　　</property>
　　<property>
　　<name>yarn.resourcemanager.webapp.address</name>
　　<value>node0:8088</value>
　　</property>
　　<property>
　　<name>yarn.nodemanager.local-dirs</name>
　　<value>/data0/hadoop/yarn/local,/data1/hadoop/yarn/local</value>
　　</property>
　　<property>
　　<name>yarn.nodemanager.log-dirs</name>
　　<value>/data0/hadoop/yarn/logs,/data1/hadoop/yarn/logs</value>
　　</property>
　　<property>
　　<name>yarn.nodemanager.remote-app-log-dir</name>
　　<value>/var/log/hadoop-yarn/apps</value>
　　</property>
　　<property>
　　<name>yarn.app.mapreduce.am.staging-dir</name>
　　<value>/user</value>
　　</property>
　　mkdir /data/hadoop
　　mkdir /data/hadoop/dfs; chown hdfs:hdfs /data/hadoop/dfs
　　mkdir /data/hadoop/yarn; chown yarn:yarn /data/hadoop/yarn
　　hadoop namenode -format
　　service hadoop-hdfs-namenode start
　　service hadoop-hdfs-secondarynamenode start
　　service hadoop-hdfs-datanode start
　　hadoop fs -mkdir /user/history /var/log/hadoop-yarn /tmp
　　hadoop fs -chmod 1777 /user/history /tmp
　　hadoop fs -chown yarn /user/history
　　hadoop fs -chown yarn:mapred /var/log/hadoop-yarn
　　service hadoop-yarn-resourcemanager start
　　service hadoop-yarn-nodemanager start
　　service hadoop-mapreduce-historyserver start
　　<property>
　　<name>yarn.web-proxy.address</name>
　　<value>host:port</value>
　　</property>
　　service hadoop-yarn-proxyserver start
　　tickTime=2000
　　dataDir=/data1/zookeeper
　　clientPort=2181
　　server.1=node1:2888:3888
　　server.2=node2:2888:3888
　　server.3=node3:2888:3888
　　service zookeeper-server init --myid=n
　　service zookeeper-server start
　　<property>
　　<name>hbase.cluster.distributed</name>
　　<value>true</value>
　　</property>
　　<property>
　　<name>hbase.rootdir</name>
　　<value>hdfs://node0:9000/hbase</value>
　　</property>
　　<property>
　　<name>hbase.zookeeper.quorum</name>
　　<value>node1,node2,node3</value>
　　</property>
　　hadoop fs -mkdir /hbase
　　hadoop fs -chmod hbase /hbase
　　service hbase-master start
　　service hbase-regionserver start
　　<property>
　　<name>javax.jdo.option.ConnectionURL</name>
　　<value>jdbc:mysql://node0/metastore</value>
　　</property>
　　<property>
　　<name>javax.jdo.option.ConnectionDriverName</name>
　　<value>com.mysql.jdbc.Driver</value>
　　</property>
　　<property>
　　<name>javax.jdo.option.ConnectionUserName</name>
　　<value>hive</value>
　　</property>
　　<property>
　　<name>javax.jdo.option.ConnectionPassword</name>
　　<value>mypassword</value>
　　</property>
　　<property>
　　<name>datanucleus.autoCreateSchema</name>
　　<value>false</value>
　　</property>
　　<property>
　　<name>datanucleus.fixedDatastore</name>
　　<value>true</value>
　　</property>
　　<property>
　　<name>hive.metastore.uris</name>
　　<value>thrift://node0:9083</value>
　　</property>
　　<property>
　　<name>hive.support.concurrency</name>
　　<value>true</value>
　　</property>
　　<property>
　　<name>hive.zookeeper.quorum</name>
　　<value>node1,node2,node3</value>
　　</property>
　　/etc/default/hive-server2
　　export HADOOP_MAPRED_HOME=/usr/lib/hadoop-mapreduce
　　mysql -u root
　　CREATE DATABASE metastore;
　　USE metastore;
　　SOURCE /usr/lib/hive/scripts/metastore/upgrade/mysql/hive-schema-0.9.0.mysql.sql;
　　CREATE USER 'hive'@'metastorehost' IDENTIFIED BY 'mypassword';
　　REVOKE ALL PRIVILEGES, GRANT OPTION FROM 'hive'@'metastorehost';
　　GRANT SELECT,INSERT,UPDATE,DELETE,LOCK TABLES,EXECUTE ON metastore.* TO 'hive'@'metastorehost';
　　FLUSH PRIVILEGES;
　　sudo –u postgres psql
　　CREATE USER hiveuser WITH PASSWORD 'mypassword';
　　CREATE DATABASE metastore;
　　\c metastore
　　\i /usr/lib/hive/scripts/metastore/upgrade/postgres/hive-schema-0.9.0.postgres.sql
　　service hive-metastore start
　　service hive-server2 start
　　beeline
　　!connect jdbc:hive2://localhost:10000 metastore mypassword org.apache.hive.jdbc.HiveDriver

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表，该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有，请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意，请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息，一经发现立即删除。若您因此触犯法律，一切后果自负，我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集，我们仅提供一个展示、介绍、观摩学习的平台，我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责，亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏，不得用于商业或者其他用途，否则，一切后果均由您自己承担，我们对此不承担任何法律责任
7、如涉及侵犯版权等问题，请您及时通知我们，我们将立即采取措施予以解决
8、联系人Email：admin@iyunv.com 网址：www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址：https://www.iyunv.com/thread-309509-1-1.html 上篇帖子： [Hadoop] Sqoop安装过程详解 下篇帖子： HADOOP 处理 XML 样例
回复

使用道具 举报

返回列表
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群，最新一手资源尽在官方微信交流群！快快加入我们吧...

扫描微信二维码查看详情

客服 E-mail:iyunvcom@gmail.com

本站由青云提供云计算服务

运维网--中国最专业的运维工程师交流社区

豫ICP备20007574号-1 Copyright © 2012-2025

关于我们

发展历程

联系我们

关注我们

广告服务

广告案例

隐私条款

免责声明

用户登录

用户注册

版主守则

申请版主

手机版

金币获取

帮助中心

每日签到

Good Good

Study

Day Day

UP


客服E-mail:kefu@iyunv.com 客服QQ：1061981298


QQ群⑦：运维网交流群⑦ QQ群⑧：运维网交流群⑧ k8s群：运维网kubernetes交流群


提醒：禁止发布任何违反国家法律、法规的言论与图片等内容；本站内容均来自个人观点与网络等信息，非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来，其版权均归原作者及其网站所有，我们尊重他人的合法权益，如有内容侵犯您的合法权益，请及时与我们联系进行核实删除！



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表