设为首页 收藏本站

运维网

查看: 888|回复: 1

[经验分享] CDH集群安装部署

[复制链接]
累计签到:96 天
连续签到:2 天
发表于 2018-4-12 13:53:26 | 显示全部楼层 |阅读模式
Cloudera Manager RPM 方式安装
1. 准备工作
1.1文件准备:
(JDK)安装: 每个节点上都要安装:
oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm
设置PATH变量:
JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera
PATH=$PATH:$JAVA_HOME/bin
CM的web需要软件:(随便安装到那一台,这里选择NN01)
cloudera-manager-server-5.5.3-1.cm553.p0.1.el6.x86_64.rpm   
yum install-y   postgresql-server
rpm-ivh cloudera-manager-server-db-2-5.5.3-1.cm553.p0.1.el6.x86_64.rpm
这3个安装到用一台上!
安装过程中需要的所有rpm和文件:
cloudera-manager-agent-5.5.3-1.cm553.p0.1.el6.x86_64.rpm
cloudera-manager-daemons-5.5.3-1.cm553.p0.1.el6.x86_64.rpm
cloudera-manager-server-5.5.3-1.cm553.p0.1.el6.x86_64.rpm
cloudera-manager-server-db-2-5.5.3-1.cm553.p0.1.el6.x86_64.rpm
oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm
rhel-server-6.5-x86_64-dvd.iso
CDH-5.5.2-1.cdh5.5.2.p0.4-el6.parcel    CDH-5.5.2-1.cdh5.5.2.p0.4-el6.parcel.sha
manifest.json
1.2 hosts及防火墙配置(每个节点上都要加入)
/etc/hosts
192.168.2.60    NN01
192.168.2.61    NN02
192.168.2.62    DN01
192.168.2.63    DN02
192.168.2.64    DN03
关闭每个节点的防火墙和selinux
service iptables off
selinux-disabled
1.3 各节点之间ssh无密访问(网上教程很多,略)
ssh-keygen –t rsa   创建公钥和私钥
ssh-copy-id NN01     复制到其他节点
1.4 安装NTP服务(略)
  做时间同步!
正式安装:
NN01:
rpm-ivh cloudera-manager-daemons-5.5.3-1.cm553.p0.1.el6.x86_64.rpm
rpm-ivh cloudera-manager-server-5.5.3-1.cm553.p0.1.el6.x86_64.rpm
yum install -y    postgresql-server     
--cm软件的信息都会存在postgresql里面
rpm -ivhcloudera-manager-server-db-2-5.5.3-1.cm553.p0.1.el6.x86_64.rpm
yum install -y fuse fuse-libs httpd mod_sslopenssl-devel python-psycopg2 MySQL-python   ---agent的依赖包
rpm -ivh cloudera-manager-agent-5.5.3-1.cm553.p0.1.el6.x86_64.rpm
NN02:
rpm-ivh cloudera-manager-daemons-5.5.3-1.cm553.p0.1.el6.x86_64.rpm
yum install -y fuse fuse-libs httpd mod_sslopenssl-devel python-psycopg2 MySQL-python
rpm -ivh cloudera-manager-agent-5.5.3-1.cm553.p0.1.el6.x86_64.rpm
DN01:
yum install -y fuse fuse-libs httpd mod_sslopenssl-devel python-psycopg2 MySQL-python
rpm -ivhcloudera-manager-agent-5.5.3-1.cm553.p0.1.el6.x86_64.rpm
DN02:
yum install -y fuse fuse-libs httpd mod_sslopenssl-devel python-psycopg2 MySQL-python
rpm -ivhcloudera-manager-agent-5.5.3-1.cm553.p0.1.el6.x86_64.rpm
DN03:
yum install -y fuse fuse-libs httpd mod_sslopenssl-devel python-psycopg2 MySQL-python
rpm -ivhcloudera-manager-agent-5.5.3-1.cm553.p0.1.el6.x86_64.rpm
修改参数:每个节点
echo never >/sys/kernel/mm/redhat_transparent_hugepage/defrag
echo 0 > /proc/sys/vm/swappiness
所有节点修改:
/etc/cloudera-scm-agent/config.ini
server_host=NN01    ---CM web安装的那台机器
启动服务:
将文件copy到NN01的目录/opt/cloudera/parcel-repo下:
CDH-5.5.2-1.cdh5.5.2.p0.4-el6.parcel    CDH-5.5.2-1.cdh5.5.2.p0.4-el6.parcel.sha
manifest.json
NN01:
初始化postgresql:
service postgresql initdb
启动postgressql:
service postgresql start
启动cm db服务:
service cloudera-scm-server-db start
service cloudera-scm-server-db status
启动cm服务:
service cloudera-scm-server start
service cloudera-scm-server status
启动cm agent服务:
service cloudera-scm-agent start
service cloudera-scm-agent status
其他节点启动agent:
service cloudera-scm-agent start
登录页面验证:
admin/admin
一路next,安装5.5.2版本............
配置开机自动启动
chkconfig


运维网声明 1、欢迎大家加入本站运维交流群:群①:263444886群②:197202523群③:485755530群④:201730672群⑤:202807635运维网交流群⑥:281548029
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@yunvn.com 网址:www.iyunv.com

点击关注更多内容
累计签到:277 天
连续签到:1 天
发表于 2018-4-16 09:16:26 | 显示全部楼层
谢谢楼主分享

运维网声明 1、欢迎大家加入本站运维交流群:群①:263444886群②:197202523群③:485755530群④:201730672群⑤:202807635运维网交流群⑥:281548029
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@yunvn.com 网址:www.iyunv.com

回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册  

本版积分规则  允许回帖邮件提醒楼主

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服 E-mail:kefu@yunvn.com

本站由青云提供云计算服务

运维网--中国最专业的运维工程师交流社区

京ICP备14039699号-1 Copyright © 2012-2020

使用手机软件扫描微信二维码

关注我们可获取更多热点资讯

Good good study day day up !


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!


独家合作伙伴: 青云cloud

快速回复 返回顶部 返回列表