设为首页 收藏本站

运维网

查看: 580|回复: 1

[经验分享] CDH集群安装部署

[复制链接]
累计签到:77 天
连续签到:1 天
发表于 2018-4-12 13:53:26 | 显示全部楼层 |阅读模式
Cloudera Manager RPM 方式安装
1. 准备工作
1.1文件准备:
(JDK)安装: 每个节点上都要安装:
oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm
设置PATH变量:
JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera
PATH=$PATH:$JAVA_HOME/bin
CM的web需要软件:(随便安装到那一台,这里选择NN01)
cloudera-manager-server-5.5.3-1.cm553.p0.1.el6.x86_64.rpm   
yum install-y   postgresql-server
rpm-ivh cloudera-manager-server-db-2-5.5.3-1.cm553.p0.1.el6.x86_64.rpm
这3个安装到用一台上!
安装过程中需要的所有rpm和文件:
cloudera-manager-agent-5.5.3-1.cm553.p0.1.el6.x86_64.rpm
cloudera-manager-daemons-5.5.3-1.cm553.p0.1.el6.x86_64.rpm
cloudera-manager-server-5.5.3-1.cm553.p0.1.el6.x86_64.rpm
cloudera-manager-server-db-2-5.5.3-1.cm553.p0.1.el6.x86_64.rpm
oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm
rhel-server-6.5-x86_64-dvd.iso
CDH-5.5.2-1.cdh5.5.2.p0.4-el6.parcel    CDH-5.5.2-1.cdh5.5.2.p0.4-el6.parcel.sha
manifest.json
1.2 hosts及防火墙配置(每个节点上都要加入)
/etc/hosts
192.168.2.60    NN01
192.168.2.61    NN02
192.168.2.62    DN01
192.168.2.63    DN02
192.168.2.64    DN03
关闭每个节点的防火墙和selinux
service iptables off
selinux-disabled
1.3 各节点之间ssh无密访问(网上教程很多,略)
ssh-keygen –t rsa   创建公钥和私钥
ssh-copy-id NN01     复制到其他节点
1.4 安装NTP服务(略)
  做时间同步!
正式安装:
NN01:
rpm-ivh cloudera-manager-daemons-5.5.3-1.cm553.p0.1.el6.x86_64.rpm
rpm-ivh cloudera-manager-server-5.5.3-1.cm553.p0.1.el6.x86_64.rpm
yum install -y    postgresql-server     
--cm软件的信息都会存在postgresql里面
rpm -ivhcloudera-manager-server-db-2-5.5.3-1.cm553.p0.1.el6.x86_64.rpm
yum install -y fuse fuse-libs httpd mod_sslopenssl-devel python-psycopg2 MySQL-python   ---agent的依赖包
rpm -ivh cloudera-manager-agent-5.5.3-1.cm553.p0.1.el6.x86_64.rpm
NN02:
rpm-ivh cloudera-manager-daemons-5.5.3-1.cm553.p0.1.el6.x86_64.rpm
yum install -y fuse fuse-libs httpd mod_sslopenssl-devel python-psycopg2 MySQL-python
rpm -ivh cloudera-manager-agent-5.5.3-1.cm553.p0.1.el6.x86_64.rpm
DN01:
yum install -y fuse fuse-libs httpd mod_sslopenssl-devel python-psycopg2 MySQL-python
rpm -ivhcloudera-manager-agent-5.5.3-1.cm553.p0.1.el6.x86_64.rpm
DN02:
yum install -y fuse fuse-libs httpd mod_sslopenssl-devel python-psycopg2 MySQL-python
rpm -ivhcloudera-manager-agent-5.5.3-1.cm553.p0.1.el6.x86_64.rpm
DN03:
yum install -y fuse fuse-libs httpd mod_sslopenssl-devel python-psycopg2 MySQL-python
rpm -ivhcloudera-manager-agent-5.5.3-1.cm553.p0.1.el6.x86_64.rpm
修改参数:每个节点
echo never >/sys/kernel/mm/redhat_transparent_hugepage/defrag
echo 0 > /proc/sys/vm/swappiness
所有节点修改:
/etc/cloudera-scm-agent/config.ini
server_host=NN01    ---CM web安装的那台机器
启动服务:
将文件copy到NN01的目录/opt/cloudera/parcel-repo下:
CDH-5.5.2-1.cdh5.5.2.p0.4-el6.parcel    CDH-5.5.2-1.cdh5.5.2.p0.4-el6.parcel.sha
manifest.json
NN01:
初始化postgresql:
service postgresql initdb
启动postgressql:
service postgresql start
启动cm db服务:
service cloudera-scm-server-db start
service cloudera-scm-server-db status
启动cm服务:
service cloudera-scm-server start
service cloudera-scm-server status
启动cm agent服务:
service cloudera-scm-agent start
service cloudera-scm-agent status
其他节点启动agent:
service cloudera-scm-agent start
登录页面验证:
admin/admin
一路next,安装5.5.2版本............
配置开机自动启动
chkconfig


运维网声明 1、欢迎大家加入本站运维交流群:群①:263444886群②:197202523群③:485755530群④:201730672群⑤:202807635运维网交流群⑥:281548029
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、其他单位或个人使用、转载或引用本文时必须注明原文的出处
4、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除并致以最深的歉意
5、运维网 - 服务您的运维操作管理专家!
6、联系人Email:admin@yunvn.com 网址:www.iyunv.com

点击关注更多内容
累计签到:188 天
连续签到:5 天
发表于 2018-4-16 09:16:26 | 显示全部楼层
谢谢楼主分享

运维网声明 1、欢迎大家加入本站运维交流群:群①:263444886群②:197202523群③:485755530群④:201730672群⑤:202807635运维网交流群⑥:281548029
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、其他单位或个人使用、转载或引用本文时必须注明原文的出处
4、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除并致以最深的歉意
5、运维网 - 服务您的运维操作管理专家!
6、联系人Email:admin@yunvn.com 网址:www.iyunv.com

回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册  

本版积分规则  允许回帖邮件提醒楼主

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服 E-mail:kefu@yunvn.com

本站由青云提供云计算服务

运维网--中国最专业的运维工程师交流社区

京ICP备14039699号-1 Copyright © 2012-2018

使用手机软件扫描微信二维码

关注我们可获取更多热点资讯

Good good study day day up !


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


独家合作伙伴: 青云cloud

快速回复 返回顶部 返回列表