设为首页 收藏本站
查看: 414|回复: 0

[经验分享] hadoop使用随记3

[复制链接]

尚未签到

发表于 2016-12-5 08:39:28 | 显示全部楼层 |阅读模式
  接《随记2》
  由于随记2中提到的root用户启动是会产生错误的,因此我在集群中的每台机器都添加了一个hadoop用户,以下所讲的都是在hadoop用户下的操作
  添加hadoop用户
  ssh root用户登录集群中的每台机器,建立hadoop用户
  root@localhost:~>useradd hadoop -d /home/hadoop(建立/home/hadoop目录为hadoop用户的主目录)
  root@localhost:~> passwd hadoop
  输入密码(两次)
  一下步骤都是以hadoop登录各服务器
  1、双向打通集群主节点(master)和各集群节点(slaves)的ssh免密码登录
  (1)打通集群主节点(master server)的本机免密码ssh登录
  hadoop@localhost:~>ssh-keygen -t rsa
  询问保存路径时直接回车采用默认路径
  提示要为生成的密钥输入passphrase的时,直接回车,将其设定为空密码
  生成的密钥对id_rsa,id_rsa.pub,默认存储在/home/hadoop/.ssh目录下。
  hadoop@localhost:~>cd .ssh
  hadoop@localhost:~/.ssh>cat id_rsa.pub >> authorized_keys(将id_rsa.pub 内容复制到authorized_keys文件)
  测试:
  hadoop@localhost:~>ssh localhost
  如果可以免密码登录,说明本机已经打通
  (注:如果不能打通,还需要输入密码,在suse linux中可以尝试使用命令chmod 644 authorized_keys修改authorized_keys文件权限即可,在redhat中使用命令chmod 600 authorized_keys修改authorized_keys文件权限即可)
  (2)、打通集群主节点和各集群节点的免密码ssh登录
  将集群主节点(master Server)中产生的authorized_keys分别copy到各个datanode(集群节点)的/home/hadoop/.ssh目录(即hadoop用户目录/.ssh目录,如果没有则分别使用mkdir .ssh进行建立)下即可将集群主节点(master)对集群节点(slave)免密码ssh登录(集群主节点(master)可以免密码ssh登录各集群节点(slave),反之还不行)
  (3)、在各集群节点上(slave上)采用步骤(1)的方式将各集群节点(slave)本机打通
  (注:cat id_rsa.pub >> authorized_keys为追加方式,此时各集群节点中authorized_keys文件内容为集群主节点authorized_keys文件内容+本机id_rsa.pub 文件内容)
  
  (4)、将各集群节点(slave)id_rsa.pub 文件内容一一追加到集群主机点(master)authorized_keys文件中去即可将集群主节点和各集群机点打通(ssh免密码登录)
  如:先采用scp命令将集群各节点产生的id_rsa.pub 复制到集群主节点上,然后使用cat id_rsa.pub >> authorized_keys命令一一追加到集群主节点的authorized_keys文件中
  
  此时进行测试是否可以双向登录免密码。集群主节点:ssh 集群节点1ip地址,各集群节点:ssh 集群主节点ip地址
  
  (特别注意:如果不能打通,还需要输入密码,在suse linux中可以尝试使用命令chmod 644 authorized_keys修改authorized_keys文件权限即可,在redhat中使用命令chmod 600 authorized_keys修改authorized_keys文件权限即可)

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.iyunv.com/thread-309732-1-1.html 上篇帖子: Hadoop单机环境搭建整体流程 下篇帖子: Hadoop不是万能的
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表