设为首页 收藏本站

运维网

查看: 218|回复: 1

[经验分享] 安装hadoop和配置hadoop,启动namenode和设置免密登录的详细解...

[复制链接]
累计签到:1 天
连续签到:1 天
发表于 2018-4-9 13:22:39 | 显示全部楼层 |阅读模式
安装hadoop和配置hadoop,启动namenode和设置免密登录的详细解析!                                                                                                                        首先安装hadoop要安装好java的开发环境,配置好jdk
其实创建一个hadoop的用户
cd到这个用户的目录下
watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
创建一个apps的目录。以后所有的东西都解压进入apps
watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=

解压后的目录中的文件如下
watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
这里lib是本地的库!
bin是自己的操作命令,
sbin是启动命令!
etc是配置文件
include是本地库的头文件!
我们的jar包在share文件中!
下图是share包中的目录
watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=

剩下就在前面的etc/hadoop/目录下的配置文件进行配置对红线标注的配置文件进行修改
watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
这里我们先配置hadoop-env.sh
我们将JAVA_HOME的值设置在此处如下图,因为你要使用ssh远程连接,所以使用原有的${JAVA_HOME}行不通
watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
第二部在core-site.xml文件中进行配置
watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
上图中的配置第一个指定hadoop的文件系统,第二个指定集群每个主机的进程工作在哪个数据目录
第三修改hdfs.site.xml
watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
把数据保存两份,做个备份!

然后修改mapred-site.xml.template
watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
这里指定mapreduce运行的平台为yarn,否则他默认是local.
watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
别忘了执行这个命令

第四接下来配置yarn-site.xml
watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=

装好之后,设置hadoop的环境变量!
watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
主要就是这两个!
然后使用scp命令将apps目录整个复制到其他主机上
watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
也将/etc/profile传过去
watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
然后使用

watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
这两个命令,一个是启动namenode节点,另一个是查看java的进程,这里用了看看namenode进行是否启动!
watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
这里就表示已经启动了。
然后我们可以在使用ip地址进行可视化查看这个文件系统的各种情况!

http://192.168.150.129:50070/dfshealth.html#tab-overview
这里192.168.150.129是我mini1这个台虚拟机的ip。又来做namenode节点的主机!

然后我们可能看到使用的空间为0
这是因为我们没有启动datanode .所以这里我们随便启动一个主机的datanode
注意一定su hadoop这个用户下运行
使用命令 hadoop-daemon.sh start datanode
然后使用jps命令查看是否启动datanode的进程
watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
如果在jps命令中没有DataNode那么你就查看,上述的/home/..../hadoop-hadoop-datanode-mini2.log
注意这里唯一与上图中的不同,在于它是log,而上图是out

watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=

如果想要关闭这个datanode,可以使用
watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
这个命令。



讲用脚本启动所有的datanode,和namenode
这里需要修改slaves的配置文件,
watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
将其修改
watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
可以将脚本话启动mini2和mini3作为datanode,mini1启动为namenode,(这里脚本就在mini1中运行)
但是要不断的输入密码。所以可以使用免密登录!!!!
情形是:我想在mini1中登录mini2,mini3然后可以免密码登录!

我们可以在mini1中使用命令ssh-keygen产生秘钥
watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
然后依次拷贝到其他主机上

watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
然后就可以正常使用了
watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
这里我们看出来完全不用输入密码就可以直接启动!!!
配置完全后我们可以直接启动脚本!将slaves里面配置的全部启动!!
watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
我们可以看出来,并没有输入任何密码
当然我们也可以使用命令直接将全部的都停止掉stop-dfs.sh
watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=

                                       


运维网声明 1、欢迎大家加入本站运维交流群:群①:263444886群②:197202523群③:485755530群④:201730672群⑤:202807635运维网交流群⑥:281548029
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、其他单位或个人使用、转载或引用本文时必须注明原文的出处
4、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除并致以最深的歉意
5、运维网 - 服务您的运维操作管理专家!
6、联系人Email:admin@yunvn.com 网址:www.iyunv.com

点击关注更多内容
累计签到:21 天
连续签到:4 天
发表于 2018-4-10 08:48:23 | 显示全部楼层
不错哦,谢谢分享

运维网声明 1、欢迎大家加入本站运维交流群:群①:263444886群②:197202523群③:485755530群④:201730672群⑤:202807635运维网交流群⑥:281548029
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、其他单位或个人使用、转载或引用本文时必须注明原文的出处
4、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除并致以最深的歉意
5、运维网 - 服务您的运维操作管理专家!
6、联系人Email:admin@yunvn.com 网址:www.iyunv.com

回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册  

本版积分规则  允许回帖邮件提醒楼主

关注运维网官方微信X

关注运维网官方微信

扫描二维码关注运维网官方微信,最新一手资源尽在官方微信!快快关注我们吧...

扫描微信二维码查看详情

客服 E-mail:kefu@yunvn.com

本站由安畅网络和青云提供云计算服务

运维网--中国最专业的运维工程师交流社区

京ICP备14039699号-1 Copyright © 2012-2018

使用手机软件扫描微信二维码

关注我们可获取更多热点资讯

Good good study day day up !


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


合作伙伴: 青云cloud 安畅网络

快速回复 返回顶部 返回列表