hadoop在ubuntu上的安装流程
第一部分 安装ssh服务[*]更新源列表
打开"终端窗口"，输入"sudo apt-get update"-->回车-->"输入当前登录用户的管理员密码"-->回车,就可以了。
http://i2.运维网.com/images/blog/201809/27/d0d45135fa6e6a992b30b2bc3b977b0c.png
[*]安装openssh-server
在终端中输入: sudo apt-get install openssh-server
http://i2.运维网.com/images/blog/201809/27/6f32e1b9649ef10d37c6b81cc70dfc23.png
[*]查看查看ssh服务是否启动
打开"终端窗口"，输入"sudo ps -e |grep ssh"-->回车-->有sshd,说明ssh服务已经启动，如果没有启动，输入"sudo service ssh start"-->回车-->ssh服务就会启动。
http://i2.运维网.com/images/blog/201809/27/d1e9b52b047a3871bf5960fc82b709d4.png
没有找到ssh服务。
http://i2.运维网.com/images/blog/201809/27/f6c14fec171f2c9e7782871aeaf2c705.png
然后再输入上述命令，查询ssh服务。
http://i2.运维网.com/images/blog/201809/27/56c0328ccdac5c7c3c3806516799b37c.png
http://i2.运维网.com/images/blog/201809/27/c529e9e688bf1e8acf2450d9ab41eae2.png
第二部分，安装Hadoop
在linux打开火狐浏览器，输入地址http://hadoop.apache.org，打开hadoop的页面，在Getting Started的下面有个Downdoad链接，点击
http://i2.运维网.com/images/blog/201809/27/547a0dec64fa47fdb8a0e43f725a47d3.png
选择2.9.0,2.9.1或者2.8.3,2.7.6几个2.X版本中的一个 binary链接，进入
http://i2.运维网.com/images/blog/201809/27/35b557c9acd19ea75b7f450b4be15fc1.png
http://i2.运维网.com/images/blog/201809/27/e5b0539a3eda55018ac5e4f6cb050abc.png
点击第一个镜像链接，进入下载页面
3、进入下载安装包的目录
cd /home/wangbin/Downloads
4、执行解压命令
http://i2.运维网.com/images/blog/201809/27/334bd3826c8bc026ce9973eb4a3f1970.png
查看Downloads目录下的文件和目录，会看到多了一个目录hadoop-2.9.0，这是安装包解压后的目录
http://i2.运维网.com/images/blog/201809/27/fe1cd39823bca0356385138ccdabbad0.png
5、将hadoop-2.9.0目录转移到usr/local/hadoop
http://i2.运维网.com/images/blog/201809/27/45743681293650086d55902584debacc.png
6、查看usr/local/hadoop目录下的结构
http://i2.运维网.com/images/blog/201809/27/ac16a0643767cc6522ad1d9e9a764a3b.png
bin：Hadoop最基本的管理脚本和使用脚本所在目录，这些脚本是sbin目录下管理脚本的基础实现，用户可以直接使用这些脚本管理和使用hadoop
etc：Hadoop配置文件所在目录，包括core-site.xml, hdfs-site.xml, mapred-site.xml等从hadoop1.0继承而来的配置文件和yarn-site.xml等hadoop 2.0新增的配置文件
include：对外提供的编程酷头文件（具体动态库和静态库在lib目录中），这些头文件均是用c++定义的，通常用于c++程序访问hdfs或者编写mapreduce程序
lib：该目录包含了Hadoop对外提供的的编程动态库和静态库，与include目录中的头文件结合使用。
libexec：各个服务对应的shell配置文件所在目录，可用于配置日志输出目录，启动参数（比如JVM参数）等基本信息。
sbin：Hadoop管理脚本所在目录，主要包含HDFS和YARN中各类服务的启动/关闭脚本
share：Hadoop各个模块编译后的jar包所在目录
7、设置Hadoop环境变量
[*]编辑~/.bashrc
http://i2.运维网.com/images/blog/201809/27/03d7dace8f494e8411779b129ba9d84c.png
增加如下代码
让环境变量立刻生效
http://i2.运维网.com/images/blog/201809/27/81b22a1ae83f33b713ad82f899b9a161.png
8、修改Hadoop配置设置文件
下面要配置Hadoop，包括Hadoop-env.sh, core-site.xml, yarn-site.xml, mapred-site.xml, hdfs-site.xml
8.1 编辑Hadoop-env.sh
http://i2.运维网.com/images/blog/201809/27/f4569517acc2d9c7846a4d620eef5a5e.png
将原文本文件中的JAVA_HOME的设置改成JDK真实的地址
http://i2.运维网.com/images/blog/201809/27/4f90c1aa1070a37d0b84b5130f6b0414.png
8.2 设置core-site.xml
http://i2.运维网.com/images/blog/201809/27/22ae8f3a5d4a6e4f62a38ed1648ccbf5.png
http://i2.运维网.com/images/blog/201809/27/d7b1a771b54de7b8f76c76a4f5d22192.png
8.3 修改yarn-site.xml
http://i2.运维网.com/images/blog/201809/27/46f1c19827c86ae7b155871dc0278f43.png
http://i2.运维网.com/images/blog/201809/27/f1ed1535024bce18651fcd66e1755084.png
8.4 修改mapred-site.xml
http://i2.运维网.com/images/blog/201809/27/986b2c9044deb1391e5eac89b4a628e0.png
http://i2.运维网.com/images/blog/201809/27/0af054dcaad1574da6aac792eabf4490.png
http://i2.运维网.com/images/blog/201809/27/8bf450428916891326c61cf7d1664b80.png
8.5 设置Hdfs-site.xml
用于设置HDFS分布式文件系统，
http://i2.运维网.com/images/blog/201809/27/cc2026d4467c62e0dec5a8bf22436e67.png
http://i2.运维网.com/images/blog/201809/27/cb7ae6f4e8ed8dbf45fc55ca72897c04.png
9、重启虚拟机
10、创建并格式化HDFS目录
10.1 创建NameNode数据存储目录
http://i2.运维网.com/images/blog/201809/27/65334f779892f71059b488be66ebf470.png
10.2 创建DataNode数据存储目录
http://i2.运维网.com/images/blog/201809/27/0fd295bd73c51c1d72a195548f5da8a7.png
10.3 将Hadoop目录的所有者更改
http://i2.运维网.com/images/blog/201809/27/0fbc2a2537ec240d4ce4a3391babeb00.png
http://i2.运维网.com/images/blog/201809/27/2e1ad29ca2e8778e6861414ed5a5d2d6.png
http://i2.运维网.com/images/blog/201809/27/6673059d3c8df09822b23339f662610e.png
11、编辑网络配置文件设置固定IP
11.1 编辑interfaces网络配置文件
http://i2.运维网.com/images/blog/201809/27/700c2ed133255eff69d3c234ba7f75a9.png
设置网卡eth0的地址
http://i2.运维网.com/images/blog/201809/27/4973568eab0af4618218cfaa2aff0420.png
11.2设置hostname
http://i2.运维网.com/images/blog/201809/27/fda4495d501292c95ba01ec64f1f5e26.png
设置主机名
http://i2.运维网.com/images/blog/201809/27/a784b999be47de5e679271fd920a8f3d.png
11.3 设置hosts
设置节点的主机名和相对应的IP地址
http://i2.运维网.com/images/blog/201809/27/860a3cb7628c7a038009f8d09dd3200f.png
http://i2.运维网.com/images/blog/201809/27/dcefcead147324e70c4b9460aa566a7b.png
11.4 增加masters文件
http://i2.运维网.com/images/blog/201809/27/b3ec9e9ff7ae35b98790e49a369860f4.png
http://i2.运维网.com/images/blog/201809/27/3d9d416c0283022a61263405ad8a5262.png
11.5 增加slaves文件
http://i2.运维网.com/images/blog/201809/27/1a379c1bef262b628d8a8b3f8c20de94.png
http://i2.运维网.com/images/blog/201809/27/159fd37e160fb02a2dae852722ea9836.png
页:
[1]