大数据系列01：大数据离线计算平台hadoop集群搭建和本地环境配置实践
最近出于兴趣开始研究大数据领域技术，照例从离线计算开始，作为菜鸟一枚，将学习实践过程记录下来，抛砖引玉，大牛请轻拍。鸣谢大数据专家段海涛老师，看他的视频学习的。1 环境准备：
1.1安装linux操作系统
centos安装好之后，安装ssh、scp服务，关闭防火墙
$ yum install openssh-server
$ yum install openssh-client
$ service iptables stop
$ chkconfig iptables off
1.2安装jdk，配置环境变量
$ tar –zxvf jdk-8u111-linux-x64.tar.gz –C /usr/local/java
$ vi /etc/profile
export JAVA_HOME=/usr/local/java/jdk1.8.0_111
export PATH=$PATH:$JAVA_HOME/bin
1.3 配置集群中所有机器的主机别名
$vim /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.142 mini1
192.168.1.143 mini2
192.168.1.144 mini3
192.168.1.145 mini4
1.4配置名称节点机器到数据节点机器的免密登录。
$ ssh-keygen #提示时，直接回车即可
$ ssh-copy-id mini2/mini3/mini4 #
$ ssh mini2 #测试是否配置成功
将用来做namnode机器上配置好主机别名的hosts文件【1.3的操作】下发到集群的其他机器
$ scp /etc/hosts mini2:/etc/
$ scp /etc/hosts mini3:/etc/
$ scp /etc/hosts mini4:/etc/
1.5创建服务器的hadoop业务账户
我们单独建一个用户来进行操作hadoop集群安装配置管理工作，用户名和命名均设置为：hadoop
# useradd hadoop
# passwd hadoop
1.6给业务账号配置高级操作权限
在用来安装名称节点的机器上给Hadoop用户配置操作权限（省去经常切换root用户的麻烦，需在root用户下操）
$ vi /etc/sudoers
hadoop ALL=(ALL) ALL
1.7使用业务账号登录
使用hadoop账户登录要安装集群的机器
1.8从名称节点机器下发sudoers权限文件到集群
将当前（名称节点）机器上配好hadoop账户权限的sudoers文件下发到其他机器上
# scp /etc/sudoers mini2:/etc
# scp /etc/sudoers mini3:/etc
# scp /etc/sudoers mini4:/etc
2 安装和配置hadoop
2.1上传hadoopjar包
上传hadoopjar包到一台名称节点服务器上进行安装配置。[安装配置好之后下发到集群中的其他数据节点]
2.2创建安装目录并解压安装包
创建一个apps文件夹用来今后安装hadoop相关的软件，并将刚上传的hadoop包解压到该文件夹
$ mkdir apps
$ tar -zxvf cenos-6.5-hadoop-2.6.4.tar.gz -C apps/
2.3编辑hadoop相关配置文件
编辑相关配置文件（相关配置参数可以配置到在以下任意的一个配置文件中，只是为了方便区分，一一进行配置）：配置参数参考：http://hadoop.apache.org/docs/r0.23.11/hadoop-project-dist/hadoop-common
core-site.xml：公共的核心的配置文件
hadoop-env.sh：hadoop运行时配置文件
hdfs-site.xml：hdfs配置文件
mapred-site.xml.template：mapreduce运行时配置文件
yarn-site.xml：yarn配置文件
2.3.1 hadoop-env.sh
配置java环境变量（jdk所在目录）
$ vi hadoop-env.sh
2.3.2core-site.xml
$ vi core-site.xml
<!-- Put site-specific property overrides in this file. -->
<configuration>
<!-- 配置集群名称节点位置 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://mini1:9000</value>
</property>
<!-- 配置hadoop运行数据存放目录 -->
<property>
<name>hadopp.tem.dir</name>
<value>/home/hadoop/hdpdata</value>
</property>
</configuration>
2.3.3hdfs-site.xml
hdfs-site.xml文件的配置都有默认值，无特殊情况可以不进行配置，此处仅作练习
$ vi hdfs-site.xml
<configuration>
<!—副本数量，默认为3 -->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
2.3.4mapred-site.xml.template
配置完之后更改文件名，去掉后面的template
$ vi mapred-site.xml.template
<configuration>
<!—配置mapreduce资源调度平台类型 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
$ mv mapred-site.xml.template mapred-site.xml
2.3.5yarn-site.xml
$ vi yarn-site.xml
<configuration>
<!— 配置名称节点主机名 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>mini1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
3 下发集群
3.1将按照配置好的hadoop下发到数据节点机器上
名称节点的的hadoop安装配置好之后，将hadoop下发到集群中的其他机器
$ scp -r apps/ mini2:/home/hadoop/
$ scp -r apps/ mini3:/home/hadoop/
$ scp -r apps/ mini4:/home/hadoop/
3.2 配置hadoop环境变量并将配置文件下发到节点机器上并刷新
在名称节点机器上配置好已装好的hadoop的环境变量，并将环境变量配置文件下发到集群中的其他机器，并刷新配置文件。
$ sudo vi /etc/profile
export JAVA_HOME=/usr/local/java/jdk1.8.0_111
export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.4
export ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin:/bin:/usr/local/java/jdk1.8.0_111/bin:$ZOOKEEPER_HOME/bin
$ sudo scp /etc/profile mini2:/etc/
$ sudo scp /etc/profile mini3:/etc/
$ sudo scp /etc/profile mini4:/etc/
在其他机器上刷新系统配置文件
$ source /etc/profile
4启动hadoop服务机器
4.1 启动前格式化hdsf文件系统
格式化名称节点机器上的hdfs系统：
$ hadoop namenode –format
出现：“Storage directory /tmp/hadoop-hadoop/dfs/name has been successfully formatted.”则表示格式化成功
4.2启动名称节点（namenode）上的服务
发现容量为空，数据节点的数量为0.
启动命令：
$ cd /home/hadoop/apps/hadoop-2.6.4/sbin #配置了hadoop环境变量本步可以省略
$ hadoop-daemon.sh start namenode
查看启动状态命令：
$ jps
4.3启动数据节点（datanode）上的服务并查看状态
# hadoop-daemon.sh start datanode
$ jps
4.4 从web服务中查看hadoop集群状态
打开浏览器访问：http://mini1:50070，查看集群状态和节点分布
5 配置批量操作脚本
在hadoop的sbin目录下，有很多批量操作（启动或者停止）的脚本，其本质是循环调用“ssh+主机+命令”的方式进行操作，因此需要在/home/hadoop/apps/hadoop-2.6.4/etc/hadoop目录下的slaves文件配置数据节点的主机名。
5.1查看命令脚本目录
$ cd /home/hadoop/apps/hadoop-2.6.4/sbin
5.2在slaves文件配置数据节点主机
$ /home/hadoop/apps/hadoop-2.6.4/etc/hadoop 2 $ vi slaves
初始只有localhost
添加集群数据节点主机，方便脚本调用
5.3 测试批量操作
停止所有节点hdfs服务
$ stop-dfs.sh
查看是否批量停止成功：
6hadoop本地开发环境搭建
6.1解压安装包
6.2使用windows平台的包的bin和lib目录替换原有的bin和lib目录
6.3配置环境变量
6.4添加jar包到集成开发工具
页:
[1]