论坛 › Hadoop › Apache Hadoop集群离线安装部署(一)

寂寞大萝卜 发表于 2017-12-17 20:39:34

Apache Hadoop集群离线安装部署(一)

　　虽然我已经装了个Cloudera的CDH集群(教程详见：http://www.cnblogs.com/pojishou/p/6267616.html)，但实在太吃内存了，而且给定的组件版本是不可选的，如果只是为了研究研究技术，而且是单机，内存较小的情况下，还是建议安装Apache的原生的集群拿来玩，生产上自然是Cloudera的集群，除非有十分强大的运维。
　　我这次配了3台虚拟机节点。各给了4G，要是宿主机内存就8G的，可以搞3台2G，应该也是ok的。
　　Apache Hadoop集群离线安装部署(一)——Hadoop(HDFS、YARN、MR)安装：http://www.cnblogs.com/pojishou/p/6366542.html
　　Apache Hadoop集群离线安装部署(二)——Spark-2.1.0 on Yarn安装：http://www.cnblogs.com/pojishou/p/6366570.html
　　Apache Hadoop集群离线安装部署(三)——Hbase安装：http://www.cnblogs.com/pojishou/p/6366806.html
　　〇、安装文件准备
　　Hadoop 2.7.3：http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
　　一、虚拟机准备
　　设置ip地址，hosts，ssh免密登录，scp，sudo，关闭防火墙，yum，ntp时间同步 略。
　　Java安装 略。
　　参考：http://www.cnblogs.com/pojishou/p/6267616.html
　　二、Hadoop安装
　　1、解压
　　

tar -zxvf hadoop-2.7.3.tar.gz -C /opt/program/　　
ln -s /opt/hadoop-2.7.3 /opt/hadoop
　　

　　2、修改配置文件
　　(1)、hadoop-env.sh
　　

vi /opt/hadoop/etc/hadoop/hadoop-env.sh　　

　　
export JAVA_HOME
=/opt/java　　

　　(2)、core-site.xml
　　

vi /opt/hadoop/etc/hadoop/core-site.xml　　

　　

<configuration>　　<property>
　　<name>fs.defaultFS</name>
　　<value>hdfs://node00:9000</value>
　　</property>
　　<property>
　　<name>hadoop.tmp.dir</name>
　　<value>/opt/hadoop/tmp</value>
　　</property>
　　
</configuration>
　　

　　(3)、hdfs-site.xml
　　

vi /opt/hadoop/etc/hadoop/hdfs-site.xml　　

　　

<configuration>　　<property>
　　<name>dfs.namenode.name.dir</name>
　　<value>/opt/hadoop/data/name</value>
　　</property>
　　<property>
　　<name>dfs.datanode.data.dir</name>
　　<value>/opt/hadoop/data/data</value>
　　</property>
　　

　　<property>
　　<name>dfs.replication</name>
　　<value>3</value>
　　</property>
　　

　　<property>
　　<name>dfs.secondary.http.address</name>
　　<value>node00:50090</value>
　　</property>
　　
</configuration>
　　

　　(4)、mapred-site.xml
　　

vi /opt/hadoop/etc/hadoop/mapred-site.xml　　

　　

<configuration>　　<property>
　　<name>mapreduce.framework.name</name>
　　<value>yarn</value>
　　</property>
　　
</configuration>
　　

　　(5)、yarn-site.xml
　　

vi /opt/hadoop/etc/hadoop/yarn-site.xml　　

　　

<configuration>　　<property>
　　<name>yarn.resourcemanager.hostname</name>
　　<value>node00</value>
　　</property>
　　

　　<property>
　　<name>yarn.nodemanager.aux-services</name>
　　<value>mapreduce_shuffle</value>
　　</property>
　　
</configuration>
　　

　　(6)、slaves
　　

node01　　
node02
　　

　　3、初始化HDFS
　　

/opt/hadoop/bin/hadoop namenode -format　　

　　4、启动集群
　　

/opt/hadoop/sbin/start-all.sh　　

　　5、测试
　　

/opt/hadoop/bin/hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar pi 5 10　　

　　求出pi就ok了

查看完整版本: Apache Hadoop集群离线安装部署(一)