论坛 › Hadoop › Hadoop、Hbase完全分布式搭建

西大 发表于 2018-10-30 11:05:42

Hadoop、Hbase完全分布式搭建

# tar zxvf hadoop-2.2.0.tar.gz　　
# mv hadoop-2.2.0 /home/hadoop/
　　
# cd /home/hadoop/
　　
# ln -s hadoop-2.2.0 hadoop
　　
# chown -R hadoop.hadoop /home/hadoop/
　　
# cd /home/hadoop/hadoop/etc/hadoop
　　
# 修改hadoop-env.sh文件
　　
export JAVA_HOME=/usr/java/jdk
　　
export HADOOP_HEAPSIZE=200
　　

　　
# 修改mapred-env.sh文件
　　
export JAVA_HOME=/usr/java/jdk
　　
export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000
　　

　　
# 修改yarn-env.sh文件
　　
export JAVA_HOME=/usr/java/jdk
　　
JAVA_HEAP_MAX=-Xmx300m
　　
YARN_HEAPSIZE=100
　　

　　

　　
# 修改core-site.xml文件
　　

　　
　　fs.defaultFS
　　hdfs://master:9000
　　
　　
　　hadoop.tmp.dir
　　/home/hadoop/tmp
　　
　　
　　hadoop.proxyuser.hadoop.hosts
　　*
　　
　　
　　hadoop.proxyuser.hadoop.groups
　　*
　　
　　

　　

　　
# 修改hdfs-site.xml文件
　　

　　
　　dfs.namenode.secondary.http-address
　　master:9001
　　
　　
　　dfs.namenode.name.dir
　　/home/hadoop/dfs/name
　　
　　
　　dfs.datanode.data.dir
　　/home/hadoop/dfs/data
　　
　　
　　dfs.replication
　　2
　　
　　
　　dfs.webhdfs.enabled
　　true
　　
　　

　　

　　

　　
# 修改mapred-site.xml文件
　　

　　
　　mapreduce.framework.name
　　yarn
　　
　　
　　mapreduce.jobhistory.address
　　master:10020
　　
　　
　　mapreduce.jobhistory.webapp.address
　　master:19888
　　
　　
　　mapreduce.map.memory.mb
　　512
　　
　　
　　mapreduce.map.cpu.vcores
　　1
　　
　　
　　mapreduce.reduce.memory.mb
　　512
　　
　　

　　

　　
# 修改yarn-site.xml文件
　　

　　
　　yarn.nodemanager.aux-services
　　mapreduce_shuffle
　　
　　
　　yarn.nodemanager.aux-services.mapreduce.shuffle.class
　　org.apache.hadoop.mapred.ShuffleHandler
　　
　　
　　yarn.resourcemanager.address
　　master:8032
　　
　　
　　yarn.resourcemanager.scheduler.address
　　master:8030
　　
　　
　　yarn.resourcemanager.resource-tracker.address
　　master:8031
　　
　　
　　yarn.resourcemanager.admin.address
　　master:8033
　　
　　
　　yarn.resourcemanager.webapp.address
　　master:8088
　　
　　
　　yarn.scheduler.minimum-allocation-mb
　　100
　　
　　
　　yarn.scheduler.maximum-allocation-mb
　　200
　　
　　
　　yarn.scheduler.minimum-allocation-vcores
　　1
　　
　　
　　yarn.scheduler.maximum-allocation-vcores
　　2
　　
　　

　　

　　
# 修改slaves文件
　　
slave1
　　
slave2
　　

　　
# 修改 /home/hadoop/.bashrc
　　

　　
export HADOOP_DEV_HOME=/home/hadoop/hadoop
　　
export PATH=$PATH:$HADOOP_DEV_HOME/bin
　　
export PATH=$PATH:$HADOOP_DEV_HOME/sbin
　　
export HADOOP_MAPARED_HOME=${HADOOP_DEV_HOME}
　　
export HADOOP_COMMON_HOME=${HADOOP_DEV_HOME}
　　
export HADOOP_HDFS_HOME=${HADOOP_DEV_HOME}
　　
export YARN_HOME=${HADOOP_DEV_HOME}
　　
export HADOOP_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
　　
export HDFS_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
　　
export YARN_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
　　

　　
# 将上面修改的文件全部传送到slave1,slave2节点

查看完整版本: Hadoop、Hbase完全分布式搭建