HDFS 实验 (三) hadoop节点配置
vi /etc/hosts添加节点dns信息
192.168.209.157 node1
192.168.209.158 node2
192.168.209.159 node3
vi /etc/profile
添加运行目录
export HADOOP_HOME=/home/hadoop/hadoop-3.1.0
exportPATH=$PATH:$HADOOP_HOME/bin
复制到各节点过去
scp /etc/profile node2:/etc/profile
scp /etc/profile node3:/etc/profile
在各节点执行
source /etc/profile
刷新配置
然后把key复制到不同节点
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3
mkdir tmp创建临时目录
创建data和name 在/home/hadoop/hadoop-3.1.0
vi /home/hadoop/hadoop-3.1.0/etc/hadoop/core-site.xml
fs.defaultFS
hdfs://node1:50070
hadoop.tmp.dir
/home/hadoop/hadoop-3.1.0/tmp
vi /home/hadoop/hadoop-3.1.0/etc/hadoop/hdfs-site.xml
dfs.namenode.http-address node1:50070 dfs.namenode.secondary.http-address node2:50090 dfs.namenode.name.dir /home/hadoop/hadoop-3.1.0/name dfs.replication 2 dfs.datanode.data.dir /home/hadoop/hadoop-3.1.0/data
vi /home/hadoop/hadoop-3.1.0/etc/hadoop/mapred-site.xml
mapreduce.framework.name yarn
vi /home/hadoop/hadoop-3.1.0/etc/hadoop/yarn-site.xml
yarn.resourcemanager.hostname master yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler
开始启动了
./bin/hdfs namenode -format
没找到java，容我修个错误
找一下包的位置
rpm -qal | grep jdk
vi /etc/profile
加入java 环境配置信息
export JAVA_HOME=/usr/java/jdk1.8.0_162 export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/home/hadoop/hadoop-3.1.0
exportPATH=$PATH:$HADOOP_HOME/bin
刷新下配置source /etc/profile
再次格式化下
./bin/hdfs namenode -format
启动失败鸟
容我修个错误
SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: hadoop-1: hadoop-1: Name or service not known
本机名字是hadoop-1，和配置中的node1有差，所以nmtui改hostname先
再次格式化
启动dfs
./sbin/start-dfs.sh
出错鸟
Starting namenodes on node1: ERROR: JAVA_HOME is not set and could not be found.
我明明已经设了javahome了，再次看下日志，有黑字
vi ./etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_162
再次启动dfs
3台都没有报错
启动yarm
./sbin/start-yarn.sh
node1 启动的组件
node2 组件
node3 组件
sbin目录中有全部启动命令
.sbin/start-all.sh
.sbin/stop-all.sh
页:
[1]