【DAY2】hadoop 完全分布式模式配置的学习笔记
hadoop端口----------------
1.namenode 50070
http://namenode:50070/
2.resourcemanager:8088
http://localhost:8088/
3.historyServer
http://hs:19888/
4.name rpc(remote procedure call,远程过程调用)
hdfs://namenode:8020/
ssh指令结合操作命令
---------------------
$>ssh s300 rm -rf /xx/x/x
通过scp远程复制
--------------------
$>scp -r /xxx/x ubuntu@s200:/path
编写脚本，实现文件或者文件夹的在所有节点远程复制。
xcopy.sh
--------------------
scp -r path ubuntu@s200:/path
删除
------
xrm.sh a.txt
ssh s200 rm -rf path
远程复制文件
#!/bin/bash
if [ $# -lt 1 ] ;then
echo no args
exit;
fi
#get first argument
arg1=$1;
cuser=`whoami`
fname=`basename $arg1`
dir=`dirname $arg1`
if [ "$dir" = "." ]; then
dir=`pwd`
fi
for (( i=200;iSLAVE_NAMES
4.for SLAVE_NAMES --> ssh @hostname ...
"$bin/hadoop-daemon.sh"
-----------------------------
1.{hadoop}\libexec\hadoop-config.sh
HADOOP_CONF_DIR=...//--config参数
2.namenode|datanode|2namenode|..
bin/hdfs/xxxx
2NN配置独立的主机
--------------------
dfs.namenode.secondary.http-address
0.0.0.0:50090
The secondary namenode http server address and port.
修改默认的hadoop临时目录
-------------------------
hadoop.tmp.dir=/home/ubuntu/hadoop/
修改blocksize大小,默认是128m
-----------------------------
dfs.blocksize=8m
1.测试方式
put 文件 > 8m,通过webui查看块大小
页:
[1]