hadoop第二天
脚本里面单独的 \ 是把一行换成多行，换行符通配0.0.0.0表示任意一个ip都可以访问、电脑有网卡，本地连接其他的
2NN配置独立的主机----------现在是005的18分38秒
--------------------
dfs.namenode.secondary.http-address
0.0.0.0:50090 -----------在这里，上面的s500:50090 从jar包提取所有的配置项-小红本里面搜secondary里面搜的以及DFSUtil里面看源码找到的配置，
The secondary namenode http server address and port.
改辅助名称的节点/etc/hadoop_cluster/hdfs-site.xml在这个文件里面【增加】 下面的内容 -----为什么说是这个，因为上面搜出来的是hdfs-default里面的内容
dfs.namenode.secondary.http-address
s500:50090
配置好后把这个文件发给所有节点
hdfs --config /soft/hadoop/etc/hadoop_cluster getconf -secondarynamenodes
取出来是s500
配置好新的集群，重新格式化一下
修改默认的hadoop临时目录-------------想修改的话可以到这里修改，搜配置的话，小红本里面搜local，在搜hadoop.tmp.dir
------------这些内容是追加的，追加后要发送到其他的主机----我是ubuntu用户，就放在自己家了，没有的话创建一下目录，每个机器上都创建一下---------
hadoop.tmp.dir=/home/ubuntu/hadoop/
============================================
克隆之前最好把soft/hadoop/logs里面的日志删除
配置完全分布式的xxx-site.xml
s100 namenode名称节点
s200 datanode数据节点
s300 datanode数据节点
s400 datanode数据节点
s500 secondarynamenode 辅助名称节点在003的时候17分44秒左右提到了slaves不好用，让看源代码
slave配
s200
s300
s400
etc/haoop_cluster发送到其他主机
hdfs --config /soft/hadoop/etc/hadoop_cluster namenode -format格式化的时候也有提到相关的配置
格式化后可以到/tmp/hadoop-ubuntu/dfs/里面看
start-dfs.sh --config /soft/hadoop/etc/hadoop_cluster
start-yarn.sh --config /soft/hadoop/etc/hadoop_cluster
也是完全分布式相关操作
hadoop端口
----------------
1.namenode 50070
http://namenode:50070/
2.resourcemanager:8088
http://localhost:8088/
3.historyServer
http://hs:19888/
4.name rpc(remote procedure call,远程过程调用)---第一个
hdfs://namenode:8020/ 主机名称：端口号
ssh指令结合操作命令
---------------------
$>ssh s300 rm -rf /xx/x/x强制删除目录，递归干掉
ssh s300 rm -rf a b 删除a目录，b目录
通过scp远程复制
--------------------
$>scp -r /xxx/x ubuntu@s200:/path目录递归拷贝
scp -r hadoop_cluster ubuntu@s200:/soft/hadoop/etc/
编写脚本，实现文件或者文件夹的在所有节点远程复制。
xcopy.sh -记得修改一下所有人都能执行的权限-------------一般放到/usr/local/sbin下path【/usr/local/sbin:/usr/local/bin】里面有这个目录，而且我们不用陪了
--------------------
1.
2.
3.
4.
scp -r path ubuntu@s200:/path
删除
------
xrm.sh a.txt
ssh s200 rm -rf path
----------------------删除脚本---003开始----我们经常要删除的是/soft/hadoop/logs目录 和 /tmp目录，没有格式化就不会产生这个tmp目录----
#!/bin/bash
if [ $# -lt 1 ] ;then
echo no args
exit;
fi
#get first argument
arg1=$1;
cuser=`whoami`
fname=`basename $arg1`
dir=`dirname $arg1`
if [ "$dir" = "." ]; then
dir=`pwd`
fi
for (( i=100;i 8m,通过webui查看块大小
hadoop --config /soft/hadoop/etc/hadoop_cluster fs -put /mnt/hgfs/downloads/bigdata/hadoop-2.7.2.tar.gz /usr/ubuntu/data/
其他s200,s300等主机也可以放文件
hadoop --config /soft/hadoop/etc/hadoop_cluster fs -chmod 改权限
检查文件block的状态hadoop fsck/ -blocks
老师打的是 hdfs --config /soft/hadoop/etc/hadoop_cluster fsck /user/ubuntu/data/hello.txt查看文件的健康状况
到临时目录里面去cat一下那个meta和块看看，每个节点都有同样的内容
到webui里面看多少块超过128的文件
hosts里面的映射配置，看自己主机ip情况而定
s100 --> 132
s200 --> 130
s300 --> 131
s400 --> 128
s500 --> 133
127.0.0.1localhost
192.168.238.132 s100
192.168.238.130 s200
192.168.238.131 s300
192.168.238.128 s400
192.168.238.133 s500
页:
[1]