Hadoop学习--伪分布式部署--day01
1.伪分布式安装准备工作上传hadoop-2.7.3.tar.gz/soft
虚拟机Java安装完毕
卸载原有的openjdk的版本
# java -version如果看到有openjdk的字样就是说明是系统带的openjdk版本
# rpm -qa|grep jdk
用类似如下的方法删除上面的rpm包
#rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
检查是否还有jdk1.5的版本，有就删除
#rpm -e --nodeps java-1.5.0-gcj-1.5.0.0-29.1.el6.x86_64
#解压新下载的jdk的安装包
配置环境变量
2.解压hadoop
$tar -xzvf hadoop-2.7.3.tar.gz
3.配置环境变量
编辑/etc/profile，添加如下内容
export JAVA_HOME=/soft/jdk1.8.0_111
export HADOOP_HOME=/soft/hadoop-2.7.3
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
并且把以上的内容写到/home/hadoop/.bashrc中
4.配置SSH免密码登陆
$ssh-keygen -t rsa （四个回车）
执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
将公钥拷贝到要免登陆的机器上
$cd /home/hadoop/.ssh
$cat> $chmod 600 authorized_keys
mkdir ./ssh
chmod 700 ~/.ssh cd ~/.ssh
ssh-keygen -t rsa
cd ~/.ssh
cat /root/.ssh/id_rsa.pub > authorized_keys
chmod 600 ~/.ssh/authorized_keys
scp authorized_keys userB:/root/.ssh/
注：A 为管理主机，B为被管理主机。
5.修改core-site.xml
添加如下信息
fs.defaultFS
hdfs://localhost/
6.修改hdfs-site.xml
dfs.replication
1
7.修改mapred-site.xml
mapreduce.framework.name
yarn
8.修改yarn-site.xml
yarn.resourcemanager.hostname
localhost
yarn.nodemanager.aux-services
mapreduce_shuffle
9.格式化namenode（是对namenode进行初始化
$hdfs namenode -format (hadoop namenode -format)
10.启动hadoop
先启动HDFS
$start-dfs.sh
$start-yarn.sh
关闭的顺序最好相反
11.目录操作
$hadoop fs -mkdir -p /user/hadoop
$hadoop fs -ls /
$hadoop fs -ls -R /
$hadoop fs -lsr /
上传
$hadoop fs -put
$hadoop fs -put local.txt /user/hadoop/xx.txt //将本地文件put到hdfs文件系统
查看文件内容
$hadoop fs -cat
下载文件
$hadoop fs -get
12.查看帮助
$hadoop fs//直接回车
$hadoop fs -help put //查看put的具体信息
13.查看namenode和datanode在本地
$cd /tmp/hadoop-hadoop/dfs/name/... //第一个hadoop是hadoop用户登陆启动创建的
$cd /tmp/hadoop-hadoop/dfs/data/...
14.查看log文件
$ $HADOOP_HOME/logs
15.通过webui查看日志或者集群情况
http://localhost:500070/ //namenode web server port
http://localhost:8088/ //resourceManager,只有在本机访问才可以。hadoop集群信息
http://localhost:19888/ //historyServer
16.通过netstat查看网络端口占用情况
$netstat-lnpt//l:listeneru:udpp:programname
页:
[1]