hadoop 安装、配置、调试、排错
一、安装伪分布式hadoopmetadata
保存整个文件系统的元数据
元数据：整个文件系统的目录结构，每个目录有哪些文件，每个文件有哪些分块，每个分块保存在那个datanode上
namennode保存metadata，metadata会被调用到在内存中，为处理快速的“读请求”，由于metadata是非常重要的
数据所以它要在磁盘上有保存，当metadata中数据有变化的时候namenode会首先写editlog，同时将数据同步到磁盘，若写磁盘成功则会修改内存中的数据，并向客户端返回
1、hadoop 下载地址
http://mirror.bit.edu.cn/apache/hadoop/core/stable/
2、修改主机名,修改host配置文件
vi /etc/sysconfig/network
HOSTNAME=hadoop
vi /etc/hosts
172.30.82.61hadoop
hostname hadoop
3、设置ssh
ssh-keygen -q -t rsa -N "" -f /root/.ssh/id_rsa
cd /root/.ssh/
cat> chmod 600 authorized_keys
4、设置java环境
下载jdk
wget http://60.28.110.228/source/package/jdk-6u31-linux-i586.bin
#安装jdk
chmod +xjdk-6u31-linux-i586.bin
./jdk-6u31-linux-i586.bin
5、创建用户useradd hadoop -M -s /sbin/nologin
tar -zxvf hadoop-1.2.1.tar.gz
mv hadoop-1.2.1 /data/program
mkdir -p /data/program/hadoop/hdfs/name
存放namenode元数据
mkdir -p /data/program/hadoop/hdfs/data
hadoop数据存放目录
chown -R hadoop:hadoop /data/program/hadoop
6、配置hadoop
cd /data/program/hadoop/hadoop-1.0.3/conf/
vi hadoop-env.sh
export JAVA_HOME=/data/program/jdk1.6.0_31
设置hadoop java环境
vi core-site.xml
fs.default.name
hdfs://hadoop:9000
乒乓！@#4
vi hdfs-site.xml
dfs.replication
1
dfs.name.dir
/data/program/hadoop/hdfs/name
dfs.date.dir
/data/program/hadoop/hdfs/data
dfs.http.address
hadoop:50070
vi mapred-site.xml
mapred.job.tracker
hadoop:9001
7、启动、测试hadoop
/data/program/hadoop/bin/hadoop namenode -format
格式化文件
/data/program/hadoop/bin/hadoop-daemon.sh start namenode
/data/program/hadoop/bin/hadoop-daemon.sh start jobtracker
/data/program/hadoop/bin/hadoop-daemon.sh start datanode
/data/program/hadoop/bin/hadoop-daemon.sh start tasktracker
/data/program/hadoop/bin/hadoop-daemon.sh start secondarynamenode
启动服务
/data/program/hadoop/bin/hadoop-daemon.sh stop namenode
/data/program/hadoop/bin/hadoop-daemon.sh stop jobtracker
/data/program/hadoop/bin/hadoop-daemon.sh stop datanode
/data/program/hadoop/bin/hadoop-daemon.sh stop tasktracker
/data/program/hadoop/bin/hadoop-daemon.sh stop secondarynamenode
批量启动和关闭集群
/opt/modules/hadoop/hadoop-1.0.3/bin/start-all.sh
全部启动
/opt/modules/hadoop/hadoop-1.0.3/bin/stop-all.sh
全部关闭
http://hadoop:50070/ 验证hadoop是否正常启动
8、hadoop 报错处理
Format aborted in /data/program/hadoop/hdfs/name
13/08/19 19:30:54 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at hadoop/172.30.82.61
************************************************************/
/data/program/hadoop/bin/hadoop-daemon.sh start namenode
netstat -anlp | grep :50070 没有打开端口
产看日志
less hadoop-root-namenode-hadoop.log
2013-08-19 19:07:22,306 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.
java.io.IOException: NameNode is not formatted.
错误可能原因：
A、
/data/program/hadoop/hdfs权限要设置正确
/data/program/hadoop/hdfs/name/data/program/hadoop/hdfs/data;
name、data这两个文件不需要手动建，hadoop初始化会自动建立
B、
/etc/sysconfig/network 设置不正确
ssh 设置问题
/etc/hosts 设置问题
上述问题设置完成后重新启动网卡
ssh hadoop看是否可以不需密码连接
页:
[1]