hadoop的完全分布式安装
配置hadoop1上传hadoop包
2解压hadoop包
tar -zxvf hadoop-*.tar.gz -C /usr/local/
3配置hadoop伪分布式(要修改4个文件)
第一个:hadoop-env.sh
vim hadoop-env.sh
export JAVA_HOME=/usr/java/jdk
第二个:core-site.xml
fs.defaultFS
hdfs://hadoop01:9000
hadoop.tmp.dir
/usr/local/hadoop/tmp
第三个:hdfs-site.xml
dfs.namenode.secondary.http-address
hadoop02:50090
dfs.namenode.secondary.https-address
hadoop02:50091
第四个:masters
vim masters
hadoop01
第五个:slaves
vim slaves
hadoop02
hadoop03
hadoop04
配置ssh免登陆:
生成ssh免登陆密钥
cd ~,进入到我的home目录
cd .ssh/
ssh-keygen -t rsa (四个回车)
执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
将公钥拷贝到要免登陆的机器上
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
或ssh-copy-id -i localhost
#把hadoop01的hadoop目录下的logs和tmp删除
将配置好的hadoop拷贝到其他节点
scp -r /usr/local/hadoop/ hadoop02:/usr/local/
scp -r /usr/local/hadoop/ hadoop03:/usr/local/
scp -r /usr/local/hadoop/ hadoop04:/usr/local/
把hadoop01的/etc/profile复制到其他节点,并在目标节点中执行source /etc/profile
格式化,在hadoop01节点执行hadoop namenode -format
启动,在hadoop01节点执行start-all.sh
****注意:对于配置文件core-site.xml和mapred-site.xml在所有节点中都是相同的内容。
页:
[1]