hadoop 2.7.3 云服务器 伪分布式部署
1.配置环境变量配置hadoop环境变量，这样就可以在任意目录中使用hadoop指令
vim /etc/profile
jdk环境变量
export JAVA_HOME
=/usr/local/jdk/jdk1.8.0_131
export JRE_HOME
=/usr/local/jdk/jdk1.8.0_131/jre
export>=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH
=$JAVA_HOME/bin:$PATH
hdoop环境变量 我hadoop放在
/usr/local/hdaoop下
export HADOOP_HOME
=/usr/local/hadoop/hadoop-2.7.3
export PATH
=$HADOOP_HOME/bin:$PATH
2.设置ssh免密本机登录
安装
yum install openssh-server
创建ssh文件夹，在ssh文件夹下创建两个文件id_dsa及id_dsa.pub,这是一对私钥和公钥，然后把id_dsa.pub(公钥)追加到授权的key里面去。
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
3.解压hadoop压缩包 我放在/usr/local/hadoop 下
4.修改 hadoop-2.7.3/etc 下的4个配置文件
core-site.xml
<configuration> <property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://0.0.0.0:9000</value>
</property>
</configuration>
hdfs-site.xml
<configuration> <property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/tmp/dfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop/tmp/dfs/datanode</value>
</property>
</configuration>
修改mapred-site.xml.template 文件名为 mapred-site.xml在修改
<configuration> <property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>
</configuration>
修改slaves文件内容为
master
5.在 /etc/hosts 文件中添加
xxx.xxx.xxx.xxx master
xxx.xxx.xxx.xxx为你的服务器公网ip
6.第一次启动需要格式化namenode
hadoop namenode -format
启动hadoop服务
/usr/local/hadoop/hadoop-2.7.3/sbin/start-all.sh
停止
/usr/local/hadoop/hadoop-2.7.3/sbin/stop-all.sh
页:
[1]