泰山神 发表于 2017-12-17 19:50:20

Hadoop 2.7 伪分布式环境搭建

  1、安装环境
  ①、一台Linux CentOS6.7 系统
  hostname                ipaddress              subnet mask                  geteway    
  Node1     192.168.139.150    255.255.255.0      192.168.139.2
  ②、hadoop 2.7 安装包
  百度云下载链接:http://pan.baidu.com/s/1gfaKpA7 密码:3cl7
  2、安装 JDK
  教程:http://www.cnblogs.com/ysocean/p/6952166.html
  3、配置本机 ssh 免密码登录
  教程:http://www.cnblogs.com/ysocean/p/6959776.html
  上面教程是配置多台机器 ssh 免秘钥登录的配置。那么本机配置的话。输入如下命令即可:
  

ssh-keygen -t rsa -P ''  
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  
chmod 600 ~/.ssh/authorized_keys
  

  

  完成之后,以 root 用户登录,修改 ssh 配置文件
  

vi /etc/ssh/sshd_config  

  把文件中的下面几条信息的注释去掉: 
  RSAAuthentication yes # 启用 RSA 认证
  PubkeyAuthentication yes # 启用公钥私钥配对认证方式
  AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径(和上面生成的文件同)
  然后重启服务
  

service sshd restart  

  

  验证出现如下界面,中间不需要输入密码,即配置完成。

  4、安装 hadoop-2.7.3.tar.gz
  ①、将下载的 hadoop-2.7.3.tar.gz复制到 /home/hadoop 目录下(可以利用工具 WinSCP)
  ②、解压,进入/home/hadoop 目录下,输入下面命令
  

tar -zxvf hadoop-2.7.3.tar.gz  

  

  ③、给 hadoop-2.7.3文件夹重命名,以便后面引用
  

mv hadoop-2.7.3 hadoop2.7  

  

  ④、删掉压缩文件 hadoop-2.7.3.tar.gz,并在/home/hadoop 目录下新建文件夹 tmp
  

mv hadoop-2.7.3 hadoop2.7  

  ⑤、配置 hadoop 的环境变量(注意要使用 root 用户登录)
  

vi /etc/profile  

  

  输入如下信息:

  然后输入如下命令保存生效:
  

source /etc/profile  

  

  ⑥、验证
  在任意目录下,输入 hadoop,出现如下信息即配置成功

  5、修改配置文件
  ①、/home/hadoop/hadoop-2.7.0/etc/hadoop目录下hadoop-env.sh
  输入命令
  
  修改 hadoop-env.sh 的 JAVA_HOME 值

  ②、/home/hadoop/hadoop2.7/etc/hadoop目录下的core-site.xml

  

<configuration>  
<property>
  
<name>fs.defaultFS</name>
  
<value>hdfs://192.168.139.150:9000</value>
  
</property>
  
<property>
  
<name>hadoop.tmp.dir</name>
  
<value>/home/hadoop/tmp</value>
  
</property>
  
</configuration>
  

  

  ③、/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的hdfs-site.xml

  

<configuration>  
<property>
  
<name>dfs.replication</name>
  
<value>1</value>
  
</property>
  
</configuration>
  

  

  到此我们便配置完成一个 hdfs 伪分布式环境  
  启动 hdfs Single Node
  ①、初始化 hdfs 文件系统
  

bin/hdfs namenode -format  

  

  ②、启动 hdfs
  

sbin/start-dfs.sh  

  

  ③、输入 jps 应该会有如下信息显示,则启动成功

  那么我们就可以 通过 http://192.168.139.150:50070 来访问 NameNode

  我们点开 Datanodes ,发现就一个 datanode ,而且 IP 是 NameNode 的

  我们使用命令创建一个文件

  那么在网页上我们就能看到这个文件

  ④、关闭 hdfs
  

sbin/stop-dfs.sh  

  
页: [1]
查看完整版本: Hadoop 2.7 伪分布式环境搭建