帅帅男孩 发表于 2016-12-9 06:59:54

Hadoop 1.0 伪分布式 配置 (转载)

  安装ssh
1apt-get install ssh


  安装rsync
1apt-get install rsync


  配置ssh免密码登录
1ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
2cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys


  验证是否成功
1ssh localhost


  下载Hadoop1.0.0,JDK
  新建 linux 终端,建立app目录,Java和Hadoop都将安装在此目录中。
1mkdir /home/app


  接下来,安装Java和Hadoop,Hadoop解压即可。
1cd /home/app
2chmod +x jdk-6u30-linux-i586.bin
3./jdk-6u30-linux-i586.bin
4
5tar zxf hadoop-1.0.0-bin.tar.gz


  配置JDK环境变量
1vi /etc/profile


  增加下面语句到最后
1export JAVA_HOME=/home/app/jdk1.6.0_30
2export PATH=$JAVA_HOME/bin:$PATH
3export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar


  接下来开始配置Hadoop
  进入Hadoop目录
1cd /home/app/hadoop-1.0.0


  修改配置文件,指定JDk安装路径
1vi conf/hadoop-env.sh


1export JAVA_HOME=/home/app/jdk1.6.0_30


  修改Hadoop核心配置文件core-site.xml,这里配置的是HDFS的地址和端口号
1vi conf/core-site.xml


1<configuration>
2    <property>
3        <name>fs.default.name</name>
4        <value>hdfs://localhost:9000</value>   
5    </property>
6</configuration>


  修改Hadoop中HDFS的配置,配置的备份方式默认为3,因为安装的是单机版,所以需要改为1
1vi conf/hdfs-site.xml


1<configuration>
2    <property>
3        <name>dfs.replication</name>
4        <value>1</value>
5    </property>
6</configuration>


  修改Hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端口
1vi conf/mapred-site.xml


1<configuration>
2    <property>
3        <name>mapred.job.tracker</name>
4        <value>localhost:9001</value>
5    </property>
6</configuration>


  接下来,启动Hadoop,在启动之前,需要格式化Hadoop的文件系统HDFS,进入Hadoop文件夹,输入下面命令
1bin/hadoop namenode -format


  然后启动Hadoop,输入命令
1bin/start-all.sh


  这个命令为所有服务全部启动。
  最后,验证Hadoop是否安装成功。打开浏览器,分别输入一下网址:
  http://localhost:50030    (MapReduce的Web页面)
  http://localhost:50070    (HDfS的web页面)
  如果都能查看,说明安装成功。
页: [1]
查看完整版本: Hadoop 1.0 伪分布式 配置 (转载)