yinl_li 发表于 2016-12-6 09:47:48

hadoop-1.0.3单机配置

  hadoop-1.0.3单机配置
  前提条件:
  1. 安装jdk
  2. ssh免密码输入访问
  配置步骤:
  1. 下载hadoop-1.0.3并解压到/home/ting/program/hadoop目录
  2. 设置环境变量
  vim ~/.bash_profile,添加如下内容:
  export HADOOP_HOME=/home/ting/program/hadoop/hadoop-1.0.3
  3. 在hadoop-1.0.3目录创建一个tmp目录
  mkdir tmp
  4. 修改conf/hadoop-env.sh
  去掉JAVA_HOME前的#,并将其修改成自己安装的java路径。
  # The java implementation to use.  Required.
  export JAVA_HOME=/home/ting/program/java/jdk1.6.0_34
  5. 修改conf/core-site.xml
  <configuration>
  <property>
  <name>fs.default.name</name>
  <value>hdfs://127.0.0.1:9000</value>
  </property>
  <property>
  <name>hadoop.tmp.dir</name>
  <value>/home/ting/program/hadoop/hadoop-1.0.3/tmp</value>
  </property>
  </configuration>
  说明:127.0.0.1是单机环境下的本机地址,9000在搭建hbase集群环境时需要用到。
  hadoop.tmp.dir设置为之前创建的tmp目录
  6. 修改conf/hdfs-site.xml
  <configuration>
  <property>
  <name>dfs.replication</name>
  <value>1</value>
  </property>
  </configuration>
  7. 修改conf/mapred-site.xml
  <configuration>
  <property>
  <name>mapred.job.tracker</name>
  <value>localhost:9001</value>
  </property>
  </configuration>
  8. 修改conf/masters和conf/slaves,其内容都是localhost
  localhost
  9. 格式化HDFS
  命令:./bin/hadoop namenode -format
  说明:进行此步前最好先删除tmp目录下的所有数据,否则DataNode线程无法启动。
  10. 运行hadoop
  命令:sh start-all.sh
  11. 测试hadoop是否启动成功
  命令:jps
  若出现如下6个名称的进程,则hadoop运行成功。
  15125 SecondaryNameNode
  15217 JobTracker
  14984 DataNode
  19072 Jps
  14860 NameNode
  15348 TaskTracker
  12. 验证Hadoop是否安装成功。打开浏览器,分别输入一下网址:
  http://localhost:50030    (MapReduce的Web页面)
  

  http://localhost:50070    (HDfS的web页面)
  
页: [1]
查看完整版本: hadoop-1.0.3单机配置