jokerchu 发表于 2016-12-13 11:16:00

Hadoop2.5.2安装——单机模式

  转载请出自出处:http://eksliang.iyunv.com/blog/2185414

一、概述
  Hadoop有三种模式 单机模式、伪分布模式和完全分布模式,这里先简单介绍单机模式 ,默认情况下,Hadoop被配置成一个非分布式模式,独立运行JAVA进程,适合开始做调试工作。

二、下载地址
  Hadoop 网址http://hadoop.apache.org/       OSC地址 http://www.oschina.net/p/hadoop
  下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/
  下载的版本是hadoop-2.5.2.tar.gz

三、拷贝到/usr/hadoop  解压 hadoop
  温馨提示,安装之前必须确保JDK已经安装,因为hadoop是用java写的,依赖于jdk.

# pwd
/usr/hadoop
# ls
hadoop-2.5.2hadoop-2.5.2.tar.gz

四、修改配置文件 hadoop-env.sh
  Hadoop的配置文件都在/usr/hadoop/hadoop-2.5.2/etc/hadoop下,由于默认情况下是单机模式,一般不用做修改就可以直接做第五步测试实例,下面只是安装实际情况修改。
  在hadoop中配置JAVA_HOME,默认的是export JAVA_HOME=${JAVA_HOME}  如果原来在环境变量中配置过,就可用使用默认的,不需修改。

五、修改java虚拟机的类存
  原来启动JVM时配置的最大内存是512m,当运行hadoop的一些自带的实例会报内存溢出,其实这里是可以修改内存大小,如果不需要也不必修改。

export HADOOP_CLIENT_OPTS="-Xmx256m $HADOOP_CLIENT_OPTS"
六、运行实例 Hello Hadoop
  切换到该安装目录下,建立要上传到hadoop的两个文件 t1.txt、2.txt

mkdir input
cd input
echo "hello world" > t1.txt
echo "hello hadoop" > t2.txt
  运行hadoop自带的wordcount实例可以统计一批文本文件中单词出现的次数

./hadoop-2.5.2/bin/hadoop jar /usr/hadoop/hadoop-2.5.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar wordcount input output
   查看结果如下

# cat ./output/*
hadoop1
hello   2
world   1
   
  单机部署就是这么简单!
  原文出自:http://my.oschina.net/mynote/blog/93340
页: [1]
查看完整版本: Hadoop2.5.2安装——单机模式