xuesn 发表于 2018-10-28 14:08:39

CLOUD 03:hadoop

  hadoop 安装 (单机模式)
  禁用 selinux 和 iptables
  禁用 selinux 和 iptables
  禁用 selinux 和 iptables
  配置 /etc/hosts 保证所有主机域名能够相互解析
  配置 /etc/hosts 保证所有主机域名能够相互解析
  配置 /etc/hosts 保证所有主机域名能够相互解析
  1、安装 java
  yum install java-1.8.0-openjdk -y
  验证:
  java -version
  2、安装 jps
  yum install java-1.8.0-openjdk-devel -y
  验证:
  jps
  3、安装 hadoop
  tar zxf hadoop-2.7.3.tar.gz
  mv hadoop-2.7.3 /usr/local/hadoop
  修改配置文件的运行环境:
  /usr/local/hadoop/etc/hadoop/hadoop-env.sh
  25 export JAVA_HOME="/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86_64/jre"
  33 export HADOOP_CONF_DIR="/usr/local/hadoop/etc/hadoop"
  验证:
  cd /usr/local/hadoop
  ./bin/hadoop version
  统计分析热词
  创建数据源
  mkdir input
  在这个文件夹里面放入需要统计分析的数据
  cp *.txt input/
  统计分析1单词出现的频率
  ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount input output
  统计分析2某一个关键词出现的频率,例如 dfs 这个词前面字母是 h 的出现的频率
  ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output1 '(?
页: [1]
查看完整版本: CLOUD 03:hadoop