zhouandtao 发表于 2018-10-29 08:16:27

mac或linux下安装hadoop-2.8流程

　　mac上安装hadoop
　　1,mac下的java
　　ll /usr/bin |grep'java'
　　默认:
　　/System/Library/Frameworks/JavaVM.framework/Versions/Current/Commands/java
　　具体的安装路径:
　　/Library/Java/JavaVirtualMachines/下面，
　　JAVA_HOME是/Library/Java/JavaVirtualMachines/jdk1.7.0_75/Contents/Home。
　　2,mac下的ssh
　　首先测试ssh localhost，
　　若不成功,看是否启动允许remotelogin,再尝试如果失败则继续下面的
　　ssh-keygen -t dsa-P '' -f ~/.ssh/id_dsa
　　ssh-keygen表示生成秘钥；
　　-t表示秘钥类型；-P用于提供密语；-f指定生成的秘钥文件。
　　这个命令在”~/.ssh/“文件夹下创建两个文件id_dsa和id_dsa.pub，是ssh的一对儿私钥和公钥。
　　接下来，将公钥追加到授权的key中去，输入：
　　cat~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
　　再次尝试
　　ssh localhost
　　若无法打开,解决方法如下：
　　进入Mac的系统偏好设置 –> 共享–> 勾选remote login，并设置allow access for all users。
　　3,下载镜像,mirror,选择某一个tar.gz
　　http://mirror.bit.edu.cn/apache/hadoop/common/
　　4,设置环境变量
　　vi ~/.bash_profile 或者/etc/profile中
　　exportJAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_75/Contents/Home
　　exportJRE_HOME=$JAVA_HOME/jre
　　exportHADOOP_HOME=/Users/xiaolong.zhao/ittools/hadoop
　　#是防止出现：Warning:$HADOOP_HOME is deprecated的警告错误。
　　exportHADOOP_HOME_WARN_SUPPRESS=1
　　exportPATH=$JAVA_HOME/bin:$JRE_HOME/bin: $ HADOOP_HOME /sbin:$HADOOP_HOME/bin:$PATH
　　注意:linux与mac的安装，唯一区别就是mac下会有默认的jdk路径的,以及ssh配置的
　　5,配置hadoop-env.sh
　　在/Users/xiaolong.zhao/ittools/hadoop/etc/hadoop目录下，找到hadoop-env.sh，打开编辑进行如下设置：
　　exportJAVA_HOME=${JAVA_HOME}（去掉注释）
　　exportHADOOP_HEAPSIZE=2000（去掉注释）
　　exportHADOOP_OPTS=”-Djava.security.krb5.realm=OX.AC.UK-Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk”（去掉注释）
　　6, 4个核心文件配置
　　6.1.配置core-site.xml——(defaultFS)指定了NameNode的主机名与端口
　　

　　
   
　　
   
　　
       fs.defaultFS
　　
       hdfs://localhost:8000
　　
   
　　

　　
   
　　
   
　　
       hadoop.tmp.dir
　　
       /Users/time/Documents/hadoop-2.7.3/tmp
　　
      A base for othertemporary directories.
　　
   
　　

　　6.2. 配置hdfs-site.xml——指定了HDFS的默认参数副本数
　　

　　

　　
   
　　
      
　　
          dfs.replication
　　
         1
　　
      
　　

　　
      
　　
      
　　
            dfs.namenode.name.dir
　　
            file:/home/hdfs/name
　　
      
　　

　　
      
　　
      
　　
            dfs.namenode.http-address
　　
             localhost:57000
　　
      
　　

　　
      
　　
          dfs.datanode.data.dir
　　
          file:/home/hdfs/data
　　
      
　　

　　

　　注意这里的file
　　如果配置为: file:/path/a/c,则具体的路径就是: /path/a/c
　　如果配置为:file://path/a/c,则具体的路径就是: /a/c
　　6.3 mapred-site.xml配置
　　
      mapreduce.framework.name
　　
      yarn
　　
   
　　6.4 Yarn-site.xml 配置
　　

　　

　　

　　

　　

　　
yarn.resourcemanager.address
　　
localhost:18040
　　

　　

　　

　　

　　
yarn.resourcemanager.scheduler.address
　　
localhost:18030
　　

　　

　　

　　

　　
yarn.resourcemanager.resource-tracker.address
　　
   localhost:18025
　　

　　

　　

　　

　　
yarn.resourcemanager.webapp.address
　　
localhost:18088
　　

　　

　　

　　

　　
yarn.nodemanager.aux-services
　　
mapreduce_shuffle
　　

　　

　　7, 格式化namenode
　　hdfs namenode-format
　　8, 启动hadoop
　　8.1sbin/start-all.sh
　　8.2 web测试
　　8.2.1 namenode-web
　　http://localhost:50070
　　8.2.2resourcemanager-web
　　http://localhost:18088
　　8.2.3 nodemanager-web
　　http://localhost:8042


页: [1]
查看完整版本: mac或linux下安装hadoop-2.8流程