hadoop+hive+spark搭建（一）
1.准备三台虚拟机2.hadoop+hive+spark＋java软件包
传送门：Hadoop官网 Hive官网 Spark官网
一、修改主机名,hosts文件
主机名修改
hostnamectl set-hostname ***
hosts文件修改
vi /etc/hosts 写入以下内容
master 192.168.0.110
slaver1 192.168.0.111
slaver2 192.168.0.112
SSH免登陆
运行命令 ssh-keygen -t rsa生成秘钥
master节点运行命令 cat> ssh slaver1 cat ~/.ssh/id_rsa.pub >>authorized_keys
ssh slaver2 cat ~/.ssh/id_rsa.pub >>authorized_keys
scp authorized_key root@slaver1:~/.ssh/
scp authorized_key root@slaver2:~/.ssh/
vi /etc/ssh/sshd删掉以下注释
执行完如上操作即可免密登录
二、java环境配置
上传java软件包到各节点并解压缩java软件包到/usr/local/目录下重命名为
配置java环境变量
编辑/etc/profile文件，并追加
export JAVA_HOME=/usr/local/jdk1.8.0
export PATH=$JAVA_HOME/bin:$PATH
运行source /etc/profile命令
测试java环境变量
运行java -version命令
成功安装并配置java
三、Hadoop环境搭建
上传hadoop软件包并解压缩hadoop软件包到/usr/local/目录下重命名hadoop
编辑/etc/profile文件，并追加
export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$PATH
运行source /etc/profile命令
修改配置文件hadoop目录下etc/hadoop/hadoop-env.sh如下
修改配置文件hadoop目录下etc/hadoop/core-site.xml如下
修改配置文件hadoop目录下etc/hadoop/hdfs-site.xml如下
修改配置文件hadoop目录下etc/hadoop/yarn-site.xml如下
修改配置文件hadoop目录下etc/hadoop/mapred-site.xml如下
编辑hadoop目录下etc/hadoop/master
编辑hadoop目录下etc/hadoop/slaves
格式化HDFS
master节点运行命令hdfs namenode -format
master节点运行hadoop目录下sbin/start.all.sh启动所有程序
浏览器下输入192.168.0.110:50070即可打开web界面hadoop
在master和slave节点上输入命令jps
hadoop搭建成功 没有 HA 没有 yarn，mapreduce 的资源配置
页:
[1]