SPARK动态添加节点
spark集群使用hadoop用户运行,集群机器如下:1DEV-HADOOP-01192.168.9.110Master2DEV-HADOOP-02192.168.9.111Worker3DEV-HADOOP-03192.168.9.112Worker
现在需要添加一台192.168.9.113 机器名DEV-HADOOP-04的节点作为Worker.需要执行一下操作:
[*]配置Master到新增节点hadoop用户的无密码登录
[*]每个节点添加的/etc/hosts
[*]安装JDK1.8.0_60
[*]安装scala
[*]从Master拷贝scala scp -r scala-2.11.7 root@192.168.9.113:/data/server/
[*]设置环境变量 /etc/profile
[*]export SCALA_HOME=/usr/scala/scala-2.11.7
[*]使配置生效 source /etc/profile
[*]更改scala-2.11.7的用户和组 chown -R hadoop:hadoop scala-2.11.7
[*]安装spark
[*]从Master拷贝spark scp -r spark-1.5.0-bin-hadoop2.6 root@192.168.9.113:/data/server/
[*]配置环境变量 /etc/profile
[*]export SPARK_HOME=/data/server/spark-1.5.0-bin-hadoop2.6
[*]export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
[*]使配置生效 source /etc/profile
[*]修改集群的slaves配置文件,新增新增节点DEV-HADOOP-03
[*]启动新增节点
[*]sbin/start-slave.sh spark://DEV-HADOOP-01:7077
[*]新增节点启动验证
[*]执行jps命令,slave可以看到Worker进程
[*]查看Spark UI
[*]看到Workers中有新增节点
页:
[1]