Spark集群安装（一）
需要的软件包：Spark1.0.2
Scala2.10.4
一、安装Scala
Rpm –ivh scala-2.10.4.rpm #安装scala
Scala–version #检查刚刚安装的scala版本
Scala code runner version 2.10.4 -- Copyright 2002-2013,LAMP/EPFL
http://s3.运维网.com/wyfs02/M02/48/85/wKiom1QJTS-RqJOeAABDMvJTK4k987.jpg
$ scala#进入scala命令行交互模式
http://s3.运维网.com/wyfs02/M00/48/85/wKiom1QJTUaRrWnfAACV4M0A1xk842.jpg
做简单运算看下运行结果：
http://s3.运维网.com/wyfs02/M01/48/87/wKioL1QJTVuCwbLZAAAYVN7xDGE917.jpg
至此，scala安装完成。其余节点安装scala同上。
二、安装Spark
tar -zxvf spark-1.0.2-bin-hadoop1.tgz#解压文件
配置环境变量：
http://s3.运维网.com/wyfs02/M01/48/85/wKiom1QJTWWQoi62AABJ6VWFD98882.jpg
配置spark
cp spark-env.sh.template spark-env.sh#拷贝文件
配置spark-env.sh文件，添加如下信息：
http://s3.运维网.com/wyfs02/M00/48/87/wKioL1QJTXriUJwXAACDxa_m7Ag056.jpg
vim slaves #将所有节点加入到slaves中。
其余节点saprk配置同上
三、启动spark
$ ./start-all.sh #启动spark集群
使用JPS查看节点启动进程：
http://s3.运维网.com/wyfs02/M00/48/85/wKiom1QJTX_CzJdrAABaFvoLCCo224.jpg
可以发现进程中，多了两个进程master和worker。
同样方法查看其余节点：
http://s3.运维网.com/wyfs02/M01/48/87/wKioL1QJTY6ivmTsAAA5TkeFG_A354.jpg
可以发现，节点多了一个进程worker。
四、访问WEB界面，看集群情况
浏览器输入http://192.168.101.10:8080/：
http://s3.运维网.com/wyfs02/M02/48/87/wKioL1QJTZ_A5Cr4AAF6jDWksYQ574.jpg
至此，安装全部完成。
页:
[1]