提前安装好hadoop,
我准备了两个节点,jdk和hadoop先安装好。
我用的两个节点,电脑配置不行,3个节点演示能更好些
1、解压
2、编辑文件:
[root@spark0 conf]# cpspark-env.sh.template spark-env.sh
[root@spark0 conf]# vim spark-env.sh
SPARK_MASTER_IP=192.168.6.2
[root@spark0 conf]# cp slaves.templateslaves
[root@spark0 conf]# vim slaves
# A Spark Worker will be started on each ofthe machines listed below.
192.168.6.2
192.168.6.3
3、配置好的拷贝到另一个几点上面去:
[root@spark0 local]# scp -r sparkspark1:/usr/local/
4、查看主节点的进程,除了worker还有master
5、查看另一个节点,除了hadoop进程,只有worker,没有master进程
6、例子,先在本地设置一个文件
7、打开spark-shell,运行一个小例子:
scala> val rdd=sc.textFile("/home/spark0/spark.txt").collect
8、关闭,两个节点的spark集群: