1-2、Spark的standalone模式安装

2019-04-13 20:33发布


提前安装好hadoop, 我准备了两个节点,jdk和hadoop先安装好。
我用的两个节点,电脑配置不行,3个节点演示能更好些
1、解压   2、编辑文件: [root@spark0 conf]# cpspark-env.sh.template spark-env.sh [root@spark0 conf]# vim spark-env.sh SPARK_MASTER_IP=192.168.6.2 [root@spark0 conf]# cp slaves.templateslaves [root@spark0 conf]# vim slaves # A Spark Worker will be started on each ofthe machines listed below. 192.168.6.2 192.168.6.3
3、配置好的拷贝到另一个几点上面去: [root@spark0 local]# scp -r sparkspark1:/usr/local/
4、查看主节点的进程,除了worker还有master  
5、查看另一个节点,除了hadoop进程,只有worker,没有master进程

6、例子,先在本地设置一个文件
7、打开spark-shell,运行一个小例子: scala> val rdd=sc.textFile("/home/spark0/spark.txt").collect


8、关闭,两个节点的spark集群: