package monthly06b
import org.apache.spark.SparkConf
import org.apache.spark.rdd.RDD
import org.apache.spark.sql.SparkSession
object Test04 {
def main(args: Array[String]): Unit = {
val conf: SparkConf = new SparkConf().setMaster("local").setAppName("ss")
val spark: SparkSession = SparkSession.builder().config(conf).getOrCreate()
var se = List(
1,2,3,4,5,6
)
var se1 = List(
5,6,7,8,9
)
val liRDD1: RDD[Int] = spark.sparkContext.makeRDD(se)
val liRDD2: RDD[Int] = spark.sparkContext.makeRDD(se1)
println("-----------------------并集----------------------")
//并集
liRDD1.union(liRDD2).foreach(println)
println("-----------------------差集----------------------")
//差集
liRDD1.subtract(liRDD2).foreach(println)
println("------------------------交集---------------------")
//交集
liRDD1.intersection(liRDD2).foreach(println)
spark.stop()
}
}
版权说明
文章采用: 《署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0)》许可协议授权。版权声明:未标注转载均为本站原创,转载时请以链接形式注明文章出处。如有侵权、不妥之处,请联系站长删除。敬请谅解!