统计
  • 建站日期:2021-03-10
  • 文章总数:10247 篇
  • 评论总数:229 条
  • 分类总数:56 个
  • 最后更新:5月17日
文章 未分类

spark-RDD-交集-差集-并集

小天
首页 未分类 正文
package monthly06b

import org.apache.spark.SparkConf
import org.apache.spark.rdd.RDD
import org.apache.spark.sql.SparkSession

object Test04 {
  def main(args: Array[String]): Unit = {
    val conf: SparkConf = new SparkConf().setMaster("local").setAppName("ss")
    val spark: SparkSession = SparkSession.builder().config(conf).getOrCreate()

    var se = List(
      1,2,3,4,5,6
    )
    var se1 = List(
      5,6,7,8,9
    )

    val liRDD1: RDD[Int] = spark.sparkContext.makeRDD(se)
    val liRDD2: RDD[Int] = spark.sparkContext.makeRDD(se1)
    println("-----------------------并集----------------------")
    //并集
    liRDD1.union(liRDD2).foreach(println)
    println("-----------------------差集----------------------")
    //差集
    liRDD1.subtract(liRDD2).foreach(println)
    println("------------------------交集---------------------")
    //交集
    liRDD1.intersection(liRDD2).foreach(println)

    spark.stop()
  }
}

版权说明
文章采用: 《署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0)》许可协议授权。
版权声明:未标注转载均为本站原创,转载时请以链接形式注明文章出处。如有侵权、不妥之处,请联系站长删除。敬请谅解!

-- 展开阅读全文 --
这篇文章最后更新于2021-8-6,已超过 1 年没有更新,如果文章内容或图片资源失效,请留言反馈,我们会及时处理,谢谢!
Mysql 常用函数使用和说明
« 上一篇
Spark处理json数组fastjson
下一篇 »
为了防止灌水评论,登录后即可评论!

HI ! 请登录
注册会员,享受下载全站资源特权。