统计
  • 建站日期:2021-03-10
  • 文章总数:10247 篇
  • 评论总数:229 条
  • 分类总数:56 个
  • 最后更新:5月17日
文章 未分类

Spark Streaming 与 nc 的使用简单案例

小天
首页 未分类 正文

第一步:打开虚拟机 如果没安装的可以安装或更新一下nc

yum install -y nc

第二步:启动nc 端口号

nc -lk 9999

第三步:idea 创建对象等一系列操作

package com.zhp.day12

import org.apache.kafka.common.serialization.StringDeserializer
import org.apache.spark.SparkConf
import org.apache.spark.streaming.dstream.DStream
import org.apache.spark.streaming.kafka010.ConsumerStrategies.Subscribe
import org.apache.spark.streaming.kafka010.LocationStrategies.PreferConsistent
import org.apache.spark.streaming.kafka010._
import org.apache.spark.streaming.{Seconds, StreamingContext}

object Test02 extends App {
  //设置配置文件local 本地运行模式 和设置线程数
  private val conf: SparkConf = new SparkConf().setAppName("testx").setMaster("local[2]")
  //创建对象 Seconds 设置 接受消息间隔时间
  private val ssc = new StreamingContext(conf, Seconds(5))
  //设置接受主机 和端口
  val lines = ssc.socketTextStream("zhp1", 9999)
  lines.print()
  ssc.start()             // Start the computation
  ssc.awaitTermination()  // Wait for the computation to terminate
}

版权说明
文章采用: 《署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0)》许可协议授权。
版权声明:未标注转载均为本站原创,转载时请以链接形式注明文章出处。如有侵权、不妥之处,请联系站长删除。敬请谅解!

-- 展开阅读全文 --
这篇文章最后更新于2021-7-29,已超过 1 年没有更新,如果文章内容或图片资源失效,请留言反馈,我们会及时处理,谢谢!
Spark Streaming 与flume的使用简单案例
« 上一篇
Spark Streaming 与 kafka的使用简单案例
下一篇 »
为了防止灌水评论,登录后即可评论!

HI ! 请登录
注册会员,享受下载全站资源特权。