当前位置: 首页 > news >正文

Flink常见数据源(source)使用教程(DataStream API)

前言

一个 Flink 程序,其实就是对 DataStream 的各种转换。具体来说,代码基本上都由以下几部分构成,如下图所示:

  • 获取执行环境(execution environment)
  • 读取数据源(source)
  • 定义基于数据的转换操作(transformations)
  • 定义计算结果的输出位置(sink)
  • 触发程序执行(execute)

本篇博客主要用DataStream API开发Flink常见的数据源开发。

在这里插入图片描述
Flink想要处理数据,先得有数据,所以首要任务就是把数据读进来。

Flink 可以从各种来源获取数据,然后构建 DataStream 进行转换处理。一般将数据的输入来源称为数据源(data source),而读取数据的算子就是源算子(source operator)。所以,source就是我们整个处理程序的输入端。

Flink 代码中通用的添加 source 的方式,是调用执行环境的 addSource()方法:

DataStream<String> stream = env.addSource(...);

方法传入一个对象参数,需要实现 SourceFunction 接口;返回 DataStreamSource。这里的
DataStreamSource 类继承自 SingleOutp


http://www.mrgr.cn/news/7386.html

相关文章:

  • MATLAB 生成指定范围、角度、厚度的含噪平面点云(77)
  • 类加载器(ClassLoader)
  • FastGPT+ollama 搭建私有AI大模型智能体工作流-Mac
  • TiDB-从0到1-TiCDC数据同步工具
  • 右值引用与左值引用
  • nginx和tomcat负载均衡,动静分离
  • mysqldump + python 定时备份数据库
  • 大杂烩!注意力机制+时空特征融合!组合模型集成学习预测!CNN-LSTM-Attention-Adaboost多变量负荷预测
  • 如何在 FastReport .NET 中构建和安装 Postgres 插件
  • 设计模式六大原则(三)--里氏替换原则
  • 基于深度学习的材料性能预测
  • [000-01-018].第3节:Linux环境下ElasticSearch环境搭建
  • 自动化立体仓库设施及设备:汇总总结
  • 【网络编程】第十一章 数据链路层 - 以太网(MAC+MTU+ARP+MSS+RARP)
  • Python优化算法11——螳螂优化算法(GOA)
  • Qt实现json数据的生成、解析、修改和删除
  • 复杂的编辑表格
  • JavaEE----Servlet过滤器
  • 从redis的set中随机取出一个元素,并且不做删除
  • 2024易航php加密平台PHP网站源码