当前位置: 首页 > news >正文

(三)Flink Source 数据源

Flink 数据源主要分为内置数据源和第三方数据源。其中内置数据源包含文件、Socket 连接、集合类型数据等,不需要引入其它依赖库。第三方数据源定义了 Flink 和外部系统数据交互的逻辑,Flink 提供了非常丰富的数据源连接器,例如 Kafka、Elasticsearch、RabbitMQ、JDBC 等。 

目录

(一)文件数据源

(二)Socket 数据源

(三)集合数据源

(四)外部数据源

(五)自定义数据源


(一)文件数据源

文件连接器提供了 BATCH 模式和 STREAMING 模式统一的 Source 和 Sink。Flink FileSystem Abstraction 支持连接器对文件系统进行(分区)读写。文件系统连接器为 BATCH 和 STREAMING 模式提供了相同的保证,而且对 STREAMING 模式执行提供了精确一次(Exactly-once)语义保证。

文件连接器支持对任意(分布式的)文件系统(例如,POSIX、S3、HDFS)以某种数据格式 (例如,Avro、CSV、Parquet) 对文件进行写入,或者读取后生成数据流或一组记录。

使用方法:
可以通过创建 FileSource.FileSourceBuilder 设置 File Source 的所有参数:

// 从文件流中读取文件内容
FileSource.forRecordStreamFormat(StreamFormat,Path...);   // 从文件中一次读取一批记录   
FileSource.forBulkFileFormat(BulkFormat,Path...);

http://www.mrgr.cn/news/1271.html

相关文章:

  • Navicat Premium Lite: 简化版的数据库管理和开发工具
  • 理解Flink数据流图
  • Spring之Bean的前世今生之BeanDefinition简介
  • Nginx反向代理和前后端分离项目打包部署
  • GFS分布式
  • RabbitMQ-消息队列延迟队列二
  • Leetcode每日刷题之209.长度最小的子数组(C++)
  • 【drools】8.44 例子ubuntu24.04 运行;IntelliJ 修复java: 错误: 不支持发行版本 5
  • 叉车里程表系统,统计车辆行驶里程,提升叉车使用效率!
  • C++:C/C++的内存管理
  • Linux下用vim打开超大文件方法
  • centOS和麒麟V10系统,mysql数据库移植
  • 8.18 day bug
  • 【分布式系统】关于主流的几款分布式链路追踪工具
  • C语言:for、while、do-while循环语句
  • 最小路径和[中等]
  • 十一、OpenCVSharp 中的图像的特征提取
  • Linux--传输层协议UDP
  • Linux服务器(CentOS)安装redis
  • 针对thinkphp站点的漏洞挖掘和经验分享