当前位置: 首页 > news >正文

(四)Flink Transformation 数据转换

用户通过算子能将一个或多个 DataStream 转换成新的 DataStream,在应用程序中可以将多个数据转换算子合并成一个复杂的数据流拓扑。 这部分内容将描述 Flink DataStream API 中基本的数据转换 API。

目录

Map(DataStream → DataStream)

FlatMap(DataStream → DataStream)

Filter(DataStream → DataStream)

KeyBy(DataStream → KeyedStream)

Reduce(KeyedStream → DataStream)

Aggregation(KeyedStream → DataStream)

Union(DataStream* → DataStream)

Connect (DataStream,DataStream → ConnectedStream)

CoMap, CoFlatMap (ConnectedStream → DataStream)


Map(DataStream → DataStream)

输入一个元素同时输出一个元素,下面是将输入流中元素数值加 5 倍的例子:

import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;import java.util.Arrays;public class TransformationExample_1 {public static void main(String[] args) throws Exception{StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();env.setParallelism(1);DataStream<Integer> dataStream = env.fromData((Arrays.asList(11,12,13)));// map 使用,对应获取的数据 * 5,并打印出来dataStream.map(new MapFunctio

http://www.mrgr.cn/news/7587.html

相关文章:

  • 小型空气净化器可以除猫毛吗?宠物空气净化器评测推荐
  • webflux源码解析(3)-reactor netty
  • 回归预测|基于北方苍鹰优化混合核极限学习机的数据预测Matlab程序NGO-HKELM 多特征输入单输出
  • 【JavaEE初阶】IP协议
  • 如何在不格式化的情况下解锁Android智能手机密码
  • 【线性相关 vs 双变量回归】数据点在斜率周围的聚集程度与斜率本身并不是一回事。
  • Centos7升级Docker版本
  • 数据结构-线性表-单链表
  • Docker 存储空间不足无法导入加载镜像
  • 旧衣回收小程序系统,为市场发展提供新模式
  • 【python】pytest可选项
  • 8/23工作笔记
  • springboot3.2.8【security登录认证】
  • C++ 内存布局 - Part4: 多继承与this指针调整
  • VScode误删文件恢复或恢复之前版本记录
  • ffmpeg快速切割视频
  • Spring 中StaticListableBeanFactory
  • PostgreSQL的pg_dump测试
  • C语言函数介绍(上)
  • webpark 如何将本地访问地址http://localshot:3000修改为自己需要的访问地址https://www.example.com:3000