当前位置: 首页 > news >正文

flink周边使用技巧与汇总

文章目录

  • 一、flink侧边输出(数据分流)
  • 二、在重写方法中获取参数
  • 三、其他
      • 总结


提示:以下是本篇文章正文内容,下面案例可供参考。flink1.15+

一、flink侧边输出(数据分流)

二、在重写方法中获取参数

使用场景:在flink自定义sink时需要获取账号密码等信息,可以参数中获取

 @Overridepublic void open(Configuration parameters) throws Exception {super.open(parameters);RuntimeContext runtimeContext = getRuntimeContext();// 从配置中读取 信息String nodeUrls = runtimeContext.getExecutionConfig().getGlobalJobParameters().get("address");// 从配置中读取 用户名和密码username = runtimeContext.getExecutionConfig().getGlobalJobParameters().get("Username");password = runtimeContext.getExecutionConfig().getGlobalJobParameters().get("Password");//下面是业务处理}

核心是通过运行时上下文获取:runtimeContext.getExecutionConfig().getGlobalJobParameters().get("XXX");

三、其他

A).对sink 算子起别名

默认情况下sink 是没有名称的。例如下面这个sink多个外部数据库都是:Sink: Unnamed
KeyedProcess -> (Filter -> Process -> Sink: Writer -> Sink: Committer, Filter -> Sink: Unnamed, Filter -> Sink: Unnamed)可以通过.name("sink_Mysql")给sink起别名,知道此sink要写哪或目的。
DataStream.addSink(new 

http://www.mrgr.cn/news/9491.html

相关文章:

  • ES6笔记总结(Xmind格式):第三天
  • vue打包设置 自定义的NODE_ENV
  • StringRedisTemplate 删除某key开头的
  • 多个程序监听不同网卡的相同端口、相同网卡不同IP的相同端口
  • 【开发工具】Maven打包跳过Test命令详解:POM配置、IntelliJ IDEA集成与最佳实践
  • 企业高性能web服务器(nginx)
  • 学习前端面试知识(16)
  • 大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式
  • 【消息中间件】RabbitMQ
  • 人话学Python-元组
  • Java 选择排序算法
  • 微信小程序wxml与标准的html的异同
  • 5G+AI智慧校园解决方案
  • Vue 项目实战1-学习计划表
  • 安全可靠的国产自研数据库PolarDB V2.0,让数据库开发像“搭积木”一样简单
  • Git 常用命令说明
  • 天猫商品评论API:获取商品热门评价与最新评价
  • MySQL 系统学习系列 - SQL 语句 DML 语句的使用《MySQL系列篇-02》
  • linux系统使用 docker 来部署运行 mysql5.7 并配置 docker-compose-mysql.yml 文件
  • linux samba 安装与配置说明