flink+flinkcdc+同步(MYSQL到MYSQL)实践

flink+flinkcdc+同步MYSQL到MYSQL

目标

• 通过Flink +FlinkCDC实现MYSQL到MYSQL的同步【单表，多表】

运行环境

mysql8.0.3 | flink-1.13.2 | flink-connector-jdbc_2.11-1.13.2.jar |flink-sql-connector-mysql-cdc-2.1.0.jar

前置条件

开启bin_log日志 以及设置bin_log格式=ROW，不熟悉的请参考作者mysql 如何开启bin_log日志的文章

步骤

要在 Apache Flink 中使用 MySQL CDC 连接器来同步 MySQL 数据库到另一个 MySQL 数据库，你需要下载相关的 JAR 文件。下面是获取所需 JAR 文件的步骤：

步骤 1: 获取 Flink 和 Flink CDC 连接器 JAR 文件

1. 下载 Apache Flink:

   • 访问 Apache Flink 官方网站 并下载适合你系统的 Flink 版本。

   • 解压下载的文件到一个目录，例如 /opt/flink。