大数据开发
覆盖数据采集、存储、计算与可视化全链路，从离线批处理到实时流计算，构建完整的数据工程能力。
大数据 四大核心方向
从数据进来到数据用出去，每个方向都有清晰的工程链路与典型组件。
DIRECTION / 01
数据采集与同步
用 Flume、Filebeat、Canal 与 CDC 工具把日志、数据库变更统一汇入 Kafka，构建可重放、可扩展的数据入口层。
DIRECTION / 02
离线批处理
基于 Hive 数仓分层与 Spark 批计算，构建 T+1 离线指标体系，理解 Shuffle 调优与数据倾斜治理。
DIRECTION / 03
实时流计算
用 Flink 实现 window、状态计算与 exactly-once，结合水位线处理乱序事件，构建秒级延迟的实时指标。
DIRECTION / 04
数据服务与可视化
用 ClickHouse、StarRocks 提供 OLAP 查询，配合 BI 看板把数据交付到业务决策环节，闭环数据价值。
大数据精选 深度文章
从计算引擎到数据湖，覆盖数据工程高频实战议题。
01Flink 状态管理与 Checkpoint 容错机制
拆解 Flink 的 Operator State、Keyed State 与 Checkpoint/Savepoint 原理，讲清 exactly-once 如何落地。
02Spark 内存模型与 Shuffle 调优实战
梳理 Spark 执行内存、存储内存划分，结合数据倾斜案例给出广播 join、加盐与分区分治的调优方案。
03数据湖方案选型：Iceberg vs Hudi vs Delta
对比三大数据湖方案的表格式、时间旅行与 upsert 能力，从流批一体与生态兼容角度给出选型建议。
04Hive 数仓分层建模与 SQL 优化实践
讲清 ODS/DWD/DWS/ADS 分层职责，结合 MapJoin、向量化与分区裁剪给出 SQL 性能优化清单。
05ClickHouse 亿级数据实时分析查询优化
从 MergeTree 系列引擎到分区、索引与物化视图，拆解 ClickHouse 高频查询的提速思路。
06实时数仓架构：Kafka + Flink + StarRocks 落地
用 Kafka 接入、Flink 计算写入、StarRocks 服务的三层架构，落地一套可查询可复用的实时数仓。