面向分布式生产系统的数据集成底座，具备容错、模式演进与多引擎执行能力，覆盖批处理、流处理、CDC、多模态与 AI 数据场景。
架构模式
SeaTunnel 负责抽取、轻量转换与装载，把重量级的下游转换保留给仓库或湖仓，让数据链路更清晰也更稳定。
为什么选择 SeaTunnel
容错、模式演进和多引擎扩展能力都按分布式生产环境要求设计。
SeaTunnel 能检测上游 Schema 变化并实时同步到下游，减少因为字段变更带来的人工迁移与任务中断。
# Before -> After (detected automatically) -- v1 schema ------------------------- id BIGINT name VARCHAR(255) -- v2 schema (auto-propagated) ------ id BIGINT name VARCHAR(255) email VARCHAR(512) NEW phone VARCHAR(32) ADDED
面向主流数据库的低延迟变更捕获，同时支持从批到流无缝衔接，并避免锁式切换。
基于 checkpoint 的容错保证任务在失败、重试与重启场景下仍保持数据一致性。
同一份 pipeline 定义可运行在 Zeta、Flink 或 Spark 上，无需重写连接器逻辑与交付链路。
数据集成层背后的六种机制。
拆分工作，让分片并行读取。
已分配的分片正穿过 3 个读取器。
JDBC 示例 · 分片分配取决于具体 source。
先完成快照，再捕获 binlog 变更。
正在读取已有行。
MySQL-CDC 示例 · startup.mode = initial
计算字段并筛选单条记录。
WHERE id > 0 · CONCAT(name, '_')
SQL 示例 · 表达式 + 行过滤
让每条记录走向正确的表路径。
表标识 → 匹配的目标端写入器。
逻辑路由 · 物理连接可能不同。
传播受支持的表结构变更。
schema-changes.enabled = true
Zeta 示例 · MySQL-CDC → JDBC MySQL
从已完成的 checkpoint 重新开始。
运行中 · source 与 sink 已连接。
Exactly-once 需要兼容的 source / sink 支持。
示意性流图，并非部署蓝图。生产行为取决于所选连接器、执行引擎和配置。
约 200 个原生连接器
覆盖数据库、消息系统、湖仓、搜索系统与对象存储等主流数据系统。
⭐️
# Real-time: MySQL CDC -> ClickHouse
env {
parallelism = 4
job.mode = "STREAMING"
checkpoint.interval = 10000
}
source {
MySQL-CDC {
hostname = "db.prod.internal"
username = "reader"
password = "${DB_PASS}"
database-names = ["orders"]
table-names = ["orders.events"]
base-url = "jdbc:mysql://db.prod.internal:3306"
}
}
transform {
Sql {
query = """
SELECT *, NOW() AS synced_at
FROM events WHERE status != 'deleted'
"""
}
}
sink {
ClickHouse {
host = "ch.analytics:8123"
database = "analytics"
table = events_realtime
primary_key = ["id"]
}
}