SeaTunnel 运行在 Spark 上
当你的团队已经稳定运行 Spark,并希望 SeaTunnel 作业融入现有的批处理或混合负载环境时,Spark 会是合适的选择。如果你只是从零开始评估 SeaTunnel,且没有必须使用 Spark 的前提,建议先从 SeaTunnel Engine 开始。
从这里开始
如果你的目标是让 SeaTunnel 跑在 Spark 上,建议按下面顺序阅读:
SeaTunnel 提供独立的 Spark 3 启动器。现有 Spark 3.3 部署可以继续使用原有运行时, Spark 3.5 部署则可以使用 Spark 3.5.8 启动器:
seatunnel-spark-3-starter.jar用于 Spark 3.3.xseatunnel-spark-3.5-starter.jar用于 Spark 3.5.x
现有 Spark 3.4 部署应继续使用原来的 seatunnel-spark-3-starter.jar 和
start-seatunnel-spark-3-connector-v2 启动脚本。本次变更不新增独立的 Spark 3.4
启动器,也不扩展其兼容性验证范围。
Spark 3.5 启动器复用了基于 Spark 3.3 编译的转换层。行编码器、批量写入和有界微批写入测试在 Spark 3.5.8 上验证了部分路径,但不能证明所有 Catalyst 或 DataSource V2 路径均兼容。 其他二进制兼容性问题可能仅在目标运行时执行相关路径时暴露。升级前请验证所用连接器 和部署模式。
Spark 3.5 公共启动器使用批处理的 read() 和 write().save() 执行路径,应使用批处理作业配置。
微批测试将有限的 Spark 文件流通过行编码器写入 SeaTunnel 流式 Sink 适配器,不覆盖 SeaTunnel
流式 Source、检查点恢复,或通过公共启动器提交流处理作业。Spark 3.5 连接器容器测试仅在定时
任务中运行(testInPR=false),普通 PR CI 不运行该运行时矩阵。
Spark 3.5 Windows .cmd 启动器仍将命令字符串传递给 spark-submit.cmd,未采用 Unix
启动器的参数文件协议。不支持包含嵌入引号或 Windows 命令解释器元字符的任意参数,
且尚未验证原生 Windows 启动器行为。请勿通过此启动器传入不可信的值;需要精确保留
参数时,请使用 Unix 启动器。
Windows 打包测试覆盖帮助输出、JVM 启动失败,以及打开包含空格、! 和 & 的带引号
配置路径。路径测试在配置解析错误处停止,不会提交 Spark 作业,因此不能证明
spark-submit.cmd 会精确保留参数。只有待验证版本的原生 Windows CI 通过后,
才能将这些启动器场景视为已验证。
Unix 打包测试运行真实的启动器 JVM,检查包含空格及单、双引号的路径参数是否完整保留。
该测试在 spark-submit 边界捕获参数,不会提交 Spark 作业。
什么时候选择 Spark
以下场景通常更适合使用 Spark:
- 团队已经在生产中运行 Spark 集群
- 周边任务主要以批处理为主
- 希望 SeaTunnel 与既有 Spark 生态和部署方式保持一致
Spark 专属配置如何写
Spark 专属作业参数写在 env 块中,并使用 spark. 前缀。
示例:
env {
spark.app.name = "example"
spark.sql.catalogImplementation = "hive"
spark.executor.memory = "2g"
spark.executor.instances = "2"
spark.yarn.priority = "100"
spark.dynamicAllocation.enabled = "false"
}
命令行示例
Spark on YARN 集群模式:
./bin/start-seatunnel-spark-3-connector-v2.sh --master yarn --deploy-mode cluster --config config/example.conf
Spark on YARN 客户端模式:
./bin/start-seatunnel-spark-3-connector-v2.sh --master yarn --deploy-mode client --config config/example.conf
使用 Spark 3.5 时,请使用 start-seatunnel-spark-3.5-connector-v2.sh,其他参数保持不变。
最小示例作业
下面这个例子会在 Spark 上运行,并把生成的数据打印到控制台。
env {
parallelism = 1
spark.app.name = "example"
spark.sql.catalogImplementation = "hive"
spark.executor.memory = "2g"
spark.executor.instances = "1"
spark.yarn.priority = "100"
spark.dynamicAllocation.enabled = "false"
}
source {
FakeSource {
plugin_output = "fake"
row.num = 16
schema = {
fields {
name = "string"
age = "int"
}
}
}
}
transform {
FieldMapper {
plugin_input = "fake"
plugin_output = "fake1"
field_mapper = {
age = age
name = new_name
}
}
}
sink {
Console {
plugin_input = "fake1"
}
}
如果你需要更多 transform 能力,继续查看 Transforms 目录 和 Transform 通用参数。
从源码仓库运行示例
如果你是在源码仓库里运行示例,对应模块是:
seatunnel-examples/seatunnel-spark-connector-v2-example
示例入口类是:
org.apache.seatunnel.example.spark.v2.SeaTunnelApiExample
下一步
- Spark 引擎快速开始
- Spark 转换层
- Transforms 目录
- 如果你还想和默认引擎对比,可回看 SeaTunnel Engine