下载和制作安装包
步骤 1: 准备工作
在开始下载SeaTunnel之前,您需要确保您已经安装了SeaTunnel所需要的以下软件:
- 安装Java (Java 8 或 11, 其他高于Java 8的版本理论上也可以工作) 以及设置
JAVA_HOME。
步骤 2: 下载 SeaTunnel
进入SeaTunnel下载页面下载最新版本的发布版安装包seatunnel-<version>-bin.tar.gz
或者您也可以通过终端下载
export version="3.0.0"
wget "https://archive.apache.org/dist/seatunnel/${version}/apache-seatunnel-${version}-bin.tar.gz"
tar -xzvf "apache-seatunnel-${version}-bin.tar.gz"
步骤 3: 下载连接器插件
从2.2.0-beta版本开始,二进制包不再默认提供连接器依赖,因此在第一次使用它时,您需要执行以下命令来安装连接器:(当然,您也可以从 Apache Maven Repository 手动下载连接器,然后将其移动至connectors/seatunnel目录下)。
sh bin/install-plugin.sh 3.0.0
如果您需要指定的连接器版本,以3.0.0为例,您需要执行如下命令
sh bin/install-plugin.sh 3.0.0
通常您并不需要所有的连接器插件,所以您可以通过配置config/plugin_config来指定您所需要的插件,例如,您只需要connector-console插件,那么您可以修改plugin.properties配置文件如下
--seatunnel-connectors--
connector-console
--end--
如果您希望示例应用程序能正常工作,那么您需要添加以下插件
--seatunnel-connectors--
connector-fake
connector-console
--end--
您可以在${SEATUNNEL_HOME}/connectors/plugins-mapping.properties下找到所有支持的连接器和相应的plugin_config配置名称。
如果您想通过手动下载连接器的方式来安装连接器插件,您只需要下载您所需要的连接器插件即可,并将它们放在${SEATUNNEL_HOME}/connectors/目录下
现在你已经完成了SeaTunnel安装包的下载和连接器插件的下载。接下来,您可以根据您的需求选择不同的运行模式来运行或部署SeaTunnel。
如果你使用SeaTunnel自带的SeaTunnel Engine(Zeta)来运行任务,需要先部署SeaTunnel Engine服务。参考SeaTunnel Engine(Zeta)服务部署
步骤 4: seatunnel-shade 相关jar包下载地址
从 3.0.0 版本开始,shade 模块已迁移到独立项目 seatunnel-shade。此变更带来以下好处:
- 独立版本管理:shade 项目可以独立发版,不再受主项目发版周期限制
- 缩短构建时间:从主项目中移除 shade 模块显著减少了编译时间
- 简化依赖管理:主项目现在直接使用 Maven Central 上预构建的 shade jar
可用的 shade jar
| artifactId | version | Maven |
|---|---|---|
| seatunnel-shade-hadoop3-uber | 3.1.4-3.0.0 | Maven |
| seatunnel-shade-hadoop-aws | 3.1.4-3.0.0 | Maven |
重要说明
当需要变更 shade jar 时,必须先发版 seatunnel-shade 项目。发版流程如下:
- 在 seatunnel-shade 项目中进行修改并合并
- 发布 shade 项目的新版本
- 在主 SeaTunnel 项目的
pom.xml中更新 shade 版本 - 然后发布主 SeaTunnel 项目
这确保 shade 依赖在主项目发版前已在 Maven Central 上可用。