首页 > 开源 > Apache SeaTunnel 3.1.0 发布:让生产任务更稳,也让部署更灵活

Apache SeaTunnel 3.1.0 发布:让生产任务更稳,也让部署更灵活

OSChina资讯 2026-11-19 11:08 3 阅读 查看原文

从 3.0.0 到 3.1.0,SeaTunnel 社区围绕一个很实际的问题继续推进:数据集成任务怎样更容易部署、更方便运维,同时尽量不丢数据、不悄悄改错数据?官方发布说明汇总了 395 个 PR 和 11 个新连接器。本次版本的主线并非单纯扩充连接器清单,而是加强 Zeta 引擎稳定性、Connector-V2 数据正确性,并补齐生产部署与排障能力。

升级前尤其要留意两项基础变化:运行环境最低要求从 Java 8 提升到 Java 11;此外,部分连接器、格式和转换逻辑的行为也更严格或更准确。它们带来的收益是减少静默错误,代价是升级前需要检查运行环境和存量配置。下面从五个重点展开。


重点一|Kubernetes 原生 Application Mode:任务级资源隔离

3.1.0 为 Zeta 引擎带来原生 Kubernetes Application Mode。每个作业可以独立部署专属 Master 和固定数量的 Worker;作业结束后,相关资源会自动清理。对于一次性批处理、临时数据加工,或多个团队共享集群的场景,这意味着任务可以按需申请资源,结束后及时释放,不必长期占用一组常驻执行节点。

这一版本也增强了 Kubernetes 场景的运维可见性:Web UI 可查看 Worker 资源快照;对象存储凭据可通过环境变量提供;Google Cloud Storage 可用于 checkpoint 与 IMap 存储。Helm Chart 默认关闭未认证的 Zeta REST API v1,并将默认 Prometheus 指标采集切至 REST API v2 对应端口,减少未经认证接口暴露的风险。

落到实际部署里,变化在哪? 对经常运行短任务或批量作业的团队,Application Mode 提供了更清晰的资源边界和回收机制;不过,上线前仍需验证 Kubernetes 资源配额、镜像、凭据注入和现有监控采集方式。


重点二|连接器扩展:覆盖更多消息、业务与文件入口

3.1.0 新增 11 个连接器:Azure Event Hubs、OceanBase CDC、SMB 文件、Google Analytics 4、Asana、Intercom、PayPal、Splunk、Typeform、Syslog 和 WebSocket。它们将云消息、数据库变更、共享文件、产品分析、客户服务和日志数据等更多来源接入 SeaTunnel 的统一同步流程。

已有连接器也继续扩展:Elasticsearch 支持 9.x,Iceberg 支持表格式 v3,BigQuery 支持 ADD COLUMN Schema Evolution;Amazon DynamoDB 与 OpenMLDB 补充多表读取。LocalFile 支持追加式文本持续读取,ActiveMQ Source 增加 checkpoint 感知能力,RFC 5424 Syslog Sink 支持 TLS。对于常用连接器,MongoDB、Kafka、ClickHouse、Neo4j、RabbitMQ 和 Redis 等新增或扩展了 dry-run 连通性检查,便于把配置与网络问题前移到任务启动前发现。

落到实际接入里,变化在哪? 新系统接入不再总要先自建一次性采集脚本;而 dry-run、TLS 与 checkpoint 感知等配套能力,则让 "连得上" 之外的安全性和运行行为也更容易验证。


重点三|数据正确性优先:把过去不易察觉的问题显式化

这次发布说明把 Connector-V2 数据正确性列为重点。若干修复瞄准了 "作业看起来成功,结果却不完整或不准确" 的问题:非 XA、手动提交的 JDBC Sink 在未提交数据丢失时不再继续完成 checkpoint,而是让任务失败并从成功 checkpoint 恢复;MySQL JDBC Sink 写入 DATETIME 时保留本地日期时间字段,避免 JVM 与连接时区不同造成偏移;Lance Sink 保留 TIMESTAMP 的微秒精度。

CDC 路径也更谨慎:MySQL、PostgreSQL、Oracle、SQL Server、DB2 等 JDBC CDC Source 不再用可空列切分快照,避免 NULL 行落在所有分片范围之外而被漏读。PostgreSQL CDC 使用 pgoutput 时,Source Schema 会遵循 publication 实际发布的列;HTTP Sink 遇到非 200 响应或请求异常会抛出错误,不再记录日志后继续运行、把失败数据静默丢掉。

落到数据核对里,变化在哪? 有些原先 "带着错误继续跑" 的场景,现在会明确失败,要求修正配置或从 checkpoint 恢复。这可能增加可见的失败次数,却更有利于守住数据完整性;重试 HTTP Sink 等任务时,还要考虑成功写入过的记录可能再次投递。


重点四|Zeta 与多表处理:恢复、排障和吞吐再向前一步

Zeta 持续强化故障恢复:Master 故障切换时,作业会从自身最近一次 checkpoint 恢复;Worker 故障恢复后,新的 pipeline attempt 指标从零重新计数,避免把失败尝试中已取消的工作也累计进最终指标。WAL 恢复内存占用得到优化,checkpoint monitor 历史大小可配置,checkpoint 历史还能帮助诊断任务逐渐变慢的原因。

多表 Sink 方面,timer flush 可并行执行,MultiTableSinkWriter 减少队列交接开销,并统一使用 bucket 索引进行路由。REST 日志内容接口默认最多返回 64 MB,避免一次读取大型日志造成节点堆内存压力;超过限制时返回日志尾部。CLI 对任务失败的结构化解析和根因保留也有所增强,排障时更容易找到真正的失败原因。

落到日常运维里,变化在哪? 故障恢复和诊断线索更完整,多表写入路径也减少了一些额外开销;但依赖 REST 接口完整下载超大日志的归档流程,需要检查默认 64 MB 限制并按需调高。


重点五|转换与格式:SQL 更丰富,类型边界更可靠

Transform-V2 增加 GET_JSON_OBJECT、MD5、AES_ENCRYPT / AES_DECRYPT 等 SQL 函数;Metadata transform 可读取连接器声明的元数据字段,LLM 布尔输出增加可选校验。Zeta SQL 对普通列投影增加快速路径,Debezium JSON 序列化减少对象分配并提升吞吐。

更值得注意的是数值与容器类型处理趋于严格:JSON 的 ARRAY/MAP 字段收到错误容器类型时,不再悄悄变成空数组或空 Map;SQL 将越界数值 CAST 为 INT/BIGINT 时,不再静默回绕;整数与 DECIMAL 的部分比较、数组极值计算保留更高精度。它们会让部分历史上 "有结果但结果不对" 的任务改为报错或得出不同结果,升级前应使用真实样例回归。

落到转换链路里,变化在哪? 对格式正确、数值范围正常的数据基本无须额外操作;但过去依赖隐式类型转换、越界回绕或错误 JSON 结构的配置需要显式修正,必要时使用 TRY_CAST 或开启适当的解析错误处理。


升级前先确认运行环境

3.1.0 的 Java 最低运行版本从 8 提升到 11,官方构建基线为 Java 11,并在 JDK 17 上编译和测试。注意这不是只升级提交任务的客户端:Zeta Master/Worker,以及加载 SeaTunnel connector class 的 Flink JobManager/TaskManager 或 Spark Driver/Executor,都需要 Java 11 或更高版本。Flink 需使用支持 Java 11 的版本;Spark 建议使用 Spark 3.x。自定义 jvm_options 还需检查 Java 11 已移除的参数,例如 -XX:+UseConcMarkSweepGC 和 -XX:MaxPermSize。

更完整的行为变化和迁移建议见文末附录。建议先在测试环境验证 Java 与计算引擎版本、存量配置、数据样例和 checkpoint 恢复,再逐步切换生产任务。


一起把 3.1.0 用稳

SeaTunnel 3.1.0 的价值,落在更灵活的 Kubernetes 部署、更广的连接器覆盖,以及对数据正确性和故障恢复的持续加固。升级不仅是换一个版本号,也是一轮检查运行时、配置和下游数据假设的机会。

欢迎在 GitHub Issue、Pull Request 和社区邮件列表中分享升级反馈与使用场景。遇到异常行为时,附上最小配置、引擎版本、日志片段和复现步骤,会更容易帮助社区快速定位。

完整 Release Note:https://github.com/apache/seatunnel/blob/3.1.0/release-note.md 下载页面:https://github.com/apache/seatunnel/releases


致谢|SeaTunnel 3.1.0 贡献者

本版本 Release Manager:Zhiwei Niu

感谢所有参与 SeaTunnel 3.1.0 开发、测试、文档和社区协作的贡献者。以下为本版本贡献者名单(官方 Release Note 原文排名不分先后):

贡献者: 88fantasy、Arvin、chovygo、Claire、corgy-w、Daniel、Daniel Carter、David Zollo、Doyeon Kim、FatMan、Gangavarapu Vivek、Goutam Adwant、Guobin Sun、Gökhan Elbistan、hutiefang76、inchang-ing、JacobZheng0927、Jast、JeremyXin、jinniiii233、Joel Shearon、José Guilherme Souza、junvelop、Kareem Ahmed、Karthik Thota、kta1kri。

Li Haodong、Li Zhi、lifeng、lw、MOBIN、nankeChen75、NganWave、Nikhil kumar、Palm、Pravin Jaywantrao Maske、Rango、Ricky Makhija、Rishavbhattarai、Ryan Yang、Saloni Gupta、Satyam Pandey、Sepuri Sai Krishna、SEZ、shown、Steven Zhao、Stochastic、Sudarshan Kumar Kaushik、sunoj、Supidan、surafel。

Tengri、TianHengZhuang、tzy、WPNG、xuepeng、Yiğitcan Öztürk、Yu, Wang、yusiwen、yuzhou、yzeng1618、zhangdonghao、zhengxiang378928908-code、zhiweiniu、ZIHAN DAI、zzk、雷炯。


附录|破坏性变更与迁移说明

官方兼容性文档列出了 3.1.0 的多项行为变化。下面聚焦会影响运行环境、配置、数据类型或升级结果的项目;升级前应结合原文逐项确认。

A. 运行环境与部署

  1. 最低 Java 版本:8 → 11。 全部分发包、Zeta 节点和加载 SeaTunnel connector class 的计算引擎都需要 Java 11 或更高版本。Spark 2.x 没有正式支持 Java 11 的版本,建议迁至 Spark 3.x;Flink 集群的 JobManager/TaskManager 也要一并升级 JVM。自定义 JVM 参数中移除 CMS、PermGen 等 Java 11 不再接受的选项。旧 config/ 目录无需手工补入脚本自动追加的模块开放参数。
  2. Kubernetes Helm Chart 默认关闭未认证 REST API v1。 如监控仍从 Hazelcast 5801 端口采集指标,需改为 REST API v2 / Jetty 8080 端口的 /metrics。客户端应使用 REST API v2。
  3. Application Mode 内部 API 有不兼容调整。 自定义资源管理器实现需适配 ResourceManagerFactory、ResourceManagerDriver 新接口;覆盖 AbstractResourceManager.close() 的实现需要迁移清理逻辑至 closeResourceManager()。
  4. Zeta REST 日志接口默认限制 64 MB。 超过限制时接口仍返回 200,但只保留日志尾部。需要完整归档日志的调用方应设置 seatunnel.engine.http.log-response-max-size-mb,0 表示不限制;一般建议设置合理上限,避免大日志占满节点堆内存。
  5. 原生 CLI 帮助退出码调整。 seatunnel.sh -h 从 234 改为 0;依赖退出码 234 判断帮助信息的脚本需调整。Spark/Flink Java launcher 协议仍使用 234,其 wrapper 会继续转换为 0。

B. 配置、连接器与格式

  1. Doris Source 参数键更名。 将错误旧键 doris.request.retriesdoris.deserialize.queue.size 改为 doris.deserialize.queue.size;默认值仍为 64。只影响显式配置过旧键的任务。
  2. RabbitMQ amqps:// 现在校验证书与主机名。 使用自签名或私有 CA 的部署需把证书链导入 SeaTunnel JVM trust store,或改用 host / port 加 ssl = true 并正确配置 trust store。
  3. Redis 命名用户认证改变。 配置非空 user 时,SINGLE 与 CLUSTER 都使用该用户认证;SeaTunnel 不再创建或修改 ACL 用户。升级前需自行创建并授权用户,涵盖连接器需要的 INFO、SINGLE 模式的 SELECT、CLUSTER 模式的 CLUSTER SLOTS 等命令。若继续使用 default user,移除 user 并保留密码配置。
  4. HTTP Sink 失败不再静默丢弃。 非 200 响应、网络错误、超时或序列化错误现在会使任务失败。接收端若会正常返回非 200,需在 Sink 前处理或增加外部重试;任务重启可能重发已成功写入的记录,接收端应具备幂等能力。
  5. JSON 数值字段序列化依据运行时值类型。 Kafka、RabbitMQ、Pulsar、文件等使用 JSON 格式的 Sink 均可能受影响。下游若假设 JSON 数字形态始终由 catalog 声明类型决定,应检查多表或异构类型数据;无法表示或解析的值会明确报类型错误。
  6. JSON 的 ARRAY/MAP 类型校验更严格。 ARRAY 必须收到 JSON 数组,MAP 必须收到 JSON 对象;错误值会报解析错误。可按需求修正输入,或设置 ignore-parse-errors = true,此时错误容器值变为 null。JsonPath、Python Transform 与 Assert Sink 的对应类型转换不受该选项控制,仍可能失败。
  7. table_transform 逐项在提交时校验。 每条规则都必须有非空 table_path,并构成完整的单表规则。清除过期项、补齐字段;只使用 table_transform 而无顶层规则仍可支持。
  8. Assert Sink 的 column_rule.sink_type 会与实际列类型核对。 移除错误声明,或改成目标列真实类型。
  9. SMB/Markdown 等 schema 行为有变化。 Markdown 文件 Source 的 child_ids 从 STRING 改为 ARRAY<STRING>;叶子节点现在输出空数组。下游 schema 和消费逻辑应同步调整。
  10. XML 文件 Sink 开始应用日期时间格式选项。 默认时间戳格式为 yyyy-MM-dd HH:mm:ss,不再保留旧的 T 和小数秒形式。若下游依赖 ISO 8601 格式,显式设置 datetime_format,并让 Source 使用匹配格式。
  11. Dameng NVARCHAR/NVARCHAR2 长度按字符数报告。 自动建表列宽可能缩小;若依赖宽列向同一目标写入更长数据,请自行预建目标表。DuckDB BIT/ENUM 无长度时也不再套用旧的 1/255 默认长度,自动建表可能改用 LONGTEXT/text;MySQL 主键场景需预建有界列。
  12. Doris Sink 的 TIMESTAMP_TZ 转换到目标时区。 建议显式设 sink.datetime-timezone 为 Doris session 时区,并核对 JVM 默认时区不同情况下的既有数据。Lance Sink 保留微秒精度;同一数据集可能混有旧版本毫秒精度和新版本微秒精度记录。

C. CDC、SQL 与数据校验

  1. CDC 快照不再使用可空列切分。 MySQL、PostgreSQL、Oracle、SQL Server、DB2 CDC 会跳过可空切分列;没有可用的非空键时改为单分片。exactly_once = true 且没有非空主键 / 唯一键时会启动失败。配置非空唯一列或修正表约束以保留并行切分。
  2. PostgreSQL pgoutput Schema 遵循 publication。 未发布列不再进入 Source Schema;检查 publication、主键列、下游表结构和字段映射,保证所需键列确实被发布。
  3. MySQL-CDC 可空唯一键列保留 NULL。 对没有主键的表,CDC 不再把 NULL 替换为类型默认值。下游对应列应允许 NULL;不要将可空列用作 Sink 主键。由旧 checkpoint 恢复的表可能继续保留旧 schema 行为。
  4. SQL 数值转换不再静默溢出。 CAST 到 INT/BIGINT 越界时现在报错;需要容错时使用 TRY_CAST。整数与 DECIMAL 的比较、IN 判断及 ARRAY_MIN / ARRAY_MAX 在满足类型条件时会更精确,筛选结果可能与旧版本不同。
  5. 向量运算提高中间精度。 VECTOR_NORM、INNER_PRODUCT、COSINE_DISTANCE、L1_DISTANCE、L2_DISTANCE、VECTOR_NORMALIZE 的部分结果会改变。依赖历史阈值或已计算向量指标的任务,建议重放样例并复核阈值。
  6. Zeta SQL ARRAY 中 TINYINT 元素 schema 改为 ARRAY<TINYINT>。 下游若依赖旧 ARRAY<STRING>,需显式转换 SQL 结果或更新 schema;不要直接复用依赖旧声明的状态。
  7. DataValidator 的 LENGTH 对数组按元素数计数。 曾按旧行为调整过数组长度阈值的规则需重新检查。
  8. Zeta REST 分页参数校验加强。 page 与 rows 必须为正整数,溢出的分页偏移会被拒绝;调用方不要再依赖 rows=0 返回空页。
  9. Replace Transform 在 schema refresh 后重新解析字段位置。 若配置字段被删除或重命名,任务会明确失败;升级前同步更新 replace_fields。
  10. Zeta 指标在 pipeline failover 后从新尝试重新计数。 这不是数据丢失;需要跨故障累计生命周期总量的监控,应在作业外部聚合历史指标。
  11. -i 用户变量解析规则收紧。 值不再写入 System.getProperties();重复键、空键报错;首尾空格会裁剪;双引号会剥除。以 {} 或 [] 开头且内容不符合 HOCON/JSON 的普通字符串,应按文档转义双引号传入。
  12. 文件型 IMap WAL 兼容性有方向性。 新版可读取 SeaTunnel 3.0 类名迁移之前的旧 WAL;但新版写出的 WAL 不保证旧版本可读。若要降级,需提前规划持久化 WAL 的处理,不要直接回滚二进制。