跳到主要内容
版本:Next

数据转换总览

Transform 位于 source 和 sink 之间,用来做字段映射、过滤、SQL 处理、表级编排等中间加工。第一次上手时,不需要先把所有 transform 都看完;更合适的顺序是先确定数据从哪来、写到哪去,再回来选择需要的转换能力。

先按目标找入口

目标推荐入口
先理解 transform 如何连接数据集转换通用参数
做行过滤或字段裁剪数据过滤(Filter)字段映射(Field Mapper)
用 SQL 表达式处理数据SQL 转换SQL 函数
重命名或重组字段字段重命名(Field Rename)字段拆分(Split)
处理多表链路多表转换(Transform Multi Table)表合并(Table Merge)

新用户推荐顺序

  1. 先看通用参数页,把 plugin_inputplugin_output 的作用理解清楚。
  2. 先选择最简单、最贴近目标的 transform,再进入 SQL 或多表编排。
  3. 每次只新增一个 transform 步骤,让整条 pipeline 在验证时保持可读、可排障。