过滤器
过滤器转换插件
描述
过滤字段
属性
名称 | 类型 | 是否必须 | 默认值 |
---|---|---|---|
include_fields | array | no | |
exclude_fields | array | no |
include_fields [array]
需要保留的字段列表。不在列表中的字段将被删除。
exclude_fields [array]
需要删除的字段列表。不在列表中的字段将被保留。
注意,include_fields
和 exclude_fields
两个属性中,必须设置一个且只能设置一个
common options [string]
转换插件的常见参数, 请参考 Transform Plugin 了解详情
示例
源端数据读取的表格如下:
name | age | card |
---|---|---|
Joy Ding | 20 | 123 |
May Ding | 20 | 123 |
Kin Dom | 20 | 123 |
Joy Dom | 20 | 123 |
我们想要保留字段 name
, card
,我们可以像这样添加 Filter
转换:
transform {
Filter {
source_table_name = "fake"
result_table_name = "fake1"
include_fields = [name, card]
}
}
我们也可以通过删除字段 age
来实现, 我们可以添加一个 Filter
转换,并设置exclude_fields:
transform {
Filter {
source_table_name = "fake"
result_table_name = "fake1"
exclude_fields = [age]
}
}
那么结果表 fake1
中的数据将会像这样:
name | card |
---|---|
Joy Ding | 123 |
May Ding | 123 |
Kin Dom | 123 |
Joy Dom | 123 |
更新日志
新版本
- 添加过滤转器换连接器