本教程详细讲解如何使用 Jolt shift 转换从多层嵌套的 json 结构中提取特定数据，并将其重构为一个扁平的 JSON 对象数组。文章通过实例分析，深入探讨了 Jolt 中 @、& 和 [#] 等高级操作符的用法，以及如何通过多阶段转换实现复杂的数据重塑，最终达到收集所有层级项并调整属性名称的目标。
在处理复杂的 json 数据时，我们经常面临需要将深层嵌套的数据扁平化，或从不同层级收集特定信息并重构为统一格式的挑战。jolt 库提供了一套强大的 json 转换工具，特别是其 shift 操作，能够灵活地实现这类数据重塑。
数据转换挑战
假设我们有以下嵌套的 JSON 输入数据，其中 item 字段可以包含多层嵌套的 item 数组：
{ "item": [ { "ac": "i", "id": "c5b9e16076fe4faaaace5c7d0cbe0d9b", "foo": { "id": "c5b9e16076fe4faaaace5c7d0cbe0d9b", "nn": "de38c8a2e6a844d1a9dd7a573eedee15" }, "item": [ { "ac": "y", "id": "c5b9e16076fe4faaaace5c7d0cbe0d9b", "foo": { "id": "c5b9e16076fe4faaaace5c7d0cbe0d9b", "nn": "b1754500dde646f1af495814fcd2d65e" } }, { "id": "r", "ac": "ac", "foo": { "id": "c5b9e16076fe4faaaace5c7d0cbe0d9b", "nn": "bfb5550a6d754892b313ab9dd8604725" } } ] } ] }
我们的目标是从所有层级的 item 对象中提取 ac 和 foo.nn 字段，并将它们重构为一个扁平的 JSON 对象数组，每个对象包含 ac 和 foo.nn 属性。期望的输出格式如下：
[ { "ac": "y", "foo": { "nn": [ "b1754500dde646f1af495814fcd2d65e" ] } }, { "ac": "i", "foo": { "nn": "de38c8a2e6a844d1a9dd7a573eedee15" } }, { "ac": "ac", "foo": { "nn": "bfb5550a6d754892b313ab9dd8604725" } } ]
请注意，在上述期望输出中，nn 字段有时是字符串，有时是单元素数组。在实际的 Jolt 转换中，为了保持数据类型的一致性，通常会将其统一为数组形式。
Jolt 核心概念回顾
在深入解决方案之前，我们先回顾 Jolt shift 操作中几个关键的操作符：
- shift 操作: shift 是 Jolt 中最常用的操作，用于将输入 JSON 的数据结构映射到输出 JSON 的新结构。它通过键值对来定义映射规则，其中键是输入路径模式，值是输出路径。
- @ 操作符: 用于引用输入 JSON 中特定路径或层级的值。例如，@(1,field) 表示向上追溯一层，获取 field 字段的值。这对于动态创建输出路径或获取非当前匹配路径的值非常有用。
- & 操作符: 这是一个通配符，表示当前匹配到的键或值。
- 当作为输入路径的一部分时，& 匹配任何键名。
- 当作为输出路径的一部分时，& 表示当前匹配到的输入键名。
- &N (例如 &1, &2) 表示从当前匹配位置向上追溯 N 层，获取该层级的键名。
- [#] 操作符: 用于将值强制转换为数组，并可选地指定数组索引。例如，[#0] 表示将其放入数组的第一个位置。[#1] 表示放入数组的第二个位置，如果该位置之前为空，则可能产生 NULL 填充。如果只希望确保是数组而不关心具体索引，通常直接使用 [] 或 [#]。
- 多阶段转换: 复杂的转换往往需要多个 Jolt 转换操作（例如 shift, default, cardinality 等）按顺序执行。每个操作的输出作为下一个操作的输入。
解决方案详解
为了实现上述目标，我们将采用两阶段的 Jolt shift 转换。
第一阶段转换：数据收集与初步重构
第一阶段的目标是遍历所有层级的 item 数组，提取所需的 ac 和 foo.nn 字段，并将每个 item 对象的数据组织成一个以其 ac 值为键的临时结构。
[ { "operation": "shift", "spec": { "item": { "*": { // 处理第一层 item "item": { "*": { // 处理第二层 item "item": { "*": { // 处理第三层 item (如果存在) "ac": "@(1,ac).&", "foo": { "nn": "@(2,ac).&1[#1].&" } } }, "ac": "@(1,ac).&", "foo": { "nn": "@(2,ac).&1[#1].&" } } }, "ac": "@(1,ac).&", "foo": { "nn": "@(2,ac).&1[#1].&" } } } } }, // ... 第二阶段转换 ]
解析第一阶段 Spec:
- *递归路径匹配 item -> `
© 版权声明
文章版权归作者所有，未经允许请勿转载。
THE END
