在 Bash 或 Fish shell 中使用 JQ 拆分/分块 JSON 文件？

Question

我一直在使用美妙的JQ 库来解析和提取 JSON 数据以方便重新导入。 我能够很容易地提取一个范围，但我不确定如何在脚本中循环并检测文件的结尾，最好是在 bash 或 fish shell 脚本中。

给定一个包裹在“结果”字典中的 JSON 文件，我如何检测文件的结尾？

从测试中，我可以看到我将得到一个嵌套在我想要的结构中的空数组，但是如何检测文件结束条件？：

jq '{ "results": .results[0:500] }' Foo.json > 0000-0500/Foo.json

谢谢！

Answer 1

我建议使用 jq 将数组拆分为您想要的 JSON 对象流（每行一个），然后使用其他工具（例如 awk）来填充文件。 以下是第一部分的完成方式：

def splitup(n):
  def _split:
    if length == 0 then empty
    else .[0:n], (.[n:] | _split)
    end;
  if n == 0 then empty elif n > 0 then _split else reverse|splitup(-n) end;

# For the sake of illustration:
def data: { results: [range(0,20)]};

data | .results | {results: splitup(5) }

调用：

$ jq -nc -f splitup.jq
{"results":[0,1,2,3,4]}
{"results":[5,6,7,8,9]}
{"results":[10,11,12,13,14]}
{"results":[15,16,17,18,19]}

对于第二部分，您可以（例如）将 jq 输出通过管道传输到：

  awk '{ file="file."++n; print > file; close(file); }'

您可能感兴趣的一个变体让 jq 过滤器在交替行上同时发出文件名和 JSON； awk 脚本也会读取文件名。