使用jq从任意嵌套的json数据中提取所有唯一键

Question

如主题所述，我的目标是编写all_keys函数以从任意嵌套的json blob中提取所有键，并根据需要遍历所包含的数组和对象，并输出一个包含键的数组，而不重复。

例如，给定以下输入：

[
    {"name": "/", "children": [
      {"name": "/bin", "children": [
        {"name": "/bin/ls", "children": []},
        {"name": "/bin/sh", "children": []}]},
      {"name": "/home", "children": [
        {"name": "/home/stephen", "children": [
          {"name": "/home/stephen/jq", "children": []}]}]}]},
    {"name": "/", "children": [
      {"name": "/bin", "children": [
        {"name": "/bin/ls", "children": []},
        {"name": "/bin/sh", "children": []}]},
      {"name": "/home", "children": [
        {"name": "/home/stephen", "children": [
          {"name": "/home/stephen/jq", "children": []}]}]}]}      
]

all_keys功能应该产生以下输出：

[
  "children",
  "name"
]

为此，我设计了以下函数，但它的速度令人费解，所以我想知道您是否可以提出一种更简洁，更快速的方法来获得相同的结果。

def all_keys: 
    . as $in |
    if type == "object" then 
        reduce keys[] as $k (
            [];
            . + [$k, ($in[$k] | all_keys)[]]
        ) | unique
    elif type == "array" then (
        reduce .[] as $i (
            [];
            . + ($i | all_keys)
        ) | unique
    ) 
    else
        empty
    end
;

作为参考，在我的Intel T9300@2.50GHz CPU上在53MB json文件上运行该功能大约需要22秒（我知道，它很古老，但仍然可以正常工作）。

Answer 1

天真的方法只会收集所有键并获得唯一值。

[.. | objects | keys[]] | unique

但是对于这些数据，由于需要收集和排序密钥，因此有点慢。

我们可以做得更好。 由于我们试图确定所有不同的键，因此我们将使用某种哈希表来提高效率。 好吧，我们有可以充当对象的对象。

reduce (.. | objects | keys[]) as $k ({}; .[$k] = true) | keys

我没有测量时间，但是比其他版本快很多。 我什至没有等到另一个完成，这在我的工作计算机（i5-2400@3.1GHz）上不到10秒就可以完成。

Answer 2

我认为您会发现OP的all_keys的以下变体实际上比使用..的版本稍快.. 这可能是可以预期的-对于jeopardy.json， ..总共生成1,731,807个JSON实体，而只有216,930个JSON对象：

def all_keys:
  def uniquely(f): reduce f as $x ({}; .[$x] = true) | keys;
  def rkeys:
    if type == "object" then keys[] as $k | ($k, (.[$k]|rkeys))
    elif type == "array" then .[]|rkeys
    else empty
    end;
  uniquely(rkeys);