用 awk 替换大量输入中的空格分隔数字序列

Question

当这些序列跨越多行并且输入太大而无法放入 RAM 时，如何替换以空格分隔的数字序列。

一个示例是：

112 3
4 6 7 
 8  9 12  0  3
4 15   255 13
10 6
7 8 199 9
0 13 

从那我想：

• 用&替换3 4
• 将6 7 8替换为9
• 将9替换为空
• 用\000替换0
• 用10替换13 10

预期的 output 将是（每行一个数字或替换）：

112
&
9

12
\000
&
15
255
10
9
199

\000
13

我正在尝试使用awk来实现，但我很难用伪 B 树实现动态 state 机器：

tr -s '[:space:]' '\n' < input.txt |
awk '
    BEGIN {
        for (i = 2; i < ARGC; i += 2) {
            n = split(ARGV[i], arr)
            k = ""
            for (j = 1; j <= n; j++) {
                k = j SUBSEP k SUBSEP arr[j]
                Tree[k]
            }
            Tree[k] = "$" ARGV[i+1] #=> now possible to test "if (Tree[k])"
            delete ARGV[i]
            delete ARGV[i+1]
        }
    }
    {
        Key = (int(Key) + 1) SUBSEP Key SUBSEP $1
        if ( Key in Tree ) {
            if (Tree[Key])
                print substr(Tree[Key],2)
            else
                Buffer = Buffer $1 "\n"
        } else {
            print Buffer $1
            Buffer = ""
            Key = ""
        }
    }
' - \
  '3 4' '&' \
  '6 7 8' '9' \
  '9' '' \
  '0' '\000' \
  '13 10' '10'

---

当前代码的工作原理

我正在模拟具有以下格式的数组和键的B 树：

• 从中间到左边是连续的深度
• 从中间到右边是连续的值

当Tree中存在键时：

• 如果它没有关联的值，那么它就是一个节点
• 如果有值，那么它就是一片叶子

因此，对于当前的输入参数， Tree数组的内容将是：

# from param: "3 4"
Tree[  1,"",3  ]
Tree[2,1,"",3,4] = "$&"

# from param: "6 7 8"
Tree[    1,"",6    ]
Tree[  2,1,"",6,7  ]
Tree[3,2,1,"",6,7,8] = "$9"

# from param: "9"
Tree[1,"",9] = "$"

# from param: "0"
Tree[1,"",0] = "$\000"

# from param: "13 10"
Tree[  1,"",13   ]
Tree[2,1,"",13,10] = "$10"

Answer 1

FWIW我会通过根据您想要的映射确定您可能需要搜索的最大记录数来解决这个问题，保留该记录数的滚动缓冲区，然后对每个缓冲区进行比较部分，例如：

$ cat tst.awk
BEGIN {
    RS = "[[:space:]]+"
    map("3,4"   , "&")
    map("6,7,8" , "9")
    map("9"     , "")
    map("0"     , "\\000")
    map("13,10" , "10")
}
{ buf[((NR-1) % maxRecs) + 1] = $0 }
NR >= maxRecs { prt() }
END { prt() }

function prt(   nr,sep,str) {
    for ( nr=NR-maxRecs+1; nr<=NR; nr++ ) {
        str = str sep buf[((nr-1) % maxRecs) + 1]
        sep = ORS
    }

    print ">>>>" ORS str ORS "<<<<"

    # Replace the above with something that loops through the
    # strings you want replaced, e.g.
    #
    # for ( mapNr=1; mapNr<=numMaps; mapNr++ ) {
    #     old = olds[mapNr]
    #     if ( str ~ old ) {    # add something to avoid partial matches
    #         new = news[mapNr]
    #         replace old with new in the output
    #     }
    # }
}

function map(old,new,   numRecs) {
    ++numMaps
    numRecs = gsub(/,/,ORS,old) + 1
    maxRecs = ( numRecs > maxRecs ? numRecs : maxRecs )
    olds[numMaps] = old
    news[numMaps] = new
}

$ awk -f tst.awk file
>>>>
112
3
4
<<<<
>>>>
3
4
6
<<<<
>>>>
4
6
7
<<<<
>>>>
6
7
8
<<<<
>>>>
7
8
9
<<<<
>>>>
8
9
12
<<<<
>>>>
9
12
0
<<<<
>>>>
12
0
3
<<<<
>>>>
0
3
4
<<<<
>>>>
3
4
15
<<<<
>>>>
4
15
255
<<<<
>>>>
15
255
13
<<<<
>>>>
255
13
10
<<<<
>>>>
13
10
6
<<<<
>>>>
10
6
7
<<<<
>>>>
6
7
8
<<<<
>>>>
7
8
199
<<<<
>>>>
8
199
9
<<<<
>>>>
199
9
0
<<<<
>>>>
9
0
13
<<<<
>>>>
9
0
13
<<<<

上面只是打印 buff 大小的字符串，要添加的部分是用新的目标字符串替换目标字符串，下一个目标与替换的部分不匹配，这是一个常见的问题，我希望，很多在线解决方案，因此将其留作练习。

您还需要调整它以确保它不会重新访问输入末尾的行。

以上使用 GNU awk 用于多字符 RS，如果您没有 GNU awk，则只需 pipe 中的tr -s '[:space:]' '\n'中所示的问题。

Answer 2

我在代码中发现了问题：

• 打印替换后必须重置Buffer和Key
• 如果非空，则需要在END处打印Buffer

这是固定代码：

tr -s '[:space:]' '\n' < input.txt |
awk '
    BEGIN {
        for (i = 2; i < ARGC; i += 2) {
            n = split(ARGV[i], arr)
            k = ""
            for (j = 1; j <= n; j++) {
                k = j SUBSEP k SUBSEP arr[j]
                Tree[k]
            }
            Tree[k] = "$" ARGV[i+1]
            delete ARGV[i]
            delete ARGV[i+1]
        }
    }
    {
        Key = (int(Key) + 1) SUBSEP Key SUBSEP $1
        if ( Key in Tree ) {
            if (Tree[Key]) {
                print substr(Tree[Key],2)
                Buffer = ""
                Key = ""
            }
            else
                Buffer = Buffer $1 "\n"
        } else {
            print Buffer $1
            Buffer = ""
            Key = ""
        }
    }
    END { if (Buffer != "") printf ("%s", Buffer) }
' - \
  '3 4'   '&'    \
  '6 7 8' '9'    \
  '9'     ''     \
  '0'     '\000' \
  '13 10' '10'

这种行为并不是我想要的，因为它打印树中的第一个匹配项，而不是考虑 arguments 中指定的顺序。