使用 awk 组合具有相同列的两个文件的数据

Question

我有两个文件：file1 和 file2。 我想将 file1 和 file2 之间的时间与公共列结合为 1 和 2。我需要创建一个单独的文件，其中包含 file1 数据和 file2 映射时间列。 但对于某些整体（参见粗体文本），它与 file2 中的同一行匹配。 我的命令有什么问题？ 有什么办法可以得到预期的 output？

注意：可以有两个以上的条目，如粗体文本所示。 column1 和 column2 条目可以相同，而只有时间更改。

文件 1

9950 | p | 2021-02-27 14:16:21.905
9951 | 问 | 2021-02-27 14:16:28.845
9954 | r | 2021-02-27 14:17:21.884
9954 | r | 2021-02-27 14:19:46.775
9956 | 是 | 2021-02-27 14:20:20.830
9957 | z | 2021-02-27 14:20:27.325

文件 2

9950 | p | 2021-02-27 14:16:22.086
9951 | 问 | 2021-02-27 14:16:29.033
9954 | r | 2021-02-27 14:17:22.072
9954 | r | 2021-02-27 14:19:46.956
9956 | 是 | 2021-02-27 14:20:21.018
9957 | z | 2021-02-27 14:20:27.512

命令：

 awk -F'|' 'NR==FNR{a[$1,$2]=$3;next} a[$1,$2]{print $0"\t"a[$1,$2]}' file2 file1

Output：

9950 | p | 2021-02-27 14:16:21.905 | 2021-02-27 14:16:22.086
9951 | 问 | 2021-02-27 14:16:28.845 | 2021-02-27 14:16:29.033
9954 | r | 2021-02-27 14:17:21.884 | 2021-02-27 14:19:46.956
9954 | r | 2021-02-27 14:19:46.775 | 2021-02-27 14:19:46.956
9956 | x | 2021-02-27 14:20:20.830 | 2021-02-27 14:20:21.018
9957 | 是 | 2021-02-27 14:20:27.325 | 2021-02-27 14:20:27.512

预期 output：

9950 | p | 2021-02-27 14:16:21.905 | 2021-02-27 14:16:22.086
9951 | 问 | 2021-02-27 14:16:28.845 | 2021-02-27 14:16:29.033
9954 | r | 2021-02-27 14:17:21.884 | 2021-02-27 14:17:22.072
9954 | r | 2021-02-27 14:19:46.775 | 2021-02-27 14:19:46.956
9956 | x | 2021-02-27 14:20:20.830 | 2021-02-27 14:20:21.018
9957 | 是 | 2021-02-27 14:20:27.325 | 2021-02-27 14:20:27.512

Answer 1

$ awk '
BEGIN {
    FS=" [|] "
    OFS=" | "
}
NR==FNR {
    a[$1,++c[$1]]=$0          # c[$1] is an instance counter array, 
    next                      # unique for each $1
}
{
    print a[$1,++d[$1]],$NF   # so is d[$1]
}' file1 file2

Output：

9950 | p | 2021-02-27 14:16:21.905 | 2021-02-27 14:16:22.086
9951 | q | 2021-02-27 14:16:28.845 | 2021-02-27 14:16:29.033
9954 | r | 2021-02-27 14:17:21.884 | 2021-02-27 14:17:22.072
9954 | r | 2021-02-27 14:19:46.775 | 2021-02-27 14:19:46.956
...

根据评论请求更新：

$ awk '
BEGIN {
    FS=" [|] "
    OFS=" | "
}
NR==FNR {
    a[$1,++c[$1]]=$0          # c[$1] is an instance counter array, 
    next                      # unique for each $1
}
(($1,++d[$1]) in a) {         # only output if match in both files
    print a[$1,d[$1]],$NF     # so is d[$1]
}' file1 file2

Answer 2

类似于詹姆斯布朗的答案，但只需要保留一个“计数”数组，并使用 $1 加 $2 作为密钥

gawk -F '|' '
    FNR == 1 {delete count}
    {key = $1 SUBSEP $2 SUBSEP (++count[$1,$2])}
    FILENAME == ARGV[1] {time[key] = $3; next}
    key in time {print $0, FS, time[key]}
' file2 file1

Answer 3

如果这不是您所需要的，那么编辑您的问题以提供更具代表性的示例输入/输出，包括这不起作用的情况：

$ paste file1 file2 | awk '{$7=$8=$9=""; $0=$0; $1=$1}1'
9950 | p | 2021-02-27 14:16:21.905 | 2021-02-27 14:16:22.086
9951 | q | 2021-02-27 14:16:28.845 | 2021-02-27 14:16:29.033
9954 | r | 2021-02-27 14:17:21.884 | 2021-02-27 14:17:22.072
9954 | r | 2021-02-27 14:19:46.775 | 2021-02-27 14:19:46.956
9956 | y | 2021-02-27 14:20:20.830 | 2021-02-27 14:20:21.018
9957 | z | 2021-02-27 14:20:27.325 | 2021-02-27 14:20:27.512

在上面$7=$8=$9=""将这些字段设置为NULL字符串，但不会更改$0中有多少字段，然后$0=$0导致 awk 重新拆分$0从而将它们作为单个字段删除，但不会改变周围的空白如果它们存在，那么$1=$1会导致 awk 从其字段中重构$0 ，将匹配FS的每个字符串（即连续的空白）替换为匹配OFS的字符串（即单个空白字符）。 例如（添加| tr ' ' '-'以使空格更清晰可见）：

$ echo 'a b c' | awk '{print NF, $0}' | tr ' ' '-'
3-a-b-c
$ echo 'a b c' | awk '{$2=""; print NF, $0}' | tr ' ' '-'
3-a--c
$ echo 'a b c' | awk '{$2=""; $0=$0; print NF, $0}' | tr ' ' '-'
2-a--c
$ echo 'a b c' | awk '{$2=""; $0=$0; $1=$1; print NF, $0}' | tr ' ' '-'
2-a-c