在 bash 中的矩阵中合并 header 列，但将同一行中具有值的列分开

Question

我想合并矩阵的标题（FS 是选项卡）：

    12  12  12  13
bb  2   
cc  8   3               
aa          5
ee              6

像这样：

        12     12     13
bb      2        
cc      8       3 
aa              5
ee                     6

我试过这个

awk 'BEGIN{FS=OFS="\t";maxcolno=1} {printf "%s",$1;if(NR==1){for(oldi=2;oldi<=NF;oldi++){if(!($oldi in newcolno)){printf "%s%s",OFS,$oldi;newcolno[$oldi]=++maxcolno;}old2new[oldi]=newcolno[$oldi];}}else{delete row;for(oldi=2;oldi<=NF;oldi++)row[old2new[oldi]]=row[old2new[oldi]]$oldi;for(newi=2;newi<=maxcolno;newi++)printf "%s%s",OFS,row[newi];}print""}' unmerge.txt > merge.txt

但它 forms 下表是不需要的：

        12     13     
bb      2        
cc      83        
aa      5        
ee             6        

Answer 1

假设：

• 当相同 label 的列中有空格（向左）时，值将在行内左移； 这意味着aa / 5值应移至第 1 12列（与 OP 预期输出中的第 2 12列相反）

总体设计：

• 用输入数据填充矩阵
• 当我们处理数据行时，我们确定要在其中移动/放置值的最左边的列
• 在END{}块中，我们删除空列，然后打印剩余的矩阵

一个awk想法：

awk '
BEGIN { FS=OFS="\t" }

NR==1 { matrix[NR][1]=$1
        for (i=2;i<=NF;i++) {
            matrix[NR][i]=$i
            lab2col[$i][++labcnt[$i]]=i                          # keep track of list of physical columns that a particular label is associated with
        }
        next
      }

      { matrix[NR][1]=$1
        delete labcnt
        for (i=2;i<=NF;i++)                                      # loop through input fields and ...
            if ($i) {                                            # if non-empty then shift to the left-most column with the same header/label
               matrix[NR][lab2col[matrix[1][i]][++labcnt[matrix[1][i]]]]=$i
               #                  ^^^^^^^^^^^^ - label at top of current field
               #                                ^^^^^^^^^^^^^^^^^^^^^^ - number of times we have seen this label in this line
               #          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ - physical column to map this nth occurrence (of this label) to
            }
      }

END   { # find/remove empty columns

        for (j=2;j<=NF;j++) {                                   # loop through list of data columns
            valcnt=0                                            # initialize non-empty counter
            for (i=2;i<=NR;i++)                                 # loop through data rows
                valcnt+= (matrix[i][j] ? 1 : 0)                 # keep count of non-empty matrix values
            if (valcnt==0)                                      # if all rows in this column are empty then ...
               delete matrix[1][j]                              # delete the column index from the header/1st row of the matrix
        }

        PROCINFO["sorted_in"]="@ind_num_asc"                    # make sure we process indices in ascending numerical order

        for (i=1;i<=NR;i++) {                                   # loop through rows
            for (j in matrix[1]) {                              # loop through columns (that still exist in the 1st row of the matrix)
                printf "%s%s", (j==1 ? "" : OFS), matrix[i][j]  # print matrix entry
                pfx=OFS
            }
            print ""                                            # terminate current line of output
        }
      }
' unmerge.txt

注意：需要GNU awk用于：

• 多维 arrays（又名数组数组）
• PROCINFO["sorted_in"]功能

这会产生：

        12      12      13
bb      2
cc      8       3
aa      5
ee                      6

---

稍微扩展一下输入：

$ cat unmerge2.txt
        12      12      12      13      12      13
bb      2
cc      8                               3
aa                      5
ee                              6
ff                              17      87
gg                              100             -3

awk脚本生成：

        12      12      13      13
bb      2
cc      8       3
aa      5
ee                      6
ff      87              17
gg                      100     -3