我們可以使用AWK和gsub（）處理帶有多個冒號“：”的數據嗎？ 怎么樣？

Question

這是數據示例：

Col_01:14 .... Col_20:25    Col_21:23432    Col_22:639142
Col_01:8  .... Col_20:25    Col_22:25134    Col_23:243344
Col_01:17 .... Col_21:75    Col_23:79876    Col_25:634534    Col_22:5    Col_24:73453
Col_01:19 .... Col_20:25    Col_21:32425    Col_23:989423
Col_01:12 .... Col_20:25    Col_21:23424    Col_22:342421    Col_23:7    Col_24:13424    Col_25:67
Col_01:3  .... Col_20:95    Col_21:32121    Col_25:111231

如您所見，其中某些列的順序不正確...

現在，我認為將文件導入數據框的正確方法是對數據進行預處理，以便可以輸出具有NaN值的數據框，例如

Col_01 .... Col_20    Col_21    Col22    Col23    Col24    Col25
8      .... 25        NaN       25134    243344   NaN      NaN
17     .... NaN       75        2        79876    73453    634534
19     .... 25        32425     NaN      989423   NaN      NaN
12     .... 25        23424     342421   7        13424    67
3      .... 95        32121     NaN      NaN      NaN      111231

@JamesBrown在此處顯示了該解決方案： 如何預處理“大數據” tsv文件並將其加載到python數據框中？

使用上述awk腳本：

BEGIN {
    PROCINFO["sorted_in"]="@ind_str_asc" # traversal order for for(i in a)                  
}
NR==1 {       # the header cols is in the beginning of data file
              # FORGET THIS: header cols from another file replace NR==1 with NR==FNR and see * below
    split($0,a," ")                  # mkheader a[1]=first_col ...
    for(i in a) {                    # replace with a[first_col]="" ...
        a[a[i]]
        printf "%6s%s", a[i], OFS    # output the header
        delete a[i]                  # remove a[1], a[2], ...
    }
    # next                           # FORGET THIS * next here if cols from another file UNTESTED
}
{
    gsub(/: /,"=")                   # replace key-value separator ": " with "="
    split($0,b,FS)                   # split record from ","
    for(i in b) {
        split(b[i],c,"=")            # split key=value to c[1]=key, c[2]=value
        b[c[1]]=c[2]                 # b[key]=value
    }
    for(i in a)                      # go thru headers in a[] and printf from b[]
        printf "%6s%s", (i in b?b[i]:"NaN"), OFS; print ""
}

並將標題放入文本文件cols.txt

Col_01 Col_20 Col_21 Col_22 Col_23 Col_25

我現在的問題是：如果我們擁有的數據不是column: value而是column: value1: value2: value3 ，我們該如何使用awk？

我們希望數據庫條目為value1: value2: value3

這是新數據：

Col_01:14:a:47 .... Col_20:25:i:z    Col_21:23432:6:b    Col_22:639142:4:x
Col_01:8:z .... Col_20:25:i:4    Col_22:25134:u:0    Col_23:243344:5:6
Col_01:17:7:z .... Col_21:75:u:q    Col_23:79876:u:0    Col_25:634534:8:1   

我們仍然預先為列提供cols.txt

我們如何創建類似的數據庫結構？ 是否可以使用gsub()限制為:與標題相同的第一個值？

編輯：這並不一定要基於AWK。 任何語言都會自然而然地

Answer 1

這是另一種選擇...

$ awk -v OFS='\t' '{for(i=1;i<NF;i+=2)                  # iterate over name: value pairs
                     {c=$i;                             # copy name in c to modify
                      sub(/:/,"",c);                    # remove colon
                      a[NR,c]=$(i+1);                   # collect data by row number, name
                      cols[c]}}                         # save name
                END{n=asorti(cols,icols);               # sort names
                    for(j=1;j<=n;j++) printf "%s", icols[j] OFS;   # print header 
                    print ""; 
                    for(i=1;i<=NR;i++)                  # print data
                      {for(j=1;j<=n;j++) 
                         {v=a[i,icols[j]];             
                          printf "%s", (v?v:"NaN") OFS} # replace missing data with NaN
                       print ""}}' file | column -t     # pipe to column for pretty print

Col_01   Col_20  Col_21     Col_22      Col_23      Col_25
14:a:47  25:i:z  23432:6:b  639142:4:x  NaN         NaN
8:z      25:i:4  NaN        25134:u:0   243344:5:6  NaN
17:7:z   NaN     75:u:q     NaN         79876:u:0   634534:8:1

Answer 2

我也有karakfa的回答。 如果列名與值之間沒有用空格分隔（例如，如果您具有Col_01:14:a:47 ），則可以執行此操作（將GNU awk用於擴展match功能）

  {
      for (i=1; i<=NF; i++) {
          match($i, /^([^:]+):(.*)/, m)
          a[NR,m[1]] = m[2]
          cols[m[1]]
     }
  }

END塊相同

Answer 3

使用TXR的Lisp 宏實現 Awk范例：

(awk (:set ft #/-?\d+/)  ;; ft is "field tokenize" (no counterpart in Awk)
     (:let (tab (hash :equal-based)) (max-col 1) (width 8))
     ((ff (mapcar toint) (tuples 2))  ;; filter fields to int and shore up into pairs
      (set max-col (max max-col [find-max [mapcar first f]]))
      (mapdo (ado set [tab ^(,nr ,@1)] @2) f)) ;; stuff data into table
     (:end (let ((headings (mapcar (opip (format nil "Col~,02a")
                                         `@{@1 width}`)
                                   (range 1 max-col))))
             (put-line `@{headings " "}`))
           (each ((row (range 1 nr)))
             (let ((cols (mapcar (opip (or [tab ^(,row ,@1)] "NaN")
                                       `@{@1 width}`)
                                 (range 1 max-col))))
               (put-line `@{cols " "}`)))))

較小的樣本數據：

Col_01: 14  Col_04: 25    Col_06: 23432    Col_07: 639142
Col_02: 8   Col_03: 25    Col_05: 25134    Col_06: 243344
Col_01: 17
Col_06: 19  Col_07: 32425

跑：

$ txr reformat.tl data-small
Col01    Col02    Col03    Col04    Col05    Col06    Col07
14       NaN      NaN      25       NaN      23432    639142
NaN      8        25       NaN      25134    243344   NaN
17       NaN      NaN      NaN      NaN      NaN      NaN
NaN      NaN      NaN      NaN      NaN      19       32425

---

PS opip是一個宏，它針對部分功能應用而從op宏進行增強。 opip將op隱式分配到其參數表達式中，然后將結果函數鏈接到一個功能管線中：因此是“ op -pipe”。 在每個管道元素中，都可以引用其自己編號的隱式參數： @1 ， @2 ，...如果不存在，則部分應用的函數會隱式接收管道對象作為其最右邊的參數。

^(,row ,@1)語法是TXR Lisp的反引號。 主流Lisp方言用於反引號的反引號已被用於字符串准引號。 這等效於(list row @1) ：創建一個由row值和隱式op/do生成的函數參數@1 。 兩個元素的列表用作哈希鍵，可模擬2D數組。 為此，哈希必須:equal-based 。 如果列表(1 2) (1 2)是單獨的實例而不是一個相同的對象，則它們不是eql ； 它們在equal函數下比較相等。

Answer 4

只是為了好玩，一些不可理解的Perl

perl -aE'%l=%{{@F}};while(($k,$v)=each%l){$c{$k}=1;$a[$.]{$k}=$v}END{$,="\t";say@c=sort keys%c;for$i(1..$.){say map{$a[$i]{$_}//"NaN"}@c}}' input

（社區維基，以掩飾我的恥辱...）

打了幾個字符：

perl -aE'while(@F){$c{$k=shift@F}=1;$data[$.]{$k}=shift@F}END{$,="\t";say@c=sort keys%c;for$i(1..$.){say map{$data[$i]{$_}//"NaN"}@c}}' input