使用 sed/awk 将变量的内容打印到输出文件中的指定行

Question

我一直在编写一个脚本来将多个 csv 文件连接成一个大的 csv。 csv 包含文件夹名称及其各自的大小，格式为“大小，项目名称”的 2 列设置

单个 csv 文件示例：

49747851728,ODIN
32872934580,_WORK
9721820722,LIBRARY
4855839655,BASELIGHT
1035732096,ARCHIVE
907756578,USERS
123685100,ENV
3682821,SHOTGUN
1879186,SALT
361558,SOFTWARE
486,VFX
128,DNA

对于我当前的测试，我有 25 个类似的文件，第一列中的数字不同。

我试图让这个脚本执行以下操作：

• 读取每个 csv 文件
• 对于它看到的每个项目，如果该项目已经打印到文件中，则扫描输出文件。 如果没有，打印项目名称
• 对于每个文件，对于每个项目，如果找到了项目，则将大小打印到输出 csv。

但是，我需要所有项目都在文本行 1 上，以逗号分隔，因此我可以使用此输出文件作为 javascript 图形的输入。 尺寸应添加在其项目名称下方的列中。

我目前的脚本：

csv_folder=$(echo "$1" | sed 's/^[ \t]*//;s/\/[ \t]*$//')
csv_allfiles="$csv_folder/*.csv"
csv_outputfile=$csv_folder.csv
echo -n "" > $csv_outputfile

for csv_inputfile in $csv_allfiles; do
  while read line && [[ $line != "" ]]; do
    projectname=$(echo $line | sed 's/^\([^,]*\),//')
    projectfound1=$(cat $csv_outputfile | grep -w $projectname)
if [[ ! $projectfound1 ]]; then
  textline=1
  sed "${textline}s/$/${projectname}, /" >> $csv_outputfile
    for csv_foundfile in $csv_allfiles; do
    textline=$(echo $textline + 1 | bc )
    projectfound2=$(cat $csv_foundfile | grep -w $projectname)
    projectdata=$(echo $projectfound2 | sed 's/\,.*$//')
        if [[ $projectfound2 ]]; then
          sed "${textline}s/$/$projectdata, /" >> $csv_outputfile
        fi
      done
    fi
  done < $csv_inputfile
done

我当前的脚本找到了正确的信息（项目名称、项目数据），如果我只是“回显”这些变量，它会将正确的数据打印到文件中。 但是，使用 echo 它只在每个项目的长列表中打印。 我希望它“跳回”到第 1 行并在当前行的末尾打印新项目，然后运行循环以在下一行的末尾打印数据。

我想这应该可以用 sed 或 awk。 sed 应该有一种将文本插入到特定行的方法

sed '{n}s/search/replace/'

其中 {n} 是要插入的行

awk 应该能够用类似的东西做同样的事情

awk -v l2="$textline" -v d="$projectdata" 'NR == l2 {print d} {print}' >> $csv_outputfile

但是，在将脚本中的 sed 命令替换为

echo $projectname 
echo $projectdata 

吐出正确的信息（所以我知道我的变量被正确填充）sed 和 awk 命令倾向于吐出它们当前 inputcsv 的全部内容； 不仅仅是我想让他们做的那条线。

写入文件的每个变体的 Pastebin 输出

• https://pastebin.com/XwxiAqvT - sed 输出
• https://pastebin.com/xfLU6wri - 回显，纯输出（单列）
• https://pastebin.com/wP3BhgY8 - 回声，每个变量的详细输出
• https://pastebin.com/5wiuq53n - 所需的输出

如您所见，sed 输出倾向于粘贴 inputcsv 的全部内容，从而使循环在一次迭代后停止。 （因为它在一个循环后找到了其他项目）

所以我的问题是其中之一；

• 我如何让 sed / awk 按照我想要的方式运行； 即仅将我的 var 中的信息打印到当前文本行，而不是整个输入 csv。 sed 是否能够做到这一点，只打印一行变量？ 或者
• 我是否应该通过“echo”将变量输出到临时文件中，然后遍历临时文件以使 sed 按照我希望的方式对行进行排序？ （请记住，将来会添加更多 .csv 文件，我不能让它循环 x 次来对信息进行排序）
• 有没有办法在不使用 sed 或 awk 的情况下将文本回显/打印到特定文本行？ 是否有我缺少的 printf 选项？ 其他想法？

任何帮助将不胜感激。

Answer 1

完成这种转置的一种方法是将数据保存到关联数组中。

在以下示例中，我们使用二维数组来跟踪我们的数据。 因为排序似乎是重要的，我们创建了一个山坳阵列，并创建每当我们看到一个新的项目名称新的增量-这山坳阵最终是我们的第一个索引我们的数据。 我们还创建了一个行数组，每当我们看到当前列的新数据时，我们就会递增该数组。 行号是我们对数据的第二个索引。 最后，我们打印出所有记录。

#! /usr/bin/awk -f
BEGIN {
    FS  = ","
    OFS = ", "
    rows=0
    cols=0
    head=""
    split("", data)
    split("", row)
    split("", col)
}
!($2 in col) { # new project
    if (head == "")
        head = $2
    else
        head = head OFS $2
    i = col[$2] = cols++
    row[i] = 0
}
{
    i = col[$2]
    j = row[i]++
    data[i,j] = $1
    if (j > rows)
        rows = j
}
END {
    print head
    for (j=0; j<=rows; ++j) {
        if ((0,j) in data)
            x = data[0,j]
        else
            x = ""
        for (i=1; i<cols; ++i) {
            if ((i,j) in data)
                x = x OFS data[i,j]
            else
                x = x OFS
        }
        print x
    }
}

作为奖励，这里有一个脚本可以从您的一个 pastebins 中重现详细输出。

#! /usr/bin/awk -f
BEGIN {
    FS = ","
    split("", data) # accumulated data for a project
    split("", line) # keep track of textline for data
    split("", idx)  # index into above to maintain input order
    sz = 0
}
$2 in idx { # have seen this projectname
    i = idx[$2]
    x =   ORS "textline = " ++line[i]
    x = x ORS "textdata = " $1
    data[i] = data[i] x
    next
}
{ # new projectname
    i = sz++
    idx[$2] = i
    x =       "textline = 1"
    x = x ORS "projectname = " $2
    x = x ORS "textline = 2"
    x = x ORS "projectdata = " $1
    data[i] = x
    line[i] = 2
}
END {
    for (i=0; i<sz; ++i)
        print data[i]
} 

Answer 2

用项目名称填充parray，用值填充数组，然后用bash printf打印它们，您可以在printf命令中选择列宽（当前13个字符 - %13s）

#!/bin/bash
declare -i index=0
declare -i pindex=0
while read project; do
  parray[$pindex]=$project
  index=0
  while read;do
    array[$pindex,$index]="$REPLY"
    index+=1
  done <<< $(grep -h "$project" *.csv|cut -d, -f1)
  pindex+=1
done <<< $(cat *.csv|cut -d, -f 2|sort -u)
maxi=$index
maxp=$pindex

for (( pindex=0; $pindex < $maxp ; pindex+=1 ));do
 STR="%13s $STR"
 VAL="$VAL ${parray[$pindex]}"
done
printf "$STR\n" $VAL
for (( index=0; $index < $maxi;index+=1 ));do
  STR=""; VAL=""
  for (( pindex=0; $pindex < $maxp;pindex+=1 )); do
    STR="%13s $STR"
    VAL="$VAL ${array[$pindex,$index]}"
  done
  printf "$STR\n" $VAL
done

Answer 3

如果您对按名称排序的输出没问题，则此单行代码可能有用：

awk 'BEGIN {FS=",";OFS=","} {print $2,$1}' * | sort | uniq

这些文件必须在同一目录中。 如果不是，文件列表将替换 *. 首先它交换两个字段。 Awk 将获取文件列表并进行连接。 然后对线条进行排序并仅打印唯一的线条。 这取决于项目大小始终相同。

上面的简单单行为每个项目提供一行。 如果您真的想在 awk 中完成所有操作并使用 awk 编写这两行，则需要以下内容。 最后有第二个 awk 将每个列条目累加到数组中，然后在最后将其吐出：

awk 'BEGIN {FS=","} {print $2,$1}' *| sort |uniq | awk 'BEGIN {n=0}
{p[n]=$1;s[n++]=$2}
END {for (i=0;i<n;i++) printf "%s,",p[i];print "";
for (i=0;i<n;i++) printf "%s,",s[i];print ""}'

如果您有 rs 实用程序，那么这可以简化为

awk 'BEGIN {FS=","} {print $2,$1}' *| sort |uniq | rs -C',' -T