AWK 计算每个输入文件的百分比和 output 汇总到单个文件

Question

我有数百个格式相同的 csv 文件。 我想通过计算第 3 列中“正确”一词的出现次数并计算每个文件的“正确”百分比（即“正确”/该文件中的总行数）来“总结”每个文件。 我目前正在使用shell 'for-loop' 对每个文件执行此操作，但这并不理想。

最小的可重现示例：

cat file1.csv
id,prediction,evaluation
1,high,Correct
2,low,Correct
3,high,Incorrect
4,low,Incorrect

cat file2.csv
id,prediction,evaluation
1,high,Correct
2,low,Correct
3,high,Correct
4,low,Incorrect

每个文件的正确答案：

awk 'BEGIN{FS=OFS=","; print "model,total_correct,accuracy"} NR>1{n++; if($3 == "Correct"){correct++}} END{print FILENAME, correct, correct / n}' file1.csv
model,total_correct,accuracy
file1.csv,2,0.5

awk 'BEGIN{FS=OFS=","; print "model,total_correct,accuracy"} NR>1{n++; if($3 == "Correct"){correct++}} END{print FILENAME, correct, correct / n}' file2.csv
model,total_correct,accuracy
file2.csv,3,0.75

我想要的结果：

model,total_correct,accuracy
file1.csv,2,0.5
file2.csv,3,0.75

感谢您的任何建议。

Answer 1

使用 GNU awk ，您可以尝试以下代码。 使用所示样本进行编写和测试。 在这里使用ENDFILE让生活变得轻松。 还在代码中添加了另外 2 个条件：第一个：当没有 NULL 行时，增加n的计数。 第二：在平均以确保没有错误出现时（如果发现零记录），它应该打印 N/A 而不是 OOTB 生成的错误。 我也从NR>1更改为FNR>1 ，因为 NR 将是一个累积计数，我们需要 FNR 从每个 Input_file 的开头重置行号。

awk '
BEGIN{
  FS=OFS=","
  print "model,total_correct,accuracy"
}
FNR>1{
  if(NF)             { n++       }
  if($3 == "Correct"){ correct++ }
}
ENDFILE{
  printf("%s,%d,%.02f\n",FILENAME, correct, (n>0&&n?(correct / n):"N/A"))
  correct=n=0
}
'  *.csv

Answer 2

使用标准的 awk，您可以增加按文件名索引的数组中的计数以及第三列是否"Correct" ，并遍历最后的文件名到 output 统计信息：

awk '
BEGIN{FS=OFS=",";print"model,total_correct,accuracy"}
FNR>1{++r[FILENAME,$3=="Correct"]}
END{
  for(i=1;i<ARGC;++i){
    f=ARGV[i];
    print f,c=r[f,1],c/(r[f,0]+c)
  }
}' *.csv