如何根据列比较 unix 中的两个文件

Question

我对 unix 命令相当陌生，但我有两个 .csv 文件，我想将第一列与 diff 或 comm 进行比较。 每行都是不同的，如果我要比较整行，这就是为什么我想比较每个文件中的第一列，然后用数字打印出差异，其中 landcode 不会被计算多次。 第一个文件也有一个 header 我想在比较时跳过。

来自file1的示例：

 iso_code,continent,location,date,total_cases 
 AND,Denver ,America,2020-07-26,897.0
 ABW,Copenhagen Denmark,,2020-03-13,2.0
 AFG,Oslo,Norway,2020-09-06,324.0
 AZE,Hamburg,Germany,2020-03-30,29.0

来自file2的示例：

AND,Denver ,America,2020-07-26,897.0
ABW,Copenhagen Denmark,,2020-03-13,5.0
ABW,Chil Ukrain,Aruba,2020-10-06,4449.0
ALB,Upsala,Sweden,2020-08-275.0,
AFG,Afghanistan,,2020-09-06,324.0

预期的 output 应该是“2”，因为在两个文件中出现了两次相同的土地代码。 重复的国家代码只计算一次。 这就是为什么 expected out 应该是 2 而不是 3

我尝试了多种解决方案：

awk 'NR==FNR{c[$1]++;next};c[$1] == 0' owid-covid-data-filtered.csv owid-covid-data.csv | wc -l

使用 awk 我得到 output: 1

和

 diff owid-covid-data.csv owid-covid-data-filtered.csv |cut -d' ' -f1 owid-covid-data-filtered.csv| wc -l

总的来说，我想要在 file1 和 file2 第 1 列中出现相似的情况

Answer 1

从问题的awk脚本中的条件c[$1] == 0我假设您想打印file2中包含file1中不存在的代码的行。

正如现在所澄清的那样，您想计算两个文件中存在的代码，请参阅下面的反向检查答案末尾。

对脚本稍作修改即可解决问题：

awk -F, 'NR==FNR { if(NR!=1)c[$1]++; next} c[$1]++ == 0' file1 file2

选项-F,指定逗号 ( , ) 作为字段分隔符。

条件if(NR;=1)c[$1]++; 跳过file1中的 header 行。

c[$1]++ == 0中的后递增运算符将使条件在file2中第二次或以后出现相同代码时失败。

我省略尾随| wc -l | wc -l此处显示 output 行。

我修改了file2以在第 1 列中包含具有相同代码的两行，但file1中不存在。

此处显示file2

AND,Europe,Andorra,2020-07-26,897.0
ABW,North America,Aruba,2020-03-13,2.0
ABW,North America,Aruba,2020-10-06,4079.0
ALB,Europe,Albania,2020-08-23,8275.1
ALB,Europe,Albania,2020-08-23,8275.2
AFG,Asia,Afghanistan,2020-09-06,38324.0
AFG,Asia,Afghanistan,2020-09-06,38324.0

和file1从问题我得到这个 output：

AND,Europe,Andorra,2020-07-26,897.0
ALB,Europe,Albania,2020-08-23,8275.1

（只打印带有ALB的第一行。）

您还可以在awk中实现计数，而不是使用wc -l 。

awk -F , 'NR==FNR { if(NR!=1)c[$1]++; next } c[$1]++ == 0 {count++} END {print count}' file1 file2

---

如果要打印file2中包含file1中存在的代码的行，可以像这样修改脚本：

awk -F, 'NR==FNR { if(NR!=1)c[$1]++; next} c[$1] { c[$1]=0; print}' file1 file2

这打印

ABW,North America,Aruba,2020-03-13,2.0
AFG,Asia,Afghanistan,2020-09-06,38324.0

（第一行代码为ABW 。）

---

评论中要求的替代解决方案。

tail -n +2 file1|cut -f1 -d,|sort -u>code1
cut -f1 -d, file2|sort -u>code2
fgrep -vf code1 code2
rm code1 code2

或者在不使用临时文件code1和code2的情况下组合在一个命令中：

fgrep -f <(tail -n +2 file1|cut -f1 -d,|sort -u) <(cut -f1 -d, file2|sort -u)

添加| wc -l | wc -l计算行数而不是打印它们。

解释：

tail -n +2从第二行开始打印所有内容
cut -f1 -d,打印第一个字段，用,分隔
sort -u排序行并删除重复项
fgrep -f code1 code2打印code2中包含code1中任何字符串的所有行

Answer 2

file1 和 file2 第 1 列中出现的相似情况：

$ awk -F, 'NR==FNR{a[$1];next}$1 in a' file1 file2

Output：

ABW,North America,Aruba,2020-03-13,2.0
ABW,North America,Aruba,2020-10-06,4079.0
AFG,Asia,Afghanistan,2020-09-06,38324.0