基于一列查找文件中的公共行

Question

我有15个文件

file1.csv

a,cg2,0,0,0,21,0
a,cq1,10,0,0,0,0
a,cm2,0,19,0,0,0
...
a,ad10,0,0,0,37,0

file2.csv

d,cm1,0,3,0,0,0
d,cs2,0,32,0,0,0
d,cg2,0,0,9,0,0
...
d,az2,0,0,0,21,0

。 。 。 。

file15.csv

s,sd1,0,23,0,0,0
s,cw1,0,0,7,0,0
s,c23,0,0,90,0,0
...
s,cg2,0,45,0,0,0

我在每个文件中有不同的行数，我想比较所有15个文件的第二个字段，并提取所有15个文件的第二个字段共有的行。

在上面的例子中

输出是：

CG2

（以15个文件的第二个字段为例）

我是unix和shell脚本的新手，请帮忙

Answer 1

你想要15个文件中的每个文件的全部行，其中字段2出现在所有15个文件中吗？ 或者您只想要所有15个文件中出现的字段2值的列表。

前者：

a,cg2,0,0,0,21,0
d,cg2,0,0,9,0,0
. . .
s,cg2,0,45,0,0,0
. . .

后者：

cg2
. . .

如果是后者，那么这应该有效

awk -F, '{arr[$2]++; if (FILENAME != prevfile) {c++; prevfile = FILENAME}} END {for (i in arr) {if (arr[i] == c) {print i}}}' file*.csv

在多行上断开：

awk -F, '{
             arr[$2]++; 
             if (FILENAME != prevfile) {
                 c++; 
                 prevfile = FILENAME
             }
         }
         END {
             for (i in arr) {
                 if (arr[i] >= c) {
                     print i
                 }
             }
         }' file*.csv

说明：

• 增加字段2值出现次数的计数
• 如果文件名更改，则增加文件计数（第一个文件从空字符串更改为其文件名，计数从0增加到1）
• 保存当前文件名
• 完成所有计数后，通过其键重复数组
• 如果数组中包含的计数大于或等于文件数，则字段2值出现在所有文件中（通过检查>=而不是==这将在某个值出现多次的情况下有效）单个文件）
• 所以打印键（这是一个字段2的值）
• glob用于获取所有文件，但您可以显式列出它们

编辑：

这是一种使用双通道技术打印完整匹配线的方法。 这是对上述版本的修改。 确保两次列出文件。

awk -F, '
         FILENAME == first && flag {
             exit
         }
         ! first {
             first = FILENAME
         }
         FILENAME != first {
             flag = 1
         }
         {
             arr[$2]++; 
             if (FILENAME != prevfile) {
                 c++; 
                 prevfile = FILENAME
             }
         }
         END {
             # print the matching lines
             do {
                 if ($2 in arr) {
                     print;
                 }
             } while (getline);
             # print the list of words
             for (i in arr) {
                 if (arr[i] >= c) {
                     print i
                 }
             }
         }' file*.csv file*.csv

它取决于第一组中的第一个文件与第二组中的第一个文件的名称相同。 使用类似于我所展示的globbing将处理该要求。

它会打印匹配的行（不会分组），然后打印单词列表。 如果您只想要其中一个，请注释掉或删除您不想要的循环（ do/while或for ）。

如果只打印整行，则可以将输出通过管道输出到：

sort -t , -k2,2

让他们分组。

仅将单词列表管道化为：

sort

将它们放在相同的顺序中以便于比较。

Answer 2

有趣的问题。

完全用Bash完成它的一种方法如下。

您需要调用的一件事是join -t ',' -1 2 -2 2 file1 file2以加入两个文件的第二列。 但是，在加入之前，必须对第二列进行排序。

在for循环中进行连续连接，因为join只接受两个文件作为参数。

附录

这是一个显示连续连接的小记录。 我认为你可以很容易地适应它。

$ cat 1.csv
a,b,c,d
e,f,g,h
i,j,k,l
$ cat 2.csv
7,5,4,3
3,b,s,e
2,f,5,5
$ cat 3.csv
4,5,6,7
0,0,0,0
1,b,4,4
$ join -t ',' -1 2 -2 2 1.csv 2.csv | cut -f 1 -d ',' > temp
$ cat temp
b
f
$ join -t ',' -2 2 temp 3.csv | cut -f 1 -d ','
b

第一个连接（在前两个文件上）在结果的第一列中生成连接值。 因此，当您加入file3，file4，file5等时，您将使用您生成的结果的第一列，这就是您只需要-2选项的原因。 为了保持高效，每次进行连接时，除了第一列外，总是会删除所有内容。