如何在unix中加入文件而不进行排序

Question

我正在尝试基于UNIX中的键加入2个csv文件。

我的文件每个确实有5 GB的巨大空间，对它们进行分类花费的时间太长。

我想对50个这样的联接重复此过程。

有人可以告诉我如何加入而无需快速排序。

Answer 1

不幸的是，没有办法解决排序问题。 但是，请看一下我在这里编写的一些实用程序脚本：（ https://github.com/stefan-schroedl/tabulator ）。 如果将列名的标题保留为每个文件的第一行，则可以使用它们。 有一个脚本“ tbljoin”，它将为您处理排序和列计数。 例如，说你有

Employee.csv：

employee_id|employee_name|department_id
4|John|10
1|Monica|4
12|Louis|5
20|Peter|2
21|David|3
13|Barbara|6

Dept.csv：

department_id|department_name
1|HR
2|Manufacturing
3|Engineering
4|Marketing
5|Sales
6|Information technology
7|Security

然后，命令tbljoin Employee.csv Dept.csv产生

employee_id|employee_name|department_id|department_name
20|Peter|2|Manufacturing
21|David|3|Engineering
1|Monica|4|Marketing
12|Louis|5|Sales
13|Barbara|6|Information technology.

制表符包含许多其他有用的功能，例如，用于简单地重新排列列。

Answer 2

这是两个文件的示例，这些文件的数据用竖线分隔

来自employee.csv的数据，键employee_id，名称和department_id由管道分隔。

Employee.csv

4|John | 10
1|Monica|4
12|Louis|5
20|Peter|2
21|David|3
13|Barbara|6

部门文件的名称为deparment_id，名称以竖线分隔。 Dept.csv

1|HR
2| Manufacturing
3| Engineering
4 |Marketing
5| Sales
6| Information technology
7| Security

命令：

join -t “|” -1 3 -2 1 Employee_sort.csv Dept.csv

-t“ | ”指示的文件由管道分隔

-1 3用于文件1的第三列，即Employee_sort.csv文件中的deparment_id

-2 1用于文件2的第一列，即来自Dept.csv文件的deparment_id

通过使用以上命令，我们得到以下输出。

2|20|Peter| Manufacturing
3|21|David| Engineering
4|1|Monica| Marketing
5|12|Louis| Sales
6|13|Barbara| Information technology

如果要从文件2和文件1中的相应条目中获取所有内容

您也可以使用-a和-v选项

尝试遵循以下命令

join -t “|” -1 3 -2 1 -v2 Employee_sort.csv Dept.csv
join -t “|” -1 3 -2 1 -a2 Employee_sort.csv Dept.csv

Answer 3

我认为您可以避免使用连接（从而对文件进行排序），但这不是一个快速的解决方案：

1. 在两个文件中，用空格替换所有管道和所有双精度空格：

sed -i 's/|/ /g;s/ / /g' Employee.csv Dept.csv

2. 将这些代码行作为bash脚本运行：

cat Employee.csv | while read abc do cat Dept.csv | while read de do if [ "$c" -eq "$d" ] ; then echo -e "$a\\t$b\\t$c\\t$e" fi done done

3. 请注意，循环需要很长时间