將兩個大的排序文件合並成一個唯一的文件

Question

我有兩個非常大的文件（以十億計的行），並且這些行已排序且唯一，我想要一種有效的方法將這兩個文件合並到一個文件中，其中的行已排序且唯一。 我想過合並這兩個文件並使用命令

sort -u

但這似乎不太方便，因為我不會利用這兩個文件都已排序的事實。

Answer 1

首先，這是一個與 linux 相關的問題，因此正確的論壇是stackeExchange 。

接下來，這取決於您希望如何對行進行排序。

1. 如果您希望以組合方式對 file1 和 file2 中的行進行排序，則sort-u是sort-u的方法。

2. 如果您只想組合已經預先排序的 file2 , file2 ，您可以簡單地連接它們，例如cat file1 file2 >file3

3. 您可以通過循環遍歷每一行並使用任何一種排序算法來實現自定義排序。 盡管它與選項 (1) 相似且比選項 (1) 慢，但為什么要這樣做呢？