合并/合并两个大文件

Question

我想在第一列上加入2个文件：文件1包含46395029行，文件2包含86510559。

file1.txt

>ID sequence
CJP75M1:393:C2T21ACXX:8:1101:2069:1997 1:N:0:_45    TAGTATTACGACG
CJP75M1:393:C2T21ACXX:8:1101:2711:1992 1:N:0:_65    TCCGAGGCCCTGTAATTGGAATGAGTAC
CJP75M1:393:C2T21ACXX:8:1101:3822:1989 1:N:0:_115   CCGGAGAGGGAGCCTGAGAAACGGCTACCAC

file2.txt

>ID      Barcode
CJP75M1:393:C2T21ACXX:8:1101:2069:1997 1:N:0:_45    CTCG
CJP75M1:393:C2T21ACXX:8:1101:2711:1992 1:N:0:_65        CTAG
CJP75M1:393:C2T21ACXX:8:1101:3822:1989 1:N:0:_115       CTGG

我想将这两个文件合并到第一个栏目中：

>TAGTATTACGACG    CTCG
TCCGAGGCCCTGTAATTGGAATGAGTAC     CTAG
CCGGAGAGGGAGCCTGAGAAACGGCTACCAC     CTGG

在file1中仅需要行的情况下，结果文件应仅包含46395029行。 我用awk做到了：

    awk 'BEGIN {FS= "\t"; OFS="\t"} { while (getline < "file1.txt") { f[$1] = $2} {print $2, f[$1] }}' "file2.txt" | sed '1d' > result.txt

但这确实很长（运行2天）。 我有64位/ 16Go RAM的linux debian（stable）服务器

有任何想法吗 ？ 谢谢

Answer 1

这是awk另一种方式：

awk 'FNR==1{next}NR==FNR{map[$1,$2]=$3;next}(map[$1,$2]){print map[$1,$2],$3}' file2 file1

• 从两个文件中跳过第一行
• 创建一个从file2的第1列和第2列索引的数组
• 如果文件1中存在地图，请打印该行

Answer 2

这是Java（7+）的解决方案-您需要它:)

import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.IOException;
import java.nio.charset.Charset;
import java.nio.charset.StandardCharsets;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.util.HashMap;
import java.util.Map;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

import static java.nio.file.StandardOpenOption.*;

public final class Job
{
    private static final Pattern PATTERN
        = Pattern.compile("(\\S+\\s+\\S+)\\s+(.*)");

    public static void main(final String... args)
        throws IOException
    {
        final Map<String, String> fromFile1 = new HashMap<>();

        final Charset charset = StandardCharsets.US_ASCII;
        final Path file1 = Paths.get("/tmp/f1.txt");
        final Path file2 = Paths.get("/tmp/f2.txt");
        final Path dstfile = Paths.get("/tmp/dst.txt");
        Matcher m;
        String line, key, value;
        StringBuilder sb;

        // Lines from file 1
        try (
            final BufferedReader reader = Files.newBufferedReader(file1,
                charset);
        ) {
            reader.readLine();
            while ((line = reader.readLine()) != null) {
                m = PATTERN.matcher(line);
                if (m.matches())
                    fromFile1.put(m.group(1), m.group(2));
            }
        }

        // Write in destination file
        try (
            final BufferedReader reader = Files.newBufferedReader(file2,
                charset);
            final BufferedWriter writer = Files.newBufferedWriter(dstfile,
                charset, CREATE, TRUNCATE_EXISTING);
        ) {
            reader.readLine();
            while ((line = reader.readLine()) != null) {
                m = PATTERN.matcher(line);
                if (!m.matches())
                    continue;
                key = m.group(1);
                value = fromFile1.get(key);
                if (value == null)
                    continue;
                sb = new StringBuilder(value).append('\t')
                    .append(m.group(2)).append('\n');
                writer.write(sb.toString());
            }
            writer.flush();
        }
    }
}

将其放在名为Job.java的文件中。 要进行编译，您需要JDK 7+，以及：

javac Job.java

要执行，您将需要一些内存，因此：

java -Xmx4G Job

当然，请更改路径！

---

请注意，如果您必须经常处理此类文件，建议您尽可能将行定长。 这样治疗就会更快。 甚至可能使用数据库引擎？

Answer 3

您可能需要使用join命令： join要求输入文件在join字段上进行排序

join -o 1.3,2.3 -a 1 -e "??" <(sed 1d file1.txt | sort -k1,1) <(sed 1d file2.txt | sort -k1,1)

给定您的样本数据，将产生以下结果：

CGGACGTGATCACTGTGACGCCTTGCGTGTTACGGTTGTT CNCG
TAGTATTACGACG AGGC
TCCGAGGCCCTGTAATTGGAATGAGTAC ??
CCGGAGAGGGAGCCTGAGAAACGGCTACCAC ??join -o 1.3,2.3 -a 1 -e "??" <(sed 1d file1.txt | sort -k1,1) <(sed 1d file2.txt | sort -k1,1)
TTGGAGGGC ??
TTGATGGTAGTATC ??
AATAAAACGATGCATTTATGTATTTTTGATT ??
TCCTCGATAGTATAGTGGTTAGTATCCCCGCC ??
TGATGGTAGTATC ??

有了这么多数据，我认为最好的选择是将数据导入到关系数据库（例如sqlite ）中并使用SQL生成报告。