当字段在大型文件中为数字时加入UNIX

Question

所以我有两个文件。 File A和File B File A很大（> 60 GB），具有16行（数字和字符串的混合），用“ |”分隔，并且有超过600,000,000行。 此文件中的字段3是ID，它是一个数字字段，长度不同（例如，某人的ID可以为1，而其他人的ID可以为100）

File B只有一堆ID（〜1,000,000），我想从File A中提取所有ID在“文件B”中的行。 我已经开始使用以下代码在Linux上执行此操作

sort -k3,3 -t'|' FileA.txt  > FileASorted.txt
sort -k1,1 -t'|' FileB.txt  > FileBSorted.txt

join -1 3 -2 1 -t'|' FileASorted.txt FileBSorted.txt > merged.txt

我的问题是merged.txt为空（当我知道一个事实至少有10个匹配项时）...我用google搜索了这个问题，看来问题是联接字段（ID）是数字。 有人建议用零填充字段，但是1）我不确定如何做到这一点，以及2）这似乎很慢/时间效率很低。

还有其他想法吗？ 或提供有关如何仅将0填充添加到相关字段的帮助。

Answer 1

我将首先使用唯一标志（-u）对文件b进行排序

sort -u file.b > sortedfile.b

然后遍历sortedfile.b和每个grepfile.a。 在zsh中，我会做一个

foreach C (`cat sortedfile.b`)
    grep $C file.a > /dev/null
    if [ $? -eq 0 ]; then
        echo $C >> res.txt
    fi
end

将输出从grep重定向到/ dev / null并测试是否存在匹配项（$？-eq 0），并将该行的结果附加（>>）到res.txt。

单个>将覆盖文件。 我现在对zsh有点生锈，所以可能会有错字。 您可能正在使用bash，它的foreach语法可能略有不同。