在unix shell脚本中比较两个文件中的行，并合并而没有冗余数据

Question

驱动器上有一个旧的报告文件。 每次生成新报告时，都应将其与该旧文件的内容进行比较。 如果在此新报告文件中报告了任何新帐户行，则应将其添加到旧文件中，否则就跳过。 这两个文件将具有相同的标题和标题。 例如：旧报告

RUN DATE:xyz                FEE ASSESSMENT REPORT

fee calculator

ACCOUNT NUMBER      DELVRY DT     TOTAL FEES     
=======================================================

123456      2014-06-27      110.0   

新报告可能是

RUN DATE:xyz                FEE ASSESSMENT REPORT

fee calculator

ACCOUNT NUMBER      DELVRY DT     TOTAL FEES     
=======================================================

898989      2014-06-26      11.0 

因此，现在应该合并旧报表，使其下面都有两行-123456和898989无行。

我是Shell脚本的新手。 我不知道是否应该使用diff cmd还是在阅读LINE或awk时使用？

谢谢！

Answer 1

这似乎是组合创建一个实际脚本的几个命令，而不是仅一行的熟练的命令行。

假设报表标题部分的行数是一致的，那么可以使用tail -n +7返回前7行之后的行，如示例所示。
如果它们不相同，但是全部以您在上面显示的行结尾“ ========== ”，那么您可以使用grep -n查找该行号并开始解析其后的帐号。

#!/usr/bin/env bash
OLD_FILE="ancient_report.log"
NEW_FILE="latest_and_greatest.log"
tmp_ext=".tmp"
tail -n +7 ${OLD_FILE} > ${OLD_FILE}${tmp_ext}
tail -n +7 ${NEW_FILE} >> ${OLD_FILE}${tmp_ext}
sort -u ${OLD_FILE}${tmp_ext} > ${OLD_FILE}${tmp_ext}.unique
mv -f ${OLD_FILE}${tmp_ext}.unique ${OLD_FILE}

为了说明这个脚本：

#!/usr/bin/env bash

上面的shebang行告诉* nix如何运行它。

OLD_FILE="ancient_report.log"
NEW_FILE="latest_and_greatest.log"
tmp_ext=".tmp"

声明起始变量。 您也可以通过使用文件名的参数来执行此操作。 OLD_FILE=${1}以在命令行上获取第一个参数。

tail -n +7 ${OLD_FILE} > ${OLD_FILE}${tmp_ext}
tail -n +7 ${NEW_FILE} >> ${OLD_FILE}${tmp_ext}

将两个文件的结尾放入单个“ tmp”文件中

sort -u ${OLD_FILE}${tmp_ext} > ${OLD_FILE}${tmp_ext}.unique

使用-u仅对“唯一”条目进行排序并保留，如果您的OS版本的sort没有-u则可以使用以下方法获得相同的结果： sort <filename> | uniq sort <filename> | uniq

mv -f ${OLD_FILE}${tmp_ext}.unique ${OLD_FILE}

用新的唯一文件替换旧文件。

当然，有许多更简单的方法可以执行此操作，但是这种方法可以通过依次执行几个命令来完成这项工作。

编辑：
为了保持与最新的报告日期的文件头部分，然后代替mv荷兰国际集团新的tmp文件覆盖旧的，这样做：

rm ${OLD_FILE};
head -n 7 ${NEW_FILE}) > ${OLD_FILE}
cat ${OLD_FILE}${tmp_ext}.unique >> ${OLD_FILE}

这将删除OLD_FILE（如果不先删除则无法覆盖），并将新文件的标题（用于日期）和唯一tmp文件的全部内容组合在一起。 之后，您可以进行常规文件清理，例如删除创建的所有新文件。 要保留/调试任何更改，您可以在每个“唯一”文件名中添加一个日期戳，并将其保留为所有添加报表的审核线索。