awk vs nawk vs mawk 处理重文件

Question

我正在处理一些非常大的文件，这些文件使 macbook pro 节流。 我正在考虑使用更快的 awk 实现。 我听说 awk 快得多。 我可以只安装 mawk，将 awk 语法更改为 mawk 并使用它吗？ 这会简单地加快处理速度吗？

Answer 1

首先，如果可以，设置 LC_ALL=C 并查看这是否提供了足够的提升：

$ LC_ALL=C awk 'foo'

mawk非常快，但我发现它不一定按预期运行awk脚本——我总是需要仔细检查它是否在做正确的事情。

在我看来， gawk在过去几年中提高了它的速度——ymmv。

Answer 2

mawk 1.9.9.6 (mawk-2 beta) 是迄今为止最快的。

我使用 URI-quote-plus 编码的速度甚至比 python3 中的内置模块要快得多。 如今，我的 2018 Mac 花了大约 13.9 秒来遍历大小为 1.82GB 的 1230 万行文本文件，并准确计算出每个字节，

另外，每个 UTF-8 代码点，全部 12 亿个，

尽管它本身不是 Unicode 感知的。

甚至 Unicode 感知模式下的 gnu-awk 或 macOS 内置 wc -lm 也没有那么快。