awk vs nawk vs mawk 處理重文件

Question

我正在處理一些非常大的文件，這些文件使 macbook pro 節流。 我正在考慮使用更快的 awk 實現。 我聽說 awk 快得多。 我可以只安裝 mawk，將 awk 語法更改為 mawk 並使用它嗎？ 這會簡單地加快處理速度嗎？

Answer 1

首先，如果可以，設置 LC_ALL=C 並查看這是否提供了足夠的提升：

$ LC_ALL=C awk 'foo'

mawk非常快，但我發現它不一定按預期運行awk腳本——我總是需要仔細檢查它是否在做正確的事情。

在我看來， gawk在過去幾年中提高了它的速度——ymmv。

Answer 2

mawk 1.9.9.6 (mawk-2 beta) 是迄今為止最快的。

我使用 URI-quote-plus 編碼的速度甚至比 python3 中的內置模塊要快得多。 如今，我的 2018 Mac 花了大約 13.9 秒來遍歷大小為 1.82GB 的 1230 萬行文本文件，並准確計算出每個字節，

另外，每個 UTF-8 代碼點，全部 12 億個，

盡管它本身不是 Unicode 感知的。

甚至 Unicode 感知模式下的 gnu-awk 或 macOS 內置 wc -lm 也沒有那么快。