grep可以在UTF-8中输出结果吗？

Question

不管输入文件的编码是什么，都可以用UTF-8编码grep命令的输出吗？

我在python脚本（子进程）中执行了grep语句，并且我想保证结果字节为UTF-8。

例：

grep -P "ÄA" -m -1 file.txt

我不知道文件的输入编码...

Answer 1

Grep遵循UNIX的哲学 ，那就是做一件事 ，并且做得很好。 文件编码不是那件事的一部分。

这就是其他工具的用途。 还有另一个工具可以很好地进行字符解码和编码 ，称为iconv 。 使用它可以将输入文件的编码更改为UTF-8。

这确实需要您知道输入文件的编码。 如果您不知道，则必须基于对输入文件的启发式分析进行猜测（很难确定 ，认识到某些内容已使用错误的编解码器进行解码，通常需要人工验证结果）。 也有一个名为enca的工具。 一旦做出猜测，该工具也可以进行转换。 它通常是单独的安装（它不是常见的默认POSIX工具集的一部分）。 请参阅如何自动检测文本文件编码？ 在超级用户上查看更多选项。

但是请注意，由于编解码器猜测工具需要通过使用统计分析来完成，因此最好在输入文件而不是grep的输出上进行猜测。

当然，这与Python没有任何关系。 除非您想使用Python进行编码检测，否则需要查看chardet库 。