为什么脚本语言不能将Unicode输出到Windows控制台？

Question

Windows控制台至少可以识别十年，并且可能早在Windows NT上。 但是由于某些原因，主要的跨平台脚​​本语言（包括Perl和Python）只输出各种8位编码，因此需要很多麻烦才能解决。 Perl给出了“打印中的宽字符”警告，Python给出了一个charmap错误并退出。 为什么在这么多年之后它们不仅仅是简单地调用输出UTF-16 Unicode的Win32 -W API而不是通过ANSI /代码页瓶颈强制一切？

仅仅是跨平台性能是低优先级吗？ 这些语言是否在内部使用UTF-8并且发现输出UTF-16太麻烦了？ 或者-WAP本质上已经破坏到不能按原样使用的程度？

UPDATE

似乎责任可能需要各方共同承担责任。 我想象脚本语言只能在Windows上调用wprintf ，让操作系统/运行时担心重定向等问题。 但事实证明， 即使是Windows上的wprintf ， 也会在打印到控制台之前将宽字符转换为ANSI并返回 ！

如果这个问题已得到解决，请告知我，因为错误报告链接似乎已损坏，但我的Visual C测试代码仍然无法用于wprintf并成功用于WriteConsoleW。

更新2

实际上，您可以使用wprintf从C打印UTF-16到控制台，但_setmode(_fileno(stdout), _O_U16TEXT)是您首先执行_setmode(_fileno(stdout), _O_U16TEXT) 。

从C你可以将UTF-8打印到一个控制台，其代码页设置为代码页65001，但Perl，Python，PHP和Ruby都有防止这种情况的错误。 Perl和PHP通过在包含至少一个宽字符的行之后添加额外的空行来破坏输出。 Ruby的损坏输出略有不同。 Python崩溃了。

更新3

Node.js是第一个没有出现此问题的脚本语言。

Python开发团队慢慢意识到这是一个真正的问题，因为它是在2007年底首次报道的，并且已经看到了大量的活动，以完全理解并完全修复2016年的错误。

Answer 1

主要问题似乎是在Windows上仅使用标准C库并且不依赖于平台或第三方扩展而无法使用Unicode。 您提到的语言源自Unix平台，其实现Unicode的方法与C很好地融合（它们使用普通的char*字符串，C语言环境函数和UTF-8）。 如果你想在C中做Unicode，你或多或少要写两次：一次使用非标准的Microsoft扩展，一次使用标准的C API函数用于所有其他操作系统。 虽然这可以做到，但它通常没有高优先级，因为它很麻烦，而且大多数脚本语言开发人员无论如何都讨厌或忽略Windows。

在更技术层面，我认为大多数标准库设计者所做的基本假设是所有I / O流本质上都是基于操作系统级别的字节，对于所有操作系统上的文件和Unix上的所有流都是如此。类似系统，Windows控制台是唯一的例外。 因此，如果想要合并Windows控制台I / O，则必须在很大程度上修改许多类库和编程语言标准的体系结构。

另一个更主观的观点是，微软并不足以推广使用Unicode。 第一个拥有体面（当时）Unicode支持的Windows操作系统是1993年发布的Windows NT 3.1，早在Linux和OS X增加Unicode支持之前。 尽管如此，在这些操作系统中向Unicode的过渡更加无缝且没有问题。 微软再次听取了销售人员而不是工程师的意见，并将技术上过时的Windows 9x保留到2001年; 而不是强迫开发人员使用干净的Unicode接口，他们仍然发布破碎的，现在不必要的8位API接口，并邀请程序员使用它（查看Stack Overflow上的一些最新的Windows API问题，大多数新手仍然使用可怕的遗留API！）。

当Unicode出现时，许多人意识到它很有用。 Unicode最初只是一个纯16位编码，所以很自然地使用16位代码单元。 微软然后显然说“好吧，我们有这个16位编码，所以我们必须创建一个16位的API”，没有意识到没有人会使用它。 然而，Unix名人认为“我们如何以高效和向后兼容的方式将其集成到当前系统中，以便人们真正使用它？” 随后发明了UTF-8，这是一个杰出的工程。 就像Unix创建时一样，Unix人们想的更多，需要更长时间，在经济上取得更少的成功，但最终做得恰到好处。

我无法对Perl发表评论（但我认为Perl社区中的Windows仇恨比Python社区更多），但对于Python，我知道BDFL（不喜欢Windows的人）也表示有足够的​​Unicode支持在所有平台上都是一个主要目标。

Answer 2

对讨论的贡献很小 - 我正在运行捷克本地化的Windows XP，几乎每个地方都使用CP1250代码页。 控制台的有趣之处在于它仍然使用传统的DOS 852代码页。

我能够制作非常简单的perl脚本，使用以下命令将utf8编码数据打印到控制台：

binmode STDOUT, ":utf8:encoding(cp852)";

尝试了各种选项（包括utf16le），但只有上面的设置正确打印带有重音的捷克字符。

编辑：我玩了一点问题，发现Win32 :: Unicode 。 模块导出函数printW在输出和重定向中都能正常工作：

use utf8;
use Win32::Unicode;

binmode STDOUT, ":utf8";
printW "Příliš žluťoučký kůň úpěl ďábelské ódy";

Answer 3

我必须解决你的许多问题。

你知道吗

• Windows使用UTF-16作为其API，但仍然默认使用用户空间中的各种“有趣”遗留编码（例如Windows-1252，Windows-1251），包括文件名，对于Windows的许多本地化而言是不同的？
• 你需要对输出进行编码，并且通过locale pragma实现为系统选择适当的编码，并且有一个称为locale的POSIX标准，在其上构建它，并且Windows与它不兼容？
• Perl曾经支持过所谓的“广泛”API吗？
• Microsoft设法使UTF-8适应其字符编码的代码页系统，您可以通过发出适当的chcp 65001命令来切换终端吗？

Answer 4

迈克尔卡普兰有一系列关于cmd控制台和Unicode的博客文章可能提供信息（虽然没有真正回答你的问题）：

• 传统智慧是迟钝的，又名@＃％＆*是_O_U16TEXT是什么？

• 任何说控制台无法执行Unicode的人并不像他们认为的那样聪明

• 各种各样的情况留下了一块石头......

PS：感谢@Jeff查找archive.org链接。

Answer 5

您确定您的脚本会在其他平台上正确输出Unicode吗？ “广泛的印刷品”警告让我非常怀疑。

我建议您查看此概述

Answer 6

为什么在这么多年之后它们不仅仅是简单地调用输出UTF-16 Unicode的Win32 -W API而不是通过ANSI /代码页瓶颈强制一切？

因为Perl和Python不是Windows程序。 他们的Unix程序碰巧主要移植到Windows。 因此，除非必要，否则他们不喜欢调用Win32函数。 对于基于字节的I / O，没有必要; 这可以通过Standard C Libary来完成。 基于UTF-16的I / O是一种特殊情况。

或者-WAP本质上已经破坏到不能按原样使用的程度？

我不会说-WAP本质上已经破坏了，就像我说微软在C（++）中使用Unicode的方法本身就被打破了。

无论Windows开发人员多么坚持程序应该使用wchar_t而不是char ，切换的障碍太多了：

• 平台依赖：
  • 在Windows上使用UTF-16 wchar_t在其他地方使用UTF-32 wchar_t 。 （新的char16_t和char32_t类型可能会有所帮助。）
  • UTF-16文件名函数的_wfopen性如_wfopen ， _wstat等限制了在跨平台代码中使用wchar_t的能力。
• 教育。 Everbody用printf("Hello, world!\\n");学习C printf("Hello, world!\\n"); ，而不是wprintf(L"Hello, world!\\n"); 。 我在大学里使用的C教科书在附录A.13之前从未提及过广泛的字符。
• 现有数以万计的代码行使用char*字符串。

Answer 7

对于Python，跟踪器中的相关问题是http://bugs.python.org/issue1602 （如评论中所述）。 请注意，它开放7年。 我尝试将一个有效的解决方案（基于该问题中的信息）发布为Python包： https ： //github.com/Drekin/win-unicode-console,https ： //pypi.python.org/pypi/win_unicode_console 。

Answer 8

对于Perl来完全支持Windows以这种方式，每一个呼叫print printf say warn和die必须进行修改。

• 这是Windows吗？
• 哪个版本的Windows？ ^{_{Perl仍主要适用于Windows 95}}
• 这是去控制台还是其他地方。

一旦确定了这一点，就必须使用完全不同的API函数集。

如果您真的希望看到正确执行此操作所涉及的所有内容，请查看Win32 :: Unicode :: Console的源代码 。

---

在Linux，OpenBSD，FreeBSD和类似的操作系统上，您通常可以在STDOUT和STDERR文件句柄上调用binmode 。

binmode STDOUT, ':utf8';
binmode STDERR, ':utf8';

^{_{这假设终端使用UTF-8编码。}}

Answer 9

Perl中的Unicode问题

介绍了Win32控制台如何使用Perl以及从ANSI到Unicode的场景后面发生的转码;虽然不仅仅是Perl问题，还会影响其他语言