在Ruby中处理编码

Question

我的弦子好坏

处理我的坏弦

bad.encode("iso-8859-1").force_encoding("utf-8")

使其可读

如果我做

good.encode("iso-8859-1").force_encoding("utf-8")

我收到Encoding::UndefinedConversionError: U+05E2 from UTF-8 to ISO-8859-1

好的字符串和坏的字符串开头都是UTF-8，但是好的字符串是可读的，而坏的字符串则是坏的。

我不知道如何检测字符串是否正确，我正在尝试找到一种处理字符串并使其以正确编码可读的方法

这样的东西

if needs_fixin?(str)
  str.encode("iso-8859-1").force_encoding("utf-8")
else
  str
end

我能想到的唯一一件事就是捕获异常，跳过编码固定部分，但我不希望代码故意有异常。

类似str.try(:encode, "iso-8859-1").force_encoding("utf-8") rescue str

坏字符串就像

×¢×××× ×¢×¥ ×'××¤×¡× ×פת×ר ×× ××רק××

Answer 1

我怀疑您的问题是双编码字符串。 由于种种原因，这非常糟糕，但是这里的tl; dr并不是完全可修复的，您应该尽可能解决字符串被双重编码的根本问题。

这将产生一个带有UTF-8字符的双编码字符串：

> str = "汉语 / 漢語"
 => "汉语 / 漢語"
> str.force_encoding("iso-8859-1")
 => "\xE6\xB1\x89\xE8\xAF\xAD / \xE6\xBC\xA2\xE8\xAA\x9E"
> bad = str.force_encoding("iso-8859-1").encode("utf-8")
 => "æ±\u0089语 / æ¼¢èª\u009E"

然后，您可以通过将双重编码的UTF-8重新解释为ISO-8859-1并声明其编码实际上是UTF-8来解决此问题。

> bad.encode("iso-8859-1").force_encoding("utf-8")
 => "汉语 / 漢語"

但是您不能将实际的UTF-8字符串转换为ISO-8859-1，因为UTF-8中有一些代码点，ISO-8859-1没有任何明确的编码方式

> str.encode("iso-8859-1")
Encoding::UndefinedConversionError: ""\xE6\xB1\x89"" from UTF-8 to ISO-8859-1

现在，您实际上无法一直检测并解决此问题，因为“无法判断结果是来自错误地对一个字符进行双重编码还是正确地对两个字符进行了单一编码。”

因此，最好的选择就是启发式。 Borshuno的建议在这里不起作用，因为它实际上会破坏不可转换的字节：

> str.encode( "iso-8859-1", fallback: lambda{|c| c.force_encoding("utf-8")} )
 .0=> " / "

如果可能的话，最好的做法是修复双重编码问题，以使它根本不会发生。 下一个最佳做法是，如果您怀疑BOM字节可能会被双重编码，则将BOM字节添加到UTF-8字符串中，因为您可以检查这些字节并确定您的字符串是否已被重新编码。

> str_bom = "\xEF\xBB\xBF" + str
 => "汉语 / 漢語"
> str_bom.start_with?("\xEF\xBB\xBF")
 => true
> str_bom.force_encoding("iso-8859-1").encode("utf-8").start_with?("\xEF\xBB\xBF")
 => false

如果可以假定BOM在“适当”字符串中，则可以通过检查BOM是否存在来检查双重编码。 如果不是（即已被重新编码），则可以执行解码例程：

> str_bom.force_encoding("iso-8859-1").encode("utf-8").encode("iso-8859-1").force_encoding("utf-8").start_with?("\xEF\xBB\xBF")
 => true

如果无法确定BOM，则可以使用启发式方法，通过计算不可打印的字符或超出正常预期结果集的字符来猜测字符串是否为“不良”字符（您的字符串看起来像它处理希伯来语；您可以说，例如，由> 50％的非希伯来字母组成的任何字符串都经过双重编码），因此您可以尝试对其进行解码。

最后，您将不得不退回到异常处理，并希望知道据称是双重编码时声明了哪种编码的字符串：

str = "汉语 / 漢語"
begin
  str.encode("iso-8859-1").encode("utf-8")
rescue Encoding::UndefinedConversionError
  str
end

但是，即使您知道字符串是双重编码的，如果您不知道在转换为UTF-8时未正确声明的编码，也无法执行相反的操作：

> bad_str = str.force_encoding("windows-1252").encode("utf-8")
 => "汉语 / 漢語"
> bad_str.encode("iso-8859-1").force_encoding("utf-8")
Encoding::UndefinedConversionError: "\xE2\x80\xB0" from UTF-8 to ISO-8859-1

由于字符串本身不包含有关错误编码的任何信息，因此您没有足够的信息来可靠地对其进行求解，因此只能遍历最可能的编码列表并通过启发式方式检查的结果每次成功使用希伯来语启发式方法进行重新编码。

为了回应我链接的帖子：字符编码很难。