Ruby 将 CSV 文件读取为 UTF-8 和/或将 ASCII-8Bit 编码转换为 ZAE3B3DF9970B49BC9523E607DZ

Question

我正在使用 ruby 1.9.2

我正在尝试解析包含一些法语单词（例如 spécifié）的 CSV 文件并将内容放在 MySQL 数据库中。

当我从 CSV 文件中读取这些行时，

file_contents = CSV.read("csvfile.csv", col_sep: "$")

元素以ASCII-8BIT编码的字符串形式返回（spécifié 变为 sp\xE9cifi\xE9），然后像“spécifié”这样的字符串没有正确保存到我的 MySQL 数据库中。

Yehuda Katz说 ASCII-8BIT 是真正的“二进制”数据，这意味着 CSV 不知道如何读取适当的编码。

因此，如果我尝试让 CSV 强制编码如下：

file_contents = CSV.read("csvfile.csv", col_sep: "$", encoding: "UTF-8")

我收到以下错误

ArgumentError: invalid byte sequence in UTF-8: 

如果我 go 回到我原来的 ASCII-8BIT 编码字符串并检查我的 CSV 读取为 ASCII-8BIT 的字符串，它看起来像这个“Non sp\xE9cifi\xE9”而不是“Non spécifié”。

我无法通过执行此"Non sp\xE9cifi\xE9".encode("UTF-8")将 "Non sp\xE9cifi\xE9" 转换为 "Non spécifié"

因为我收到此错误：

Encoding::UndefinedConversionError: "\xE9" from ASCII-8BIT to UTF-8 ,

Katz 表示会发生这种情况，因为 ASCII-8BIT 并不是真正正确的字符串“编码”。

问题：

1. 我可以让 CSV 以适当的编码读取我的文件吗？ 如果是这样，怎么做？
2. 如何将 ASCII-8BIT 字符串转换为 UTF-8 以便在 MySQL 中正确存储？

Answer 1

deceze是对的，即 ISO8859-1（AKA Latin-1）编码文本。 尝试这个：

file_contents = CSV.read("csvfile.csv", col_sep: "$", encoding: "ISO8859-1")

如果这不起作用，您可以使用Iconv来修复单个字符串，如下所示：

require 'iconv'
utf8_string = Iconv.iconv('utf-8', 'iso8859-1', latin1_string).first

如果latin1_string是"Non sp\xE9cifi\xE9" ，那么utf8_string将是"Non spécifié" 。 此外， Iconv.iconv可以一次解开整个 arrays：

utf8_strings = Iconv.iconv('utf-8', 'iso8859-1', *latin1_strings)

使用较新的红宝石，您可以执行以下操作：

utf8_string = latin1_string.force_encoding('iso-8859-1').encode('utf-8')

其中latin1_string认为它是 ASCII-8BIT 但实际上是 ISO-8859-1。

Answer 2

随着 ruby >= 1.9 你可以使用

file_contents = CSV.read("csvfile.csv", col_sep: "$", encoding: "ISO8859-1:utf-8")

ISO8859-1:utf-8的意思是： csv 文件是 ISO8859-1 编码的，但将内容转换为 utf-8

如果您喜欢更详细的代码，可以使用：

file_contents = CSV.read("csvfile.csv", col_sep: "$", 
    external_encoding: "ISO8859-1", 
    internal_encoding: "utf-8"
  )

Answer 3

我已经处理这个问题一段时间了，但没有任何其他解决方案对我有用。

诀窍是将冲突字符串存储在二进制文件中，然后正常读取文件并使用此字符串提供给 CSV 模块：

tempfile = Tempfile.new("conflictive_string")
tempfile.binmode
tempfile.write(conflictive_string)
tempfile.close
cleaned_string = File.read(tempfile.path)
File.delete(tempfile.path)
csv = CSV.new(cleaned_string)