如何预处理FasterCSV的CSV数据？

Question

我们在为小应用程序创建批量上传功能时遇到了大量问题。 我们正在使用FasterCSV gem将数据上传到MySQL数据库，但他更快的CSV是如此抽象和精确的要求，它不断打破格式错误的CSV错误和超时错误。

csv文件通常是由用户从他们的网站或Microsoft Word文档粘贴文本创建的，因此期望数据中永远不会出现诸如智能引号或重音之类的奇怪字符是不合理的。 此外，用户无法轻易识别他们的数据是否足以满足FasterCSV的要求。 我们需要找到一种方法来自动修复它们。

在使用FasterCSV gem进程之前，是否有一种好的方法或可靠的工具来预处理CSV数据以修复数据中的任何nits？

Answer 1

在标准库中尝试CSV库。 它对格式错误的CSV更加宽容： http ： //ruby-doc.org/stdlib/libdoc/csv/rdoc/index.html

Answer 2

尝试使用smarter_csv Gem - 您可以在使用它之前将块传递给它的PROCESS方法并清理数据

https://github.com/tilo/smarter_csv

Answer 3

在创建FasterCsv解析器的新实例时，您可以将文件的编码类型传递到FasterCSV选项中。 （参见此处的文档： http ： //fastercsv.rubyforge.org/classes/FasterCSV.html#M000018 ）

将其设置为utf-8或Microsoft编码应该让它通过大多数狡猾的额外字符，允许它实际解析为您需要的字符串...然后您可以清除字符串到您心脏的内容。

在你可以传递的关于“转换器”的文档中也有一些东西 - 虽然这更多地是为了转换数字或日期类型，你可以使用它来为gsub提供狡猾的字符。