Swift 中的高性能 TSV/CSV 解析器

Question

我需要读取超过 20,000 个单独的 TSV 文件，每个文件大约有 100,000 行。

因此，解析速度至关重要，到目前为止，我尝试的结果很差。 我希望使用 gunzip() 解压缩每个文件是这个过程中最慢的部分。

//(takes about 0.015 seconds per file)
let ucblob: Data = try blob.gunzipped() // this gunzips the file and returns it as Data() 
//ucblob is a single tsv file (with approximately 100000 rows and 25 columns)

//(takes about 6.5 seconds)
// this uses the ublob data directly to parse with "\n" and "\t"
let newlinedata = UInt8(ascii: "\n")
let tabdata = UInt8(ascii: "\t")
for line in ucblob.split(separator: newlinedata) {
    line.split(separator: tabdata)
}

//(takes about 2.5 seconds)
let stringarray = String(decoding: ucblob, as: UTF8.self)
for line in (stringarray.components(separatedBy: "\n")) {
    line.components(separatedBy: "\t")
}

由于某些原因，转换为 Swift 字符串 API 比直接对数据使用 .split 更快。

在 Swift 中执行此操作的绝对最快方法是什么？

我既好奇又避免在 C 中编写它，因为如果我正确实现它，Swift 应该同样快。

Answer 1

您可能想尝试将压缩后的数据转储到文件中并逐行读取。 这样您可能会获得更好的性能，但至少可以节省内存。

要逐行阅读，您可以假设您拥有压缩数据的路径：

func parseFile(atPath path: String) {
    guard let file = freopen(path, "r", stdin) else { return }
    defer { fclose(file) }
    while let line = readLine() {
        _ = line.split(separator: "\t")
    }
}

如果这对您不起作用，您可能想尝试用split(separator:)替换对components(separatedBy:)的调用。 我发现它在String上表现更好。

另外，请确保您已启用优化。

启用优化后，直接解析Data时会得到最好的结果。 解析String要慢得多。 当优化关闭时，我会得到不同的结果。

最后，确保查看内存占用。 用文件数据解析大字符串会增加你的使用量。

Answer 2

无论拆分字符串还是原始数据，您可能需要考虑以下几点：

表现：

• 分块解压缩，并将每个块发送到流式 CSV 解析器（而不是在开始解析之前完全解压缩）。 在任何非平凡的输入大小下，这种方法都快得多，并且消耗更少（和固定数量）memory。在大文件上，我希望这种变化产生 10 倍到 100 倍更好的性能。

• 利用 SIMD。 在撰写本文时尚未在 Swift 中找到一个，但如果您改变主意重新使用 C，您可以尝试https://github.com/liquidaty/zsv （免责声明：我是其主要开发人员）。 使用 SIMD，与非 SIMD 方法相比，您应该能够获得至少 5-10 倍的额外性能提升。

正确性：

• CSV 和 TSV 都是模棱两可的术语，但对于每个术语，最流行的“风味”支持可能包含嵌入的换行符或定界符的引用值（并且在处理“格式错误”CSV 时可能会有进一步的变化，例如this"iscell1,this"iscell"2,thisiscell3,"this,isnormal" ）。除非您确定不需要引号处理，否则简单的split()调用迟早会产生不正确的结果。您最好使用库支持报价处理