R：如何将 300 个 1GB.rds 文件合并为 1 个大 rds 文件而不将它们读入 memory？

Question

我有 300 多个 .rds 文件，每个文件都具有相同的列名，并希望将它们绑定到一个可以通过 sftp 传输的单个压缩 .rds 文件中。

有没有办法在不将它们读入 memory 的情况下有效地做到这一点？

目前我正在使用以下代码，但这会在写入文件之前最大化 memory。 任何想法都非常感谢。

library(tidyverse)
library(data.table)

df <- list.files(pattern = ".rds") %>%
         map(readRDS) %>% 
         data.table::rbindlist()

    saveRDS(df,"df.rds")

最终我一一阅读并在磁盘上使用read::write_csv("name.csv",append=TRUE)到 append 它们。 之后我使用 {disk.frame} 或 SQL 数据库来处理数据。

Answer 1

正如其他人所评论的那样，附加/合并.rds文件可能是不可能的（或至少非常困难）。 但是，如果它们是简单的列，那么将它们转换为.csv应该会有问题。 在这种情况下，可以附加它们，假设（如您所说）它们具有匹配的列名。

该片段从.rds文件名列表中读取，并将其数据附加到.csv中。 我几乎没有 R 经验，所以我不确定如何管理底层资源，但原则上这种方法应该允许您一次只读取一个文件，从而在构建时将 memory 消耗保持在 ~1GB你的 ~300GB .csv 。

fileNames <- list('test-one.rds', 'test-two.rds')

for (fileName in fileNames)
{
    rds <- readRDS(fileName)
    for (row in rds){
        write(row, file = 'out.csv', append = TRUE)
    }
}

Answer 2

如果您的最终目的是传输数据，请在 sql 服务器中读取和写入数据。

您可以将.rds 转换为.csv 并使用 HeidiSQL 快速导入到结构为 csv 的表中。

然后在另一端，您可以从 SQL 读取数据并再次将它们转换为 .rds 或将 .csv 发送过来。