繁体   English   中英

保存/加载data.table的最快方法

[英]Fastest way to save/load data.table

我想要做的是实际使用最快的方法来存储data.table s以便进一步处理。

有点像:

  1. 从CSV / RDS中读取原始数据。
  2. 将其转换为data.table
  3. 将其保存为为重新读取而优化的格式(RDS似乎不适用于data.table ,是吗?还有其他二进制选项吗?)
  4. 继续使用步骤#3中的文件,直接将其作为data.table读取,进行切片,分组,绘图,...

步骤3的最佳选择是什么?

好的,这里是我正在使用的特定数据集的一些测量。 它最初是在RDS中,读取它需要60多秒。

之后,DT被保存为内部XDR以及SQLite数据库,两者都是未压缩的。

  1. save()/ load()对最快,加载11.7-11.8秒

  2. SQLite(dbReadTable)非常接近,12.0-12.1秒。 使用DB的文件大小减小了约30%,因此我可以想象SQLite比save()/ load()更快的情况。

现在save()/ load()适合我,它也保留了类

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM