使用大数据加速as.POSIXct /在data.table中存储为POSIXct的问题

Question

我试图从一个大的.csv（ POSIXct行）中提取POSIXct登录时间的列表，然后使用cut函数将每15分钟的登录次数制成表格。

给定数据集的大小，我正在使用data.table函数。 我设法实现了我的目标，但是遇到了以下一些问题：

#selective fread dt <- fread("foo.csv", colClasses=list(NULL=c(1:5,8:14), "POSIXct"=c(5,6)) )

问题：我试图将2个相关的列存储为POSIXct类，但是它似乎存储为character类：

> class(dt$login_datetime) [1] "character"

我设法通过使用as.POSIXct运行其余的代码，如下所示：

timeLog <- dt[,1, with=FALSE] timeLog<- timeLog[,login_datetime:=as.POSIXct(login_datetime)] tabulate <- data.frame(table(cut(timeLog, breaks="15 mins")))

但是，第二行需要大约12分钟才能在我的计算机上运行。 我需要以类似的方式处理更多的数据集，而12分钟的速度并没有惊人的慢，我很好奇我是否可以加快此过程（缺少硬件升级）。

具体来说，我试图让fread存储相关的列POSIXct直接类和无法。 我在这里无法在data.table小插图中找到有关POSIXct的任何信息。

是否有人可以告诉我1）关于fread和colClasses="POSIXct"我做错了什么，还是2）如果还有其他方法/包可以加快data.table列到POSIXct的转换？

谢谢。

Answer 1

我建议两个选择。

我假设您使用write.csv或类似的东西，写出来时会将POSIXct转换为character 。 这会减慢写和读的速度，因为POSIXct对象实际上是数字而不是字符（更准确地说，它们是POSIXct “纪元”的秒）。 因此，您可以将列转换为numeric ，然后将其写出，并在读POSIXct后转换回POSIXct （这将非常快）。

另一种选择，如果你喜欢写出来的字符列，是使用fastPOSIXct从fasttime加快转换POSIXct 。