read.csv.ffdf使用ff和ffbase包卡在R中

Question

我从ff或ffbase包运行了read.csv.ffdf。 但它坚持以下消息

read.table.ffdf 1..1000 (1000)  csv-read=0.15sec ffdf-write=1.24sec
read.table.ffdf 1001..63015 (62015)  csv-read=9.89sec ffdf-write=8.84sec
read.table.ffdf 63016..125030 (62015)  csv-read=8.18sec ffdf-write=6.74sec
read.table.ffdf 125031..187045 (62015)  csv-read=8.15sec ffdf-write=6.72sec
read.table.ffdf 187046..249060 (62015)  csv-read=8.19sec ffdf-write=6.72sec
read.table.ffdf 249061..311075 (62015)  csv-read=8.05sec ffdf-write=7.13sec
read.table.ffdf 311076..373090 (62015)  csv-read=8.26sec ffdf-write=6.73sec
read.table.ffdf 373091..435105 (62015)  csv-read=8.26sec ffdf-write=6.8sec

这些文件包含大约800000行，但为什么它停在这里，从这一点起我无法运行任何东西？

Answer 1

你在使用read.csv.ffdf的transFUN参数吗？ 如果是，请确保从transFUN返回的行数与进入transFUN的data.frame的行数相同。

说明：当一个块返回的记录少于next.rows参数时，read.csv.ffdf的导入会停止，所以如果你在transFUN中进行子集化，它将会停止。 transFUN用于添加派生字段或清理数据，而不是子集。