read.csv.ffdf使用ff和ffbase包卡在R中

Question

我從ff或ffbase包運行了read.csv.ffdf。 但它堅持以下消息

read.table.ffdf 1..1000 (1000)  csv-read=0.15sec ffdf-write=1.24sec
read.table.ffdf 1001..63015 (62015)  csv-read=9.89sec ffdf-write=8.84sec
read.table.ffdf 63016..125030 (62015)  csv-read=8.18sec ffdf-write=6.74sec
read.table.ffdf 125031..187045 (62015)  csv-read=8.15sec ffdf-write=6.72sec
read.table.ffdf 187046..249060 (62015)  csv-read=8.19sec ffdf-write=6.72sec
read.table.ffdf 249061..311075 (62015)  csv-read=8.05sec ffdf-write=7.13sec
read.table.ffdf 311076..373090 (62015)  csv-read=8.26sec ffdf-write=6.73sec
read.table.ffdf 373091..435105 (62015)  csv-read=8.26sec ffdf-write=6.8sec

這些文件包含大約800000行，但為什么它停在這里，從這一點起我無法運行任何東西？

Answer 1

你在使用read.csv.ffdf的transFUN參數嗎？ 如果是，請確保從transFUN返回的行數與進入transFUN的data.frame的行數相同。

說明：當一個塊返回的記錄少於next.rows參數時，read.csv.ffdf的導入會停止，所以如果你在transFUN中進行子集化，它將會停止。 transFUN用於添加派生字段或清理數據，而不是子集。