R計算經過時間

Question

為了更好地理解，也許有人可以解釋為什么我的R代碼經過時間不是線性的:)

url <- c(NA)
id <- c(NA)
time <- c(NA)
j <- 1
l <- 1
id_p <- ""
for(i in 1:nrow(cookies_history)){
  if(i%%50000==0){
    print(i)
    print(Sys.time())
  }
  url_p <- substring(as.character(cookies_history$V3[i]), first=8) 
  url_p <- substring(url_p,first=1, last= regexpr("/",url_p)[1]-1)
  if(cookies_history$V1[i]!=id_p){
    id_p <- cookies_history$V1[i]
    id[j] <- cookies_history$V1[i]
    url[j] <- url_p
    time[j] <- cookies_history$V2[i]
    j <- j+1
    url_p2 <- url_p
  }else{
    if(url_p!=url_p2){
      id[j] <- cookies_history$V1[i]
      url[j] <- url_p
      time[j] <- cookies_history$V2[i]
      j <- j+1
      url_p2 <- url_p
    }
  }    
} 

這是Cookie數據，其中V1為用戶ID，V2-日期時間和V3-完整網址。 在此函數打印結果：

50000
[1] "2016-01-19 19:42:28 EET"
[1] 100000
[1] "2016-01-19 19:42:58 EET"
[1] 150000
[1] "2016-01-19 19:43:31 EET"
[1] 200000
[1] "2016-01-19 19:44:23 EET"
[1] 250000
[1] "2016-01-19 19:45:20 EET"
[1] 300000
[1] "2016-01-19 19:46:24 EET"
[1] 350000
[1] "2016-01-19 19:47:37 EET"
[1] 400000
[1] "2016-01-19 19:48:53 EET"
[1] 450000
[1] "2016-01-19 19:51:00 EET"
[1] 500000
[1] "2016-01-19 19:53:22 EET"
[1] 550000
[1] "2016-01-19 19:56:18 EET"
[1] 600000
[1] "2016-01-19 19:58:50 EET"
[1] 650000
[1] "2016-01-19 20:02:04 EET"
[1] 700000
[1] "2016-01-19 20:05:14 EET"
[1] 750000
[1] "2016-01-19 20:09:17 EET"
[1] 800000
[1] "2016-01-19 20:13:14 EET"
[1] 850000
[1] "2016-01-19 20:17:18 EET"
[1] 900000
[1] "2016-01-19 20:21:59 EET"
[1] 950000
[1] "2016-01-19 20:26:33 EET"
[1] 1000000
[1] "2016-01-19 20:31:52 EET"
[1] 1050000
[1] "2016-01-19 20:36:50 EET"
[1] 1100000
[1] "2016-01-19 20:42:21 EET"
[1] 1150000
[1] "2016-01-19 20:47:33 EET"
[1] 1200000
[1] "2016-01-19 20:53:21 EET"
[1] 1250000
[1] "2016-01-19 20:59:49 EET"
[1] 1300000
[1] "2016-01-19 21:07:10 EET"
[1] 1350000
[1] "2016-01-19 21:16:30 EET"
[1] 1400000
[1] "2016-01-19 21:25:56 EET"
[1] 1450000
[1] "2016-01-19 21:34:50 EET"
[1] 1500000
[1] "2016-01-19 21:46:01 EET"
[1] 1550000

我猜想用R進行這種提取是不值得的嗎？ （由於我的研究，我想提取10 Gb的csv數據文件）示例：

structure(list(V1 = c(-2138197066L, -2138197066L, -2138197066L, 
-2138197066L, -2138197066L, -2138197066L, -2138197066L, -2138197066L, 
-2138197066L, -2138197066L), V2 = structure(c(8L, 9L, 10L, 7L, 
3L, 12L, 1L, 13L, 14L, 2L), .Label = c("2013-07-03 18:48:57", 
"2013-07-03 18:50:30", "2013-07-08 00:02:23", "2013-07-08 00:04:37", 
"2013-07-08 00:04:39", "2013-07-08 00:06:33", "2013-07-08 00:13:28", 
"2013-07-15 15:06:33", "2013-07-15 15:08:18", "2013-07-15 15:08:21", 
"2013-07-16 10:31:20", "2013-07-21 13:02:50", "2013-07-22 08:37:54", 
"2013-07-22 08:39:02", "2013-07-22 23:34:27", "2013-07-23 00:17:36", 
"2013-07-23 00:17:37", "2013-07-23 09:45:59", "2013-07-23 10:59:28"
), class = "factor"), V3 = structure(c(2L, 5L, 5L, 7L, 2L, 3L, 
2L, 8L, 11L, 4L), .Label = c("http://aka-cdn-ns.adtech.de/apps/415/Ad9253791St3Sz16Sq104537573V0Id1/iframe.html?adclick=http://adserver.adtech.de/adlink%7C323%7C4233738%7C0%7C16%7CAdId=9253791;BnId=1;itime=234786428;key=key1+key2+key3+key4;nodecode=yes;link=&adclickesc=http%3A//adserver.adtech.de/adlink%7C323%7C4233738%7C0%7C16%7CAdId%3D9253791%3BB", 
"http://ekstrabladet.dk/", "http://ekstrabladet.dk/biler/bil_anmeldelser/article2045233.ece", 
"http://ekstrabladet.dk/flash/dkkendte/article2030174.ece", "http://ekstrabladet.dk/flash/udlandkendte/article2038591.ece", 
"http://ekstrabladet.dk/flash/udlandkendte/article2047659.ece", 
"http://ekstrabladet.dk/musik/koncert_anmeldelser/article2034295.ece", 
"http://ekstrabladet.dk/nyheder/samfund/article2046966.ece", 
"http://ekstrabladet.dk/nyheder/samfund/article2048290.ece", 
"http://ekstrabladet.dk/sport/anden_sport/motorsport/formel_et/article2035091.ece", 
"http://ekstrabladet.dk/vrangen/article2046810.ece", "http://newz.dk/"
), class = "factor")), .Names = c("V1", "V2", "V3"), row.names = c(NA, 
10L), class = "data.frame")

Answer 1

如果不進行概要分析，這很難說，但是正如josilber早先的評論所指出的那樣，R難以應對大數據的快速增長。

重新運行，在前三行嘗試以下替代方法。 預分配正確類別的空白：

url <- rep(as.character(NA),nrow(cookies_history))
id <- rep(as.integer(NA),nrow(cookies_history))
time <- rep(as.character(NA),nrow(cookies_history))

（我假設使用url，id和time變量類；如果沒有，請替換正確的as.xxxx（）函數）。

不需要為每個url [i]預先分配虛擬數據，因為在后台，每個url [i]實際上是一個指向字符向量的指針。 更改特定url [i]元素的內容不會更改url向量的整體結構，因此處理開銷與覆蓋單個變量沒有什么不同。 （有關詳細信息，請參見http://adv-r.had.co.nz/C-interface.html#c-data-structures ）。

調整url（以及id和時間）向量的大小（通過添加元素）需要定期重新構建整個向量。

tl; dr即時建立或調整向量的大小很昂貴。