將 6GB SPSS (.dta) 數據集讀入 R

Question

我的 iMac（操作系統：Catalina 10.15.4）處理器（3.1 GHz）上有一個 6.1 GB 的大數據文件我嘗試了多種方法將文件讀入我的 R 全局環境。

library(foreign)
data <- read.dta(file = "File.dta", missing.type = TRUE)

install.packages("readstata13")
library(readstata13)
data <- read.dta13(file = "File.dta")

library(haven)
data <- read_dta('File.dta')

library(memisc)
data <- as.data.frame(file = "File.dta")

我得到一個錯誤的每一種方式：錯誤：向量 memory 用盡（達到限制？）

我嘗試使用以下代碼來解決此問題，以增加我使用的 memory：

memory.limit(size = 12000) #This is a Windows only command
Sys.setenv('R_MAX_VSIZE'=32000000000)
options(scipen = 999)

但這些都沒有奏效。

有沒有人在 Mac 上遇到過這個問題並且能夠解決這個問題？

Answer 1

最好的方法是只讀取選定的數據列：

data <- read_dta("032720.dta", col_select=c("WP5AA","YEAR_WAVE", "WP16", "WP18", "WP23",
                                                            "WP2319", "INCOME_5", "WP119",
                                                            "WP5358", "WP128", "EMP_2010",
                                                            "WP1219", "WP1220", "WP1223", "WP1230", 
                                                            "WP1233Recoded", "income_2", "WP3117", "WP60", "WP63", "WP67"))