使用rbind将多个.csv文件加载到R中的单个数据帧中的功能有什么问题？

Question

我编写了以下函数来组合300个.csv文件。 我的目录名是“specdata”。 我已经完成了以下执行步骤，

x <- function(directory) {     
    dir <- directory    
    data_dir <- paste(getwd(),dir,sep = "/")    
    files  <- list.files(data_dir,pattern = '\\.csv')    
    tables <- lapply(paste(data_dir,files,sep = "/"), read.csv, header = TRUE)    
    pollutantmean <- do.call(rbind , tables)         
}

# Step 2: call the function
x("specdata")

# Step 3: inspect results
head(pollutantmean)

Error in head(pollutantmean) : object 'pollutantmean' not found

我的错是什么？ 有人可以解释一下吗？

Answer 1

你的函数中有很多不必要的代码。 您可以将其简化为：

load_data <- function(path) { 
  files <- dir(path, pattern = '\\.csv', full.names = TRUE)
  tables <- lapply(files, read.csv)
  do.call(rbind, tables)
}

pollutantmean <- load_data("specdata")

请注意， do.call + rbind相对较慢。 您可能会发现dplyr::bind_rows或data.table::rbindlist要快得多。

Answer 2

用他与Lionel Henry合着的最近的purrr库中的代码更新Wickham教授的答案：

Tbl <-
    list.files(pattern="*.csv") %>% 
    map_df(~read_csv(.))

如果类型转换是厚脸皮，您可以强制所有列为此字符。

Tbl <-
    list.files(pattern="*.csv") %>% 
    map_df(~read_csv(., col_types = cols(.default = "c")))

如果您想深入子目录来构建最终要绑定的文件列表，那么请确保包含路径名，以及在列表中注册文件及其全名。 这将允许绑定工作在当前目录之外进行。 （将完整的路径名视为像护照一样操作，以允许在目录'边界'之间移动。）

Tbl <-
    list.files(path = "./subdirectory/",
               pattern="*.csv", 
               full.names = T) %>% 
    map_df(~read_csv(., col_types = cols(.default = "c"))) 

正如Wickham教授在这里描述的那样（大约一半）：

map_df(x, f)实际上与do.call("rbind", lapply(x, f))但引擎盖下效率更高。

并感谢Jake Kaupp 在这里向我介绍map_df（）。

Answer 3

```{r echo = FALSE, warning = FALSE, message = FALSE}

setwd("~/Data/R/BacklogReporting/data/PastDue/global/") ## where file are located

path = "~/Data/R/BacklogReporting/data/PastDue/global/"
out.file <- ""
file.names <- dir(path, pattern = ".csv")
for(i in 1:length(file.names)){
  file <- read.csv(file.names[i], header = TRUE, stringsAsFactors = FALSE)
  out.file <- rbind(out.file, file)
}

write.csv(out.file, file = "~/Data/R/BacklogReporting/data/PastDue/global/global_stacked/past_due_global_stacked.csv", row.names = FALSE) ## directory to write stacked file to

past_due_global_stacked <- read.csv("C:/Users/E550143/Documents/Data/R/BacklogReporting/data/PastDue/global/global_stacked/past_due_global_stacked.csv", stringsAsFactors = FALSE)

files <- list.files(pattern = "\\.csv$") %>%  t() %>% paste(collapse = ", ")
```

Answer 4

这可以用tidyverse的dplyr和purrr非常简洁地完成。 其中x是csv文件名称的列表，您只需使用：

bind_rows(map(x, read.csv))

将read.csv映射到x会产生一个dfs列表，bind_rows然后整齐地组合！

Answer 5

如果你的csv文件是在另一个目录中，你可以使用这样的东西：

readFilesInDirectory <- function(directory, pattern){
  files <- list.files(path = directory,pattern = pattern)
  for (f in files){
    file <- paste(directory,files, sep ="")
    temp <- lapply(file, fread, sep=",")
    data <- rbindlist( temp )
  }
  return(data)
}

Answer 6

在您当前的功能中， pollutantmean仅在功能x的范围内可用。 将您的功能修改为此

x <- function(directory) { 

    dir <- directory

    data_dir <- paste(getwd(),dir,sep = "/")

    files  <- list.files(data_dir,pattern = '\\.csv')

    tables <- lapply(paste(data_dir,files,sep = "/"), read.csv, header = TRUE)

    assign('pollutantmean',do.call(rbind , tables))

}

assign应该将do.call(rbind, tables)放入全局环境中名为pollutantmean变量中。