如何处理R中的数百个文件？

Question

我想解析去年的天气数据，这些数据记录在CSV文件中。 每个CSV文件都包含一天的数据。 所以我有365个CSV文件需要解析。 处理这些文件的最佳方法是什么？ 据我所知，我需要将它们全部加载到R中并将它们绑定到一个大数据帧中。 但是我不知道这是否是最好的解决方案。 如果我有超过一年的数据文件怎么办？ 我是否需要将所有这些都加载到内存中？ 还是有其他方法来处理它们？

每个文件约为1M至1.5M。

Answer 1

最简单的方法是使用list.files读取所有文件，将它们读入数据帧列表，然后将所有帧捆绑在一起：

#setwd('dirwithallmycsvs')

x <- list.files(pattern = '.+\\.csv$')

out = lapply(x, read.csv)

out2 = do.call(rbind, out)

现在，您的输出应该是一个数据帧。 您需要注意文件中的所有列都相同。