在 for 循环中为文件列表添加一个包含文件名的新列

Question

我有一个时间序列数据。 我将数据存储在每月文件夹中每日子文件夹下的 txt 文件中。

setwd(".../2018/Jan")
parent.folder <-".../2018/Jan"  
sub.folders <- list.dirs(parent.folder, recursive=TRUE)[-1] #To read the sub-folders under parent folder
r.scripts <- file.path(sub.folders)
A_2018 <- list()
for (j in seq_along(r.scripts)) {
  A_2018[[j]] <- dir(r.scripts[j],"\\.txt$")}

在这些.txt 文件中，我使用以下代码删除了一些我不想用于进一步分析的文件。

trim_to_two <- function(x) {
  runs = rle(gsub("^L1_\\d{4}_\\d{4}_","",x))
  return(cumsum(runs$lengths)[which(runs$lengths > 2)] * -1)
}

A_2018_new <- list()
for (j in seq_along(A_2018)) {
  A_2018_new[[j]] <- A_2018[[j]][trim_to_two(A_2018[[j]])]
  }

然后，我想通过 for 循环对 whole.txt 文件进行行绑定。 在此之前，我想删除每个 txt 文件中的一些行，并添加一个包含文件名的新列。 以下是我的代码。

for (i in 1:length(A_2018_new)) {
  
  for (j in 1:length(A_2018_new[[i]])){
       
    filename <- paste(str_sub(A_2018_new[[i]][j], 1, 14))
        
    assign(filename, read_tsv(complete_file_name, skip = 14, col_names = FALSE), 
           )
    
    Y <- r.scripts %>% str_sub(46, 49)
    MD <- r.scripts %>% str_sub(58, 61)
    HM <- filename %>% str_sub(9, 12)
    Turn <- filename %>% str_sub(14, 14)
    time_minute <- paste(Y, MD, HM, sep="-")
    
    Map(cbind, filename, SampleID = names(filename))
    }
} 

但我没有得到我想要的 output。我尝试使用其他示例进行编码。 任何人都可以帮助解释我的代码丢失了什么。

Answer 1

您的代码对于它正在做的事情来说似乎过于复杂。 然而，您的问题并不是 100% 清楚（例如，您的文件名中的模式决定了要导入什么，什么不导入？）。 以下是一些可以大大简化代码并可能避免您遇到的问题的指示。

使用 purrr package 中的purrr lapply()或map()来迭代而不是 for 循环。 好处是它将不同的数据框放在一个列表中，您不需要将多个数据框分配到环境中它们自己的对象中。 由于您标记了 tidyverse，我们将使用purrr函数。

library(tidyverse)

例如，您可以使用类似的方法检索 txt 文件路径

txt_files <- list.files(path = 'data/folder/', pattern = "txt$", full.names = TRUE) # Need to remove those files you don't with whatever logic applies

然后使用map()和read_tsv()从readr像这样：

mydata <- map(txt_files, read_tsv)

然后对于您的操作，您可以再次使用lapply()或map()将该操作应用于每个数据框。 最简单的方法是创建自定义 function，然后将其应用于每个数据框：

my_func <- function(df, filename) {
  df |>
    filter(...) |> # Whatever logic applies here
    mutate(filename = filename)
}

然后使用map2()应用此 function，遍历数据和文件名，然后list_rbind()绑定数据帧。

mydata_output <- map2(mydata, txt_files, my_func) |>
  list_rbind()