使用 R 遍历来自 csv 的 URL 列表，打开 URL，并评估这些站点是否包含某个文本字符串

Question

这可能是一个简单的 R 问题，但我仍在学习。

我在 CSV 中有一长串来自 EPA 的 URL，这些 URL 链接到特定的排放许可/设施。 CSV 的每一行都包含一个 URL。 一些 URL go 到一个活动页面，其中包含有关可用设施的信息和其他（我最终有兴趣识别的那些） go 到一个页面，上面写着“没有为 NPDES 找到程序设施 - [许可证号]”。

I want to use R to go through this csv list of URLs, open each URL, and return a TRUE or FALSE value regarding whether the URL is good or not. “坏” URL 取决于页面是否返回“未找到程序设施”文本。 理想情况下，可以将返回的 TRUE 或 FALSE 值添加到站点 URL 旁边的列中，这样我就可以轻松地通过 go 并识别哪些是好的链接，哪些不是。

我将不胜感激您可能对从哪里开始提出的任何建议！

我能够使用 library(httr) 将其设置为一次使用单个链接。

# Bad URL

site1 <- GET("https://iaspub.epa.gov/enviro/fii_query_dtl.disp_program_facility?pgm_sys_id_in=VA0086738&pgm_sys_acrnm_in=NPDES")
contents1 <- content(site1, "text")
any(grepl("No program facility found", contents1))
# [1] TRUE

# Good URL
site2 <- GET("https://iaspub.epa.gov/enviro/fii_query_dtl.disp_program_facility?pgm_sys_id_in=VAG401896&pgm_sys_acrnm_in=NPDES")
contents2 <- content(site2, "text")
any(grepl("No program facility found", contents2))
# [1] FALSE

Answer 1

这是一个仅包含您提供的两个链接的解决方案：

 library(httr) 

我写了以下几行来编写一个供其他读者使用的数据集（您可以跳过此并从下一个代码块开始）：

#stackoverflow_question_links<- data.frame("Links"=c("https://iaspub.epa.gov/enviro/fii_query_dtl.disp_program_facility?pgm_sys_id_in=VA0086738&pgm_sys_acrnm_in=NPDES","https://iaspub.epa.gov/enviro/fii_query_dtl.disp_program_facility?pgm_sys_id_in=VAG401896&pgm_sys_acrnm_in=NPDES"))
#write.csv(stackoverflow_question_links, "stackoverflow_question_links.csv")

假设您的数据集名为“stackoverflow_question_links.csv”，我们开始将其读入 R：

fileName <- "stackoverflow_question_links.csv"
con <- file(fileName,open="r")
lin <-readLines(con)
save<-NULL #initialize save, to save the links with their status (true/false)
for (i in 2:length(lin)){
  site <- GET(lin[i])
  contents <- content(site, "text")
  save<-rbind(save, data.frame("Link" = lin[i],"Status"=any(grepl("No program facility found", contents))))
}
close(conn)
View(save) #or write.csv(save, "links_status.csv") 

Answer 2

我们也可以使用rvest来做到这一点。 Assuming your data is called df and all the links are present in url column of the data, we can create a new column ( text_found ) in the dataframe which indicates whether the text ( 'No program facility found' ) was found on that url or不是。 因此，如果在 URL 中找不到该文本，那么它是一个很好的 url，反之亦然。

library(rvest)
library(dplyr)

df %>%
    mutate(text_found = purrr::map_lgl(url, ~  .x %>% read_html %>% 
                      html_text() %>%  grepl('No program facility found', .)),
           Good_URL = !text_found)


                                  url       text_found    Good_URL
1 https://iaspub.epa.gov/enviro......             TRUE       FALSE
2 https://iaspub.epa.gov/enviro......            FALSE        TRUE

数据

df <- data.frame(url = c("https://iaspub.epa.gov/enviro/fii_query_dtl.disp_program_facility?pgm_sys_id_in=VA0086738&pgm_sys_acrnm_in=NPDES", 
                         "https://iaspub.epa.gov/enviro/fii_query_dtl.disp_program_facility?pgm_sys_id_in=VAG401896&pgm_sys_acrnm_in=NPDES"), 
                 stringsAsFactors = FALSE)