r 中的网页抓取（带循环）

Question

我试图对奥巴马的演讲页面进行网络抓取，以创建诸如 wordclouds 之类的内容。当我尝试为 1、5、10 个不同的页面（演讲）而不是在循环中分别进行时，代码有效。 但是使用我创建的这个循环（上面），结果对象不包含任何内容（ NULL ）。

有人可以帮帮我好吗？

library(wordcloud)
library(tm)
library(XML)
library(RCurl)

site <- "http://obamaspeeches.com/"
url <- readLines(site)

h <- htmlTreeParse(file = url, asText = TRUE, useInternalNodes = TRUE, 
    encoding = "utf-8")

# getting the phrases that will form the web adresses for the speeches
teste <- data.frame(h[42:269, ])
teste2 <- teste[grep("href=", teste$h.42.269...), ]
teste2 <- as.data.frame(teste2)
teste3 <- gsub("^.*href=", "", teste2[, "teste2"])
teste3 <- as.data.frame(teste3)
teste4 <- gsub("^/", "", teste3[, "teste3"])
teste4 <- as.data.frame(teste4)
teste5 <- gsub(">.*$", "", teste4[, "teste4"])
teste5 <- as.data.frame(teste5)

# loop to read pages

l <- vector(mode = "list", length = nrow(teste5))
i <- 1
for (i in nrow(teste5)) {
    site <- paste("http://obamaspeeches.com/", teste5[i, ], sep = "")
    url <- readLines(site)
    l[[i]] <- url
    i <- i + 1
}

str(l)

Answer 1

rvest包通过抓取和解析使这变得相当简单，尽管可能需要一些 CSS 或 XPath 选择器的知识。 这是比在 HTML 上使用正则表达式更好的方法，不鼓励使用适当的 HTML 解析器（如rvest ！）。

如果您试图抓取一堆子页面，您可以制作一个 URL 向量，然后将其lapply以抓取和解析每个页面。 这种方法的优点（相for循环）是它为每次迭代返回一个包含一个项目的列表，这将更容易处理。 如果你想要完整的 Hadleyverse，你可以使用purrr::map代替，它可以让你把它全部变成一个大的顺序链。

library(rvest)

baseurl <- 'http://obamaspeeches.com/' 

         # For this website, get the HTML,
links <- baseurl %>% read_html() %>% 
    # select <a> nodes that are children of <table> nodes that are aligned left,
    html_nodes(xpath = '//table[@align="left"]//a') %>% 
    # and get the href (link) attribute of that node.
    html_attr('href')

            # Loop across the links vector, applying a function that
speeches <- lapply(links, function(url){
    # pastes the ULR to the base URL,
    paste0(baseurl, url) %>% 
    # fetches the HTML for that page,
    read_html() %>% 
    # selects <table> nodes with a width of 610,
    html_nodes(xpath = '//table[@width="610"]') %>% 
    # get the text, trimming whitespace on the ends,
    html_text(trim = TRUE) %>% 
    # and break the text back into lines, trimming excess whitespace for each.
    textConnection() %>% readLines() %>% trimws()
})