在网页中搜索链接，关注它们，然后返回R中没有链接的页面

Question

我正在为rNOMADS软件包编写更新，以包括NOMADS网站上的所有模型。 为此，我必须在html目录树中搜索每个模型。 我不知道这棵树有多深，或它包含多少个分支。 因此，我正在编写一个简单的Web爬网程序，以递归方式在首页上搜索链接，跟随每个链接，并返回没有更多链接的页面的URL。 该页面是模型数据的下载页面。 这是必须搜索的URL 的示例 。

我想获得该网页下面所有网页的地址。 我尝试了这段代码：

library(XML)
url <- "http://nomads.ncep.noaa.gov/cgi-bin/filter_cmcens.pl"

WebCrawler <- function(url) {
    doc <- htmlParse(url)
    links <- xpathSApply(doc, "//a/@href")
    free(doc)
    if(is.null(links)) { #If there are no links, this is the page we want, return it!
        return(url)
    } else {
       for(link in links) { #Call recursively on each link found
           print(link)
           return(WebCrawler(link))
        }
    }
}

但是，我还没有找到返回所有“死角”页面列表的好方法。 相反，此代码将仅返回一个模型页面，而不返回它们的整个列表。 我可以声明一个全局变量并将URL保存到该变量，但是我想知道是否有更好的方法可以解决此问题。 我应该如何构造此函数以为我提供每个页面的列表？

Answer 1

您的错误在于递归：

## THIS IS INCORRECT
for(link in links) { #Call recursively on each link found
           print(link)
           return(WebCrawler(link))   <~~~ Specifically this line
        }

这里没有递归属性，您只是沿着单个分支进行深入研究。

      *
    /   \
    \
     \
      \ 
       \
        * 

您不想返回 WebCrawler(link)的值。
而是要捕获该值，然后返回值的集合。

ret <- vector("list", length=length(links))
for(link in links) { #Call recursively on each link found
           print(link)
           ret[[link]] <-  WebCrawler(link)   <~~~ Specifically this line
        }
return(ret) # or  return(unlist(ret))

更新：

可能值得考虑一下最终输出的期望值？ 您将获得一个嵌套列表。 如果只需要末端节点，则可以unlist(.. recursive=TRUE, use.names=FALSE) ，甚至可以取消列出，但这可能会使您的速度进一步降低。 可能值得对其进行基准测试。