xmlInternalTreeParse给出“无法加载HTTP资源”，但URL在浏览器中加载

Question

给定两个URL：

iris <- "http://service.iris.edu/fdsnws/event/1/query?starttime=2010-04-04&endtime=2010-04-05"
caltech <- "http://service.scedc.caltech.edu/fdsnws/event/1/query?starttime=2010-04-04&endtime=2010-04-05"

跑步

doc <- xmlInternalTreeParse(iris)

可行，但是

doc <- xmlInternalTreeParse(caltech)

退货

Error: 1: failed to load HTTP resource

尽管两者在我的浏览器中都能正常工作。 此外，使用httr软件包检查状态会显示“ 200”，例如：

> GET(caltech)$status_code
[1] 200
> 

这里发生了什么？ 这导致我的CRAN上的rFDSN软件包出现问题，因此，我非常感谢您提供一些指导！

Answer 1

我可以使以下内容一致地工作：

library(httr)
library(xml2)
library(XML)

UA <- "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.89 Safari/537.36"
res <- GET("http://service.scedc.caltech.edu/fdsnws/event/1/query",
           query=list(starttime="2010-04-04", endtime="2010-04-05"),
           user_agent(UA), verbose())

x_doc <- read_xml(content(res, as="text", encoding="UTF-8"))
ns <- xml_ns_rename(xml_ns(x_doc), d1="def")
xml_find_all(x_doc, ".//def:event", ns)
## {xml_nodeset (118)}
##  [1] <event publicID="quakeml:service.scedc.caltech.edu/fdsnws/even ...
##  [2] <event publicID="quakeml:service.scedc.caltech.edu/fdsnws/even ...
##  [3] <event publicID="quakeml:service.scedc.caltech.edu/fdsnws/even ...
##  [4] <event publicID="quakeml:service.scedc.caltech.edu/fdsnws/even ...
##  [5] <event publicID="quakeml:service.scedc.caltech.edu/fdsnws/even ...
##  [6] <event publicID="quakeml:service.scedc.caltech.edu/fdsnws/even ...
##  [7] <event publicID="quakeml:service.scedc.caltech.edu/fdsnws/even ...
##  [8] <event publicID="quakeml:service.scedc.caltech.edu/fdsnws/even ...
##  [9] <event publicID="quakeml:service.scedc.caltech.edu/fdsnws/even ...
## [10] <event publicID="quakeml:service.scedc.caltech.edu/fdsnws/even ...
## ...

您可以在生产中删除verbose() 。 奇怪的是，用户代理可能会有所作为，但我可以在没有它的情况下使它工作（尽管当它不存在时，该站点错误也会更多）。

注意：

res$times
##      redirect    namelookup       connect   pretransfer starttransfer         total 
##      0.000000      0.001938      0.158912      0.159512     13.198304     13.629542 

也相当一致（每个请求约15秒）。 您可能想使用httr::timeout()强制30多个超时（将其添加到GET()的参数中）。

我知道您正在使用XML包，但您也可能知道其中的名称空间跳动并且：

X_doc <- xmlInternalTreeParse(content(res, as="text", encoding="UTF-8"))

与read_xml()调用一样好（并且始终如一）。