[英]Reading table from https webpage using readHTMLTable
我安裝了R 3.3.1並且正在使用RStudio 0.99.903。 我正在嘗試從以下URL讀取R表: https : //www.fantasypros.com/nfl/rankings/consensus-cheatsheets.php
(我很清楚,有一個下載按鈕,但是,這對我來說不是一個選項)
去年我使用readHTMLTable函數很容易做到這一點。 但是,在那個時候,該站點從使用http更改為https,這導致“XML內容不會成為XML”錯誤。
我嘗試了這里建議的內容: 將url表轉換為`data.frame` R-XML-RCurl
library(XML)
library(RCurl)
url <- getURL("https://www.fantasypros.com/nfl/rankings/consensus-cheatsheets.php")
df <- readHTMLTable(URL, header = T)
get URL函數返回一個對我來說基本上沒有意義的大字符串,這意味着readHTMLTable無法正常工作(我得到一個列表,有幾個數據框,但這對我來說也沒有意義。它是用西班牙語觀察到的我不知道他們來自哪里的事情):
>url
[1] "\r\n<!DOCTYPE html>\n<html lang=\"en\">\n\n<head>\n <title>2016 QB Fantasy Football Rankings, QB Cheat Sheets, QB Draft / Draft Rankings</title>\n <meta http-equiv=\"Content-Type\" content=\"text/html; charset=UTF-8\">\n <meta name=\"description\" content=\"Don’t trust any 1 fantasy football expert? We combine their rankings into 1 Expert Consensus Ranking. Our 2016 Draft QB rankings are updated daily.\">\n<link rel=\"canonical\" href=\"https://www.fantasypros.com/nfl/rankings/qb-cheatsheets.php\" />\n\n <meta property=\"fb:pages\" content=\"184352014941166\"/>\n
它還有很多方面。
有人可以給我一些關於如何讓它工作的建議嗎?
謝謝。
從URL獲取html文件
library("httr")
library("XML")
URL <- "https://www.fantasypros.com/nfl/rankings/consensus-cheatsheets.php"
temp <- tempfile(fileext = ".html")
GET(url = URL, user_agent("Mozilla/5.0"), write_disk(temp))
解析HTML文件
doc <- htmlParse(temp)
通過選擇具有class = "player-table"
的table
元素及其子class = 'mpb-player-'
tr
元素具有class = 'mpb-player-'
來構造XPath查詢
xpexpr <- "//table[contains(@class, 'player-table')]/tbody/tr[contains(@class, 'mpb-player-')]"
從doc獲取xpath表達式的節點列表
listofTableNodes <- getNodeSet(doc, xpexpr)
listofTableNodes
使用節點列表的xmlvalues創建數據框
df <- xmlToDataFrame(listofTableNodes, stringsAsFactors = FALSE)
# alternatively xpathSApply can be used to get the same data frame
# df <- xmlToDataFrame(xpathSApply(doc, xpexpr), stringsAsFactors = FALSE)
刪除空列
df <- df[, seq(1, length(df), by = 2)]
添加列名稱
xpexpr <- "//table[contains(@class, 'player-table')]/thead/tr/th"
listofTableNodes <- getNodeSet(doc, xpexpr)
listofTableNodes
colnames(df) <- gsub("[\r\n ]*$", '', xmlSApply(listofTableNodes, xmlValue))
head(df)
# Rank Player (Team) Pos Bye Best Worst Avg Std Dev ADP vs. ADP
# 1 1 Antonio Brown PIT WR1 8 1 5 1.3 0.8 1.0 0.0
# 2 2 Odell Beckham Jr. NYG WR2 8 1 9 3.1 1.6 2.0 0.0
# 3 3 Julio Jones ATL WR3 11 1 6 3.4 1.1 4.0 +1.0
# 4 4 Todd Gurley LA RB1 8 1 11 4.5 2.3 3.0 -1.0
# 5 5 David Johnson ARI RB2 9 1 19 6.1 3.5 6.0 +1.0
# 6 6 Adrian Peterson MIN RB3 6 1 22 7.6 3.8 5.0 -1.0
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.