如何使用 requests-html 读取网页表格？

Question

我是 python 的新手，正在尝试将给定网站的表格解析为 PANDAS DATAFRAME。

我正在使用模块 requests-html、requests 和 beautifulSoup。

这是网站，我想从以下位置收集表格： https://www.aamc.org/data-reports/workforce/interactive-data/active-physicians-largest-specialties-2019

MWE

import pandas as pd
from urllib.request import Request, urlopen
from bs4 import BeautifulSoup

url = 'https://www.aamc.org/data-reports/workforce/interactive-data/active-physicians-largest-specialties-2019'

req = Request(url, headers={'User-Agent': 'Mozilla/5.0'})
page = urlopen(req).read()

soup = BeautifulSoup(page, 'html.parser')

# soup.find_all('table')
pages = soup.find('div', {'class': 'data-table-wrapper'})
df = pd.read_html(pages) # PROBLEM: somehow this table has no data
df.head()

另一种尝试：

import requests_html

sess = requests_html.HTMLSession()
res = sess.get(url)
page = res.html
import requests_html

sess = requests_html.HTMLSession()
res = sess.get(url)
page_html = res.html

df = pd.read_html(page_html.raw_html)
df # This gives dataframe, but has no Values

截图如下：

Answer 1

您在页面上看到的数据以 JavaScript 的形式嵌入到<script>中。您可以使用selenium或从页面手动解析数据。 我正在使用js2py模块来解码数据：

import re
import js2py
import requests
import pandas as pd


url = "https://www.aamc.org/data-reports/workforce/interactive-data/active-physicians-largest-specialties-2019"
html_doc = requests.get(url).text

data = re.search(r"(?s)\$scope\.schools = (.*?);", html_doc).group(1)
data = [{k: v.strip() for k, v in d.items()} for d in js2py.eval_js(data)]

columns = {
    "specialty": "Specialty",
    "one": "Total Active Physicians",
    "two": "Patient Care",
    "three": "Teaching",
    "four": "Research",
    "five": "Other",
}

df = pd.DataFrame(data).rename(columns=columns)
print(df[list(columns.values())].to_markdown(index=False))

印刷：

专业	在职医师总数	病人护理	教学	研究	其他
所有专业	938,980	816,922	12,475	12,632	96,951
过敏和免疫学	4,900	4,221人	54	268	357
解剖/临床病理学	12,643	8,711	385	520	3,027
麻醉科	42,267	39,377	540	180	2,170
心血管疾病	22,521	20,430	299	573	1,219
儿童和青少年精神病学	9,787	8,670	134	109	874
重症监护医学	13,093	11,146人	178	111	1,658
皮肤科	12,516人	11,747	100	98	571
急救医学	45,202	41,466	469	94	3,173
内分泌学、糖尿病和新陈代谢	7,994	6,439	155	533	867
家庭医学/全科	118,198	108,984	1,614	251	7,349
消化内科	15,469人	14,007	186	289	987
普通外科	25,564	21,949	259	137	3,219人
老年医学	5,974	5,029	105	106	734
血液学和肿瘤学	16,274	13,506人	250	871	1,647
传染病	9,687	7,448	287	701	1,251
内科	120,171	105,736	1,409	1,447	11,579
内科/儿科	5,509	4,924	74	28	483
介入心脏病学	4,407	3,956人	22	6个	423
新生儿-围产医学	5,919	5,008	135	175	601
肾脏科	11,407	9,964	140	316	987
神经外科	5,748	5,246人	52	32	418
神经病学	14,146人	11,896	245	629	1,376人
神经放射学	4,089	3,496人	63	7	523
妇产科	42,720	39,825	499	195	2,201人
眼科	19,312人	17,859	147	126	1,180
骨科手术	19,069	18,097	120	57	795
耳鼻喉科	9,777	9,140	90后	23	524
止痛药和疼痛管理	5,871	5,459	38	9	365
小儿麻醉学（麻醉学）	2,571	2,127	47	4个	393
儿科心脏病学	2,966人	2,414人	74	64	414
儿科重症监护医学	2,639	2,118	78	20	423
小儿血液学/肿瘤学	3,079	2,251人	77	210	541
儿科	60,618	54,764	844	663	4,347
物理医学与康复	9,767	8,920	69	38	740
整形外科	7,317	6,938	55	20	304
预防医学	6,675	4,218人	146	457	1,854
精神病学	38,792	33,776人	562	735	3,719
肺病	5,106人	4,490	138	296	182
放射肿瘤学	5,306人	4,854	56	33	363
放射学和诊断放射学	28,025	24,748	423	153	2,701
风湿科	6,265	5,333	108	255	569
运动药物	2,897	2,624	20	4个	249
运动医学（矫形外科）	2,903	2,737	9		157
胸外科	4,479	4,105	45	40	289
泌尿外科	10,201	9,593	76	39	493
血管与介入放射学	3,877	3,425	27	3个	422
血管外科	3,943	3,586人	48	13	296