[英]Python Beautiful Soup parsing error on nested span
我正在嘗試使用 python Beautiful Soup 解析 HTML。
HTML部分如下圖所示:
<div class="zsg-lg-1-3 zsg-md-1-1 zsg-sm-1-1 value-info-block" id="yui_3_18_1_1_1587802421734_2498">
<div id="overview" class="scroll-track" data-label="Market Overview"></div>
<h2 id="yui_3_18_1_1_1587802421734_2509">San Francisco Market Overview</h2>
<h6 class="zsg-fineprint hdr-date">Data through Mar 31, 2020</h6>
<ul class="value-info-list" id="yui_3_18_1_1_1587802421734_2497">
<li id="yui_3_18_1_1_1587802421734_2496">
<span class="value" id="yui_3_18_1_1_1587802421734_2495">
$1,310,500
</span>
<span class="info zsg-fineprint" id="yui_3_18_1_1_1587802421734_2524"> Median listing price
<span class="info zsg-fineprint">(Jan 31, 2020)</span>
</span>
</li>
</ul>
</div>
提取 HTML 的 python 代碼如下:
def process_market_overview(self):
parent = self.page_soup.find("div", {"data-label": "Market Overview"}).parent
for li in parent.findAll("li"):
value = li.find("span", {"class": "value"}, recursive=False).text.strip()
key = li.find("span", {"class": "info zsg-fineprint"}, recursive=False).text
key = key[0].strip()
print(" key :{} , value:{}".format(key, value))
但是我得到的 output 是錯誤的。 在這種情況下如何解析? Output 是:
key : , value:$1,447,191
key : , value:-2.3%
key : , value:$1,310,500
key : , value:$1,364,300
我想要的是從 HTML 中提取價值$1,310,500
和關鍵的Median listing price
。
URL: https://www.zillow.com/sanfrancisco-ca/home-values/
讓我知道是否有更好的解析方法。
完整代碼可以訪問鏈接: https://github.com/srth12/Eclipse-Workspace-/blob/master/ariya_python_scrapping/zillow_scrapper.py
使用find
方法從父span
中提取文本:
key = li.find("span", {"class": "info zsg-fineprint"}).find(text=True, recursive=False).strip()
不是直接的答案,但 zillow 提供了免費的 api和可下載的 csv,其中包含您嘗試抓取的數據:
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.