無法使用 scrappy 從網站上抓取文本

Question

我是新來的，我正試圖從這個鏈接https://www.onthemarket.com/details/10405122/中抓取最近的車站和距離列表，我在這里被困了一天。 任何幫助將不勝感激。

我努力了

response.xpath('//div[@class = "tab-content"]/span')

response.xpath('//section//span[@class="poi-name"]')

response.xpath('//section[@class="poi"]/div//text()').extract()

似乎沒有任何效果。

如果你能得到它，請解釋為什么我失敗了，這將是非常感激的。

Answer 1

下載的html中沒有數據：

<ol class="tab-list"></ol><div class="tab-content"></div>

它可能在另一個調用中接收數據。 盡量不要着急寫爬蟲，花一些時間來了解這個特定的 UI 是如何工作的。 我還建議通過curl或scrapy shell "your_url"下載數據（因為在這種情況下，它不會被瀏覽器下載，它可以像現在一樣欺騙您）。