無法使用 Scrapy 從下拉列表中抓取

Question

我試圖從嵌入在網站上的 JS 下拉列表中抓取市場列表： https : //e27.co/startups

使用scrapy shell，我試圖從“市場”下拉菜單中抓取市場列表，但無法這樣做。

運行scrapy shell 'https://e27.co/startups' ，我嘗試同時使用response.css()和response.xpath() 。

對於 css 選擇器：

response.css('#startups-page > div > div.search-block.box-view > div.row.mbt-s > div > div > ul > li:nth-child(3)')

對於 xpath，我試過：

response.xpath('//*[@id="startups-page"]/div/div[1]/div[2]/div/div/ul/li[3]/a"')

兩者都是通過檢查下拉元素獲得的。

但是，返回一個空列表。

我可以知道如何從下拉列表中抓取所有不同的市場嗎？ 謝謝。

Answer 1

此數據位於對https://e27.co/startups?json單獨小請求中。

從scrapy shell "https://e27.co/startups?json"我可以用這個表達式得到整個列表：

In [1]: response.css('select#market option::text').extract()
Out[1]: 
[u'Advertising',
 u'Aerospace',
 u'Agency & Consulting',
 u'Agritech',
 u'Architecture & Construction',
...