[英]Crawling hidden data using Scrapy
我剛開始爬行。 我正在嘗試通過使用Scrapy框架和Python 2.7下載內容來從網站http://www.indiabix.com/verbal-ability/spotting-errors/抓取問題和答案。 我注意到,如果您查看其來源,則會注意到每個問題的答案都應該在b標記中,但不能在:
<div class="div-spacer">
<p><span class="ib-green"><b>Answer:</b></span> Option <b class="jq-hdnakqb"></b></p>
<p><span class="ib-green"><b>Explanation:</b></span></p>
<p> No answer description available for this question. <b><a href="discussion-399">Let us discuss</a></b>. </p>
如果我們檢查網頁上的元素,我們可以在標簽之間以文本形式看到正確的答案:答案:每個問題的選項A或B等,但HTML源代碼沒有。
為了在b標簽中獲取文本,我嘗試使用xpath進行了15次查詢。 我在下面的代碼中以注釋的形式編寫了最可能的4-5個查詢。
import scrapy
import urllib
import json
from errors1.items import Errors1Item
class Errors1Spider(scrapy.Spider) :
name = "errors1"
start_urls = ["http://www.indiabix.com/verbal-ability/spotting-errors/"]
def parse(self, response) :
i = 0
y = 0
j = json.loads(json.dumps(response.xpath('//td[contains(@id, "tdOption")]/text()').extract()))
x = json.loads(json.dumps(response.xpath('//div[@class="div-spacer"]/p[3]/text()').extract()))
#to get correct answer
#response.xpath('//div[@class = "div-spacer"]/p/b/text()').extract()
#response.xpath('//div[@class = "div-spacer"]/p[1]/b/text()').extract()
#response.xpath('//div[@class = "div-spacer"]/p//text()').extract()
#response.xpath('//b[@class = "jq-hdnakqb"]/text()').extract()
#response.xpath('string(//div[@class = "div-spacer"]/p/b/text())').extract()
while i<len(j) and y<len(x) :
item = Errors1Item()
item['optionA'] = j[i]
i+=1
item['optionB'] = j[i]
i+=1
item['optionC'] = j[i]
i+=1
item['optionD'] = j[i]
i+=1
item['explanation'] = x[y]
y+=1
yield item
有人可以幫我從該網頁獲得答案的內容。 謝謝
據我了解,設置正確的選項值涉及到JavaScript邏輯。
幫助我解決它的是scrapyjs
中間件 ,它使用了Splash
瀏覽器即服務。 跳過安裝和配置,這是我執行的蜘蛛程序:
# -*- coding: utf-8 -*-
import scrapy
class IndiaBixSpider(scrapy.Spider):
name = "indiabix"
allowed_domain = ["www.indiabix.com"]
start_urls = ["http://www.indiabix.com/verbal-ability/spotting-errors/"]
def start_requests(self):
for url in self.start_urls:
yield scrapy.Request(url, meta={
'splash': {
'endpoint': 'render.html',
'args': {'wait': 0.5}
}
})
def parse(self, response):
for question in response.css("div.bix-div-container"):
answer = question.xpath(".//input[starts-with(@id, 'hdnAnswer')]/@value").extract()
print answer
這是我在控制台上得到的(正確答案):
[u'A']
[u'C']
[u'A']
[u'C']
[u'C']
[u'C']
[u'B']
[u'A']
[u'D']
[u'C']
[u'B']
[u'B']
[u'A']
[u'B']
[u'B']
也可以看看:
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.