Scrapy在Shell和Spider之间返回不同的结果

Question

我试图从下一页的顶部获取迷你生物：

https://en.m.wikipedia.org/wiki/C%C3%A9sar_Milstein

使用scrapy shell我可以执行以下操作：

C:\Users\broke\Documents\DataViz Projects>scrapy shell https://en.m.wikipedia.org/wiki/C%C3%A9sar_Milstein

...
[s]   request    <GET https://en.m.wikipedia.org/wiki/C%C3%A9sar_Milstein>
[s]   response   <200 https://en.m.wikipedia.org/wiki/C%C3%A9sar_Milstein>
...

In [1]:  response.xpath('//div[@id="mf-section-0"]/p[text() or normalize-space(.)=""]').extract()
Out[1]:
['<p class="mw-empty-elt">\n\n</p>',
 '<p><b>César Milstein</b>, <a href="/wiki/Order_of_the_Companions_of_Honour" title="Order of the Companions
of Honour">CH</a>, <a href="/wiki/Royal_Society" title="Royal Society">FRS</a><sup id="cite_ref-frs_2-1" clas
s="reference"><a href="#cite_note-frs-2">[2]</a></sup> (8 October 1927 – 24 March 2002) was an <a href="/wiki
/Argentinian" class="mw-redirect" title="Argentinian">Argentinian</a> biochemist in the field of <a href="/wi
ki/Antibody" title="Antibody">antibody</a> research.<sup id="cite_ref-4" class="reference"><a href="#cite_not
e-4">[4]</a></sup>
...
</a></sup><sup id="cite_ref-12" class="reference"><a href="#cite_note-12">[12]</a></sup><s
up id="cite_ref-13" class="reference"><a href="#cite_note-13">[13]</a></sup><sup id="cite_ref-14" class="refe
rence"><a href="#cite_note-14">[14]</a></sup><sup id="cite_ref-15" class="reference"><a href="#cite_note-15">
[15]</a></sup></p>']

但是，我的蜘蛛中的以下解析器代码在传递该URL时返回一个空列表：

    def get_mini_bio(self,response):
        """ Get the winner's bio text and photo"""
        item = response.meta['item']
        item['image_urls']=[]
        img_src = response.xpath('//table[contains(@class,"infobox")]//img/@src')
        if img_src:
            item['image_urls'] = ['https:{}'.format(img_src[0].extract())]
        mini_bio = ''
        #paras = '\n\n'.join(response.xpath('//div[@id="mw-content-text"]//p[text() or normalize-space(.)=""]').extract())
        mini_bio = response.xpath('//div[@id="mf-section-0"]/p[text() or normalize-space(.)=""]').extract()
        self.logger.warning("mini_bio received {} as a result.".format(mini_bio))
        yield

输出：

2019-05-28 01:52:59 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://en.wikipedia.org/wiki/C%C3%A9sar_M
ilstein> (referer: None) ['cached']
2019-05-28 01:52:59 [nwinners_minibio] WARNING: mini_bio received [] as a result.

注意解析器中的注释行，该xpath将返回一组包含所需段落的段落（'mf-section-0'div内部的段落），因此该段落似乎正在呈现。 但是，它还将包括文本部分中的所有其他段落，但没有足够的信息来区分其他类似页面。

任何人都可以告诉我为什么我在shell和蜘蛛之间得到不同的结果，以及我如何在蜘蛛中得到与我在shell中相同的结果？