如果声明不适用于scrapy中的蜘蛛

Question

我是python / scrapy新手。 我正在尝试抓取一个网站进行练习，基本上我想要完成的工作是拉扯所有活跃的公司并将其下载到CSV文件。 您可以看到我的代码粘贴在下面，我添加了一个IF语句，但它似乎没有用，并且我不确定自己在做什么错。

我还认为蜘蛛会根据其输出多次爬网该网站。 我只希望它每次运行都对网站进行一次爬网。

仅供参考，我确实在stackoverflow上搜索了答案，但我找到了一些解决方案，但我无法解决它们。 我想这是成为新秀的一部分。

from scrapy.spider import Spider
from scrapy.selector import Selector
from bizzy.items import BizzyItem

class SunSpider(Spider):
    name = "Sun"
    allowed_domains = ['sunbiz.org']
    start_urls = [
    'http://search.sunbiz.org/Inquiry/CorporationSearch/SearchResults/EntityName/a/Page1'
]


    def parse(self, response):
        sel = Selector(response)
        sites = sel.xpath('//tbody/tr')
        items = []
        for site in sites:
            item = BizzyItem()
            item["company"] = sel.xpath('//td[1]/a/text()').extract()
            item["status"] = sel.xpath('//td[3]/text()').extract()
            if item["status"] != 'Active':
                pass
            else:
                items.append(item)
        return items

Answer 1

多次爬行？

现在，我有时间阅读您的代码，并浏览了您要抓取的网站的源代码。 首先，根据我对Scrapy的有限经验，我可以告诉您，您的蜘蛛不会多次爬网网站。 您所经历的仅仅是调试输出的噩梦般的墙壁，匆忙的开发人员认为默认情况下进行喷射是个好主意。 :)

如果您通读它，它实际上是非常有用的信息，并且，如果您可以学习发现模式，则几乎可以一目了然地阅读它。 我相信他们正确地使用了stderr因此，如果您处于Unix-y环境中，则始终可以使用scrapy crawl myspider -o output.json -t json 2&>/dev/null （IIRC）将其静音。

神秘的if陈述

由于extract操作可能会返回多个元素的选择器的性质，因此它返回一个list 。 如果要打印结果，即使在选择了text()的xpath ，您也会发现它看起来像这样：

[u'string']  # Note the brackets
#^ no little u if you are running this with Python 3.x

您需要该列表的第一个元素（唯一成员） [0] 。 幸运的是，您可以将其添加到已经为extract构建的方法链中：

item["company"] = sel.xpath('//td[1]/a/text()').extract()[0]
item["status"] = sel.xpath('//td[3]/text()').extract()[0]

然后（假设您的xpath是正确的-我没有检查），您的条件应该表现出预期的效果。 （任何大小的列表都不会等于字符串，因此您始终会pass 。）