scrapy：这个简单的管道有什么问题

Question

我有两个抓痒的蜘蛛，比如说spider1和spider2 。 spider1抓取一些页面并将URL收集在文件中。 这是代码：

class FileWriterPipeline(object):

    def __init__(self):
        self.file = open('somefile.txt'), 'wb')

    def process_item(self, item, spider):
        if spider.name == 'spider1':
            line = item['url'] + "\n"
            self.file.write(line)
            return item

问题是，一旦我运行spider2 ， somefile.txt就会被清除干净。 有人知道这是怎么回事吗？

Answer 1

无论以后做什么，只要您致电：

open('somefile.txt', 'wb')

使用'wb'参数， 文件将被完全删除 。 如果要追加，则应使用'ab' 。