每個項目將抓取的對象導出到一個文件中

Question

我正在使用scrapy來獲取某些網頁的內容。 有沒有一種方法可以配置scrapy，以便將每個數據行導出到單獨的文件中？

Answer 1

您可以在Spider中產生項目，以返回要在管道中處理的多個項目。

class SomeSpider(Spider):

  ...

  def parse(self, response):
    # some code to parse the webpage

    for some_line in webpage:
        item = YourItem()
        # parse items

        yield item

這將為一個抓取的頁面返回多個項目。 然后，只需指定管道即可將每個項目寫入單獨的文件。

class SomePipeline(object):

  ...      

  def process_item(self, item, spider):
      with open('file.txt', 'w') as f:

          # format your item into a line here

          f.write(line)