Python Scrapy -> 使用 scrapy 蜘蛛作为 ZC1C425268E68385D14AB5074C17A

Question

所以我在spiders.py中有以下 Scrapy Spider

import scrapy 

class TwitchSpider(scrapy.Spider):
  name = "clips"

  def start_requests(self):
      urls = [
          f'https://www.twitch.tv/wilbursoot/clips?filter=clips&range=7d'
      ]

  def parse(self, response): 
    for clip in response.css('.tw-tower'):
      yield {
        'title': clip.css('::text').get()
      }

但关键方面是我想在另一个文件中将此蜘蛛称为 function，而不是在控制台中使用scrapy crawl quotes 。 我在哪里可以阅读更多关于此的信息，或者这是否可能？ 我检查了 Scrapy 文档，但没有找到太多

Answer 1

我是一个初学者级别的开发人员，但也许你可以尝试将整个东西制作成 function 然后导入它。

Answer 2

将您的其他文件与您的蜘蛛文件放在同一目录中。 然后像这样导入蜘蛛文件

import spider

然后您将可以访问蜘蛛文件并可以制作蜘蛛 object。

spi = spider()

然后可以在 object 上调用函数，例如

spi.parse()

本文介绍如何导入其他 python 文件类和函数https://csatlas.com/python-import-file-module/

Answer 3

从 main.py 运行蜘蛛：

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

if __name__ == "__main__":
    spider = 'TwitchSpider'
    settings = get_project_settings()
    # change/update settings:
    settings['USER_AGENT'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'
    process = CrawlerProcess(settings)
    process.crawl(spider)
    process.start()

从脚本运行 scrapy 。