如何使用py2exe將我的scrapy蜘蛛構建到exe文件？

Question

我使用scrapy創建一個項目並在“spiders”文件夾中添加我自己的蜘蛛，比如“spider_us.py”，我想構建一個exe文件，可以在其他計算機上執行而無需安裝scrapy。

當我按照py2exe的說明操作時，我在同一文件夾中創建一個新文件“Setup.py”，其中包含以下內容：

from distutils.core import setup
import py2exe

setup(console = ["spider_us.py"])

然而，它不起作用，因為當我運行我的蜘蛛時，我使用命令“scrapy crawl spider_us”而不是直接在“spiders”文件夾中運行文件“spider_us.py”。

怎么可能構建整個蜘蛛程序（當我使用“scrapy startproject XXX”時通過scrapy自動創建）到exe文件，而不僅僅是“spiders”子文件夾中的蜘蛛文件（在我的例子中是“spider_us.py”） 。

任何人給出一些建議或幫助，歡迎任何評論。 非常感謝。

Answer 1

嘗試通過Python腳本運行蜘蛛（而不是命令scrapy crawl <spider_name> ）。 你需要編寫一些代碼，例如：

from twisted.internet import reactor
from scrapy.crawler import Crawler
from scrapy import log, signals
from testspiders.spiders.followall import FollowAllSpider
from scrapy.utils.project import get_project_settings

spider = FollowAllSpider(domain='scrapinghub.com')
settings = get_project_settings()
crawler = Crawler(settings)
crawler.signals.connect(reactor.stop, signal=signals.spider_closed)
crawler.configure()
crawler.crawl(spider)
crawler.start()
log.start()
reactor.run() # the script will block here until the spider_closed signal was sent

有關詳細信息，請參閱“從腳本運行Scrapy”的文檔