python scrapy 在解析时变慢了

Question

赏金将在 7 天后到期。 此问题的答案有资格获得+50声望赏金。 xlmaster正在寻找规范的答案：

猜测与 scrapy 中的 memory 泄漏相关的问题或随着抓取时间的推移速度降级的缓存相关问题

我有一个刮板机器人，它工作正常。 但是随着时间的流逝，当它刮擦时速度会下降。 我添加了concurrent request 、 download_delay:0 、 'AUTOTHROTTLE_ENABLED':False但结果是一样的。 它开始时速度很快，但会变慢。 我想这是关于缓存的，但不知道我是否必须清理缓存，或者为什么它会这样？ 下面的代码想听听评论；

import scrapy
from scrapy.crawler import CrawlerProcess
import pandas as pd
import scrapy_xlsx

itemList=[]
class plateScraper(scrapy.Spider):
    name = 'scrapePlate'
    allowed_domains = ['dvlaregistrations.dvla.gov.uk']
    FEED_EXPORTERS = {'xlsx': 'scrapy_xlsx.XlsxItemExporter'}
    custom_settings = {'FEED_EXPORTERS' :FEED_EXPORTERS,'FEED_FORMAT': 'xlsx','FEED_URI': 'output_r00.xlsx', 'LOG_LEVEL':'INFO','DOWNLOAD_DELAY': 0,'CONCURRENT_ITEMS':300,'CONCURRENT_REQUESTS':30,'AUTOTHROTTLE_ENABLED':False}

    def start_requests(self):
        df=pd.read_excel('data.xlsx')
        columnA_values=df['PLATE']
        for row in columnA_values:
            global  plate_num_xlsx
            plate_num_xlsx=row
            base_url =f"https://dvlaregistrations.dvla.gov.uk/search/results.html?search={plate_num_xlsx}&action=index&pricefrom=0&priceto=&prefixmatches=&currentmatches=&limitprefix=&limitcurrent=&limitauction=&searched=true&openoption=&language=en&prefix2=Search&super=&super_pricefrom=&super_priceto="
            url=base_url
            yield scrapy.Request(url,callback=self.parse, cb_kwargs={'plate_num_xlsx': plate_num_xlsx})

    def parse(self, response, plate_num_xlsx=None):
        plate = response.xpath('//div[@class="resultsstrip"]/a/text()').extract_first()
        price = response.xpath('//div[@class="resultsstrip"]/p/text()').extract_first()

        try:
            a = plate.replace(" ", "").strip()
            if plate_num_xlsx == plate.replace(" ", "").strip():
                item = {"plate": plate_num_xlsx, "price": price.strip()}
                itemList.append(item)
                print(item)
                yield item
            else:
                item = {"plate": plate_num_xlsx, "price": "-"}
                itemList.append(item)
                print(item)
                yield item
        except:
            item = {"plate": plate_num_xlsx, "price": "-"}
            itemList.append(item)
            print(item)
            yield item

process = CrawlerProcess()
process.crawl(plateScraper)
process.start()

import winsound
winsound.Beep(555,333)

编辑：“log_stats”

{'downloader/request_bytes': 1791806,
 'downloader/request_count': 3459,
 'downloader/request_method_count/GET': 3459,
 'downloader/response_bytes': 38304184,
 'downloader/response_count': 3459,
 'downloader/response_status_count/200': 3459,
 'dupefilter/filtered': 6,
 'elapsed_time_seconds': 3056.810985,
 'feedexport/success_count/FileFeedStorage': 1,
 'finish_reason': 'finished',
 'finish_time': datetime.datetime(2023, 1, 27, 22, 31, 17, 17188),
 'httpcompression/response_bytes': 238767410,
 'httpcompression/response_count': 3459,
 'item_scraped_count': 3459,
 'log_count/INFO': 61,
 'log_count/WARNING': 2,
 'response_received_count': 3459,
 'scheduler/dequeued': 3459,
 'scheduler/dequeued/memory': 3459,
 'scheduler/enqueued': 3459,
 'scheduler/enqueued/memory': 3459,
 'start_time': datetime.datetime(2023, 1, 27, 21, 40, 20, 206203)}
2023-01-28 02:31:17 [scrapy.core.engine] INFO: Spider closed (finished)

Process finished with exit code 0

Answer 1

乍一看，代码看起来不错。 然而，我看到有几点可以提高抓取速度：

1. CONCURRENT_REQUESTS_PER_DOMAIN设置——因为它没有改变，它保持默认值 8（同时不超过 8 个请求）。 建议将其增加到CONCURRENT_REQUESTS的值。
2. CONCURRENT_ITEMS设置 - 我们有几份报告称增加此设置的值可能会导致性能下降 - /scrapy/issues/5182 。 建议保持默认。
3. 自定义 scrapy_xlsx.XlsxItemExporter（假设https://github.com/jesuslosada/scrapy-xlsx在这里使用） - 乍一看我没有预料到问题，因为通常 ~3000 个项目不是很多数据。 Hovewer 技术上是.xlsx文件 - 是包含 xml 个文档的压缩存档。 它使用openpyxl保留所有文件内容，并在 RAM memory 中解析 xml 棵树。由于添加每个新行，每个添加的行都会增加创建的.xlsx文件的 xml 树的大小 - 可能会占用更多 CPU。 - 建议将抓取速度与 scrapy 内置提要导出器（csv 或 json 行）的使用情况进行比较。

Answer 2

放慢抓取数据的最大原因之一是设置大量的CONCURRENT_ITEMS和CONCURRENT_REQUESTS 。 因为它会同时处理太多的项目和请求，所以它会占用很多 memory 并减慢 pc/laptop 的速度，因此，数据抓取过程将缓慢完成。所以你可以将这些值减小到较低的数字（例如 10 和 5 或 20 到 10）以减少系统负载和快速抓取。 您还设置了DOWNLOAD_DELAY : 0 以使其在未被阻止时更快，如果是这样，则可以将延迟设置为较小的值（例如 0.5）以减慢请求速度。 您也可以使用AUTOTHROTTLE_ENABLED : True，那么 scrapy 将根据网站的响应时间自动调整请求之间的延迟。

import scrapy
from scrapy.crawler import CrawlerProcess
import pandas as pd
import scrapy_xlsx

class PlateScraper(scrapy.Spider):
    name = 'scrape_plate'
    allowed_domains = ['dvlaregistrations.dvla.gov.uk']
    custom_settings = {
        'FEED_EXPORTERS': {'xlsx': 'scrapy_xlsx.XlsxItemExporter'},
        'FEED_FORMAT': 'xlsx',
        'FEED_URI': 'output_r00.xlsx',
        'LOG_LEVEL': 'INFO',
        'DOWNLOAD_DELAY': 0,
        'CONCURRENT_ITEMS': 10,
        'CONCURRENT_REQUESTS': 5,
        'AUTOTHROTTLE_ENABLED': False
    }

    def start_requests(self):
        df = pd.read_excel('data.xlsx')
        column_a_values = df['PLATE']

        for plate_num in column_a_values:
            base_url = f"https://dvlaregistrations.dvla.gov.uk/search/results.html?search={plate_num}&action=index&pricefrom=0&priceto=&prefixmatches=&currentmatches=&limitprefix=&limitcurrent=&limitauction=&searched=true&openoption=&language=en&prefix2=Search&super=&super_pricefrom=&super_priceto="
            yield scrapy.Request(base_url, callback=self.parse, cb_kwargs={'plate_num': plate_num})

    def parse(self, response, plate_num):
        plate = response.xpath('//div[@class="resultsstrip"]/a/text()').extract_first()
        price = response.xpath('//div[@class="resultsstrip"]/p/text()').extract_first()

        try:
            if plate_num == plate.replace(" ", "").strip():
                item = {"plate": plate_num, "price": price.strip()}
            else:
                item = {"plate": plate_num, "price": "-"}
        except:
            item = {"plate": plate_num, "price": "-"}

        self.logger.info(item)
        yield item

if __name__ == "__main__":  
    process = CrawlerProcess()
    process.crawl(PlateScraper)
    process.start()