ModuleNotFoundError：没有名为“ scrapy_user_agents”的模块

Question

我试图将scrapy_user_agents与scrapy-proxy-pool一起使用。

我在settings.py中添加了以下几行：

    DOWNLOADER_MIDDLEWARES = {
    'scrapy_proxy_pool.middlewares.ProxyPoolMiddleware': 610,
    'scrapy_proxy_pool.middlewares.BanDetectionMiddleware': 620,
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
    'scrapy_user_agents.middlewares.RandomUserAgentMiddleware': 700,
    }

当我运行蜘蛛时，出现以下错误消息：

ModuleNotFoundError：没有名为“ scrapy_user_agents”的模块

我删除了中间件中的代理行，但是出现相同的问题，同样的错误消息。

您将在下面找到完整的日志错误：

2019-08-13 16:05:28 [scrapy.utils.log]信息：Scrapy 1.7.3已启动（机器人：scraping_entreprises）2019-08-13 16:05:28 [scrapy.utils.log]信息：版本： lxml 4.4.1.0，libxml2 2.9.5，cssselect 1.1.0，parsel 1.5.2，w3lib 1.21.0，Twisted 19.7.0，Python 3.7.4（tags / v3.7.4：e09359112e，2019年7月8日，20:34 ：20）[MSC v.1916 64位（AMD64）]，pyOpenSSL 19.0.0（OpenSSL 1.1.1c 2019年5月28日），加密2.7，平台Windows-10-10.0.17134-SP0 2019-08-13 16:05 ：28 [scrapy.crawler]信息：覆盖的设置：{'BOT_NAME'：'scraping_entreprises'，'NEWSPIDER_MODULE'：'scraping_entreprises.spiders'，'ROBOTSTXT_OBEY'：True，'SPIDER_MOD ULES'：['scraping_entreprises。 2019-08-13 16:05:28 [scrapy.extensions.telnet]信息：Telnet密码：0a7932c1a3ce188f 2019-08-13 16:05:28 [scrapy.middleware]信息：启用的扩展名：['scrapy.extensions.corestats .CoreStats'，'scrapy.extensions.telnet.TelnetConsole'，'scrapy.extensions.logstats.LogStats']延迟中未处理的错误：2019-08-13 16:05:29 [扭曲] CRITICA L：延期中未处理的错误：追溯（最近一次调用）：文件“ c：\\ users \\ nino \\ pycharmprojects \\ scraping \\ venv \\ lib \\ site-packages \\ scrapy \\ crawler.py”，行184，在爬网返回自身中._crawl（crawler，* args，** kwargs）文件“ c：\\ users \\ nino \\ pycharmprojects \\ scraping \\ venv \\ lib \\ site-packages \\ scrapy \\ crawler.py”，第188行，位于_crawl d = crawler.crawl （* args，** kwargs）文件“ c：\\ users \\ nino \\ pycharmprojects \\ scraping \\ venv \\ lib \\ site-packages \\ twisted \\ internet \\ defer.py”，行1613，在unwindGenerator中返回_cancellableInlineCallbacks（gen）文件“ c：\\ users \\ nino \\ pycharmprojects \\ scraping \\ venv \\ lib \\ site-packages \\ twisted \\ internet \\ defer.py“，第1529行，位于_cancellableInlineCallbacks _inlineCallbacks（无，g，状态）--- ---文件” c ：_users \\ nino \\ pycharmprojects \\ scraping \\ venv \\ lib \\ site-packages \\ twisted \\ internet \\ defer.py“，第1418行，位于_inlineCallbacks结果= g.send（结果）文件” c：\\ users \\ nino \\ pycharmprojects \\ scraping \\ venv \\ lib \\ site-packages \\ scrapy \\ crawler.py“，第86行，在抓取中self.engine = self._create_engine（） 在create_engine中，文件“ c：\\ users \\ nino \\ pycharmprojects \\ scraping \\ venv \\ lib \\ site-packages \\ scrapy \\ crawler.py”第111行返回ExecutionEngine（self，lambda：self.stop（））文件“ c： \\ users \\ nino \\ pycharmprojects \\ scraping \\ venv \\ lib \\ site-packages \\ scrapy \\ core \\ engine.py“，第69行，位于初始化self.downloader = downloader_cls（crawler）文件” c：\\ users \\ nino \\ pycharmprojects \\ init self.middleware = DownloaderMiddlewareManager.from_crawler（crawler）文件“ c：\\ users \\ nino \\ pycharmprojects \\ scraping \\ venv \\ lib”中的scraping \\ venv \\ lib \\ site-packages \\ scrapy \\ core \\ downloader_init.py”，第86行\\ site-packages \\ scrapy \\ middleware.py“，from_crawler中的第53行，返回cls.from_settings（crawler.settings，crawler）文件“ c：\\ users \\ nino \\ pycharmprojects \\ scraping \\ venv \\ lib \\ site-packages \\ scrapy \\ middleware.py“，第34行，位于from_settings mwcls = load_object（clspath）文件“ c：\\ users \\ nino \\ pycharmprojects \\ scraping \\ venv \\ lib \\ site-packages \\ scrapy \\ utils \\ misc.py”中，第46行，在load_object mod = import_module（module）文件中“ C：\\ Users \\ Nino \\ AppData \\ Local \\ Progra ms \\ Python \\ Python37 \\ lib \\ importlib_init.py“，第127行，在import_module中，返回_bootstrap._gcd_import（name [level：]，包，级别）文件”“，第1006行，在_gcd_import文件”“，第983行，在_find_and_load文件“”的第953行，在_find_and_load_unlocked文件“”的第219行，在_call_with_frames_removed文件“”的第1006行，在_gcd_import文件“”的第983行，在_find_and_load_load文件“”的第965行，在_find_Not_locked_insed_Not_locked没有名为'scrapy_user_agents'的模块2019-08-13 16:05:29 [扭曲]严重：追溯（最近一次调用）：文件“ c：\\ users \\ nino \\ pycharmprojects \\ scraping \\ venv \\ lib \\ site-packages \\ _inlineCallbacks结果= g.send（结果）中的“ twisted \\ internet \\ defer.py”行1418，文件“ c：\\ users \\ nino \\ pycharmprojects \\ scraping \\ venv \\ lib \\ site-packages \\ scrapy \\ crawler.py”，第86行，在抓取self.engine = self._create_engine（）中，行111，在create_engine中的文件“ c：\\ users \\ nino \\ pycharmprojects \\ scraping \\ venv \\ lib \\ site-packages \\ scrapy \\ crawler.py”中返回ExecutionEngine（自我，lambda ：self.stop（））文件“ c：\\ users \\ nino \\ pycharmprojects \\ scraping \\ venv \\ lib \\ site-packages \\ scrapy \\ core \\ engine.py”，第69行，位于初始self.downloader = downloader_cls（crawler）文件“ c：\\ users \\ nino \\ pycharmprojects \\ scraping \\ venv \\ lib \\ site-packages \\ scrapy \\ core \\ downloader_init.py”，init self.middleware = DownloaderMiddlewareManager.from_crawler（crawler）文件“ c：\\ users \\ nino \\ pycharmprojects \\ scraping \\ venv \\ lib \\ site-packages \\ scrapy \\ middleware.py”，from_crawler中的第53行，返回cls.from_settings（crawler.settings，crawler）文件“ c：\\ users \\ nino \\ pycharmprojects \\ scraping \\ venv \\ lib \\ site-packages \\ scrapy \\ middleware.py“，第34行，位于from_settings mwcls = load_object（clspath）文件“ c：\\ users \\ nino \\ pycharmprojects \\ scraping \\ venv \\ lib \\ site-packages \\ scrapy \\ utils \\ misc.py”，第46行，在load_object mod = import_module（module）文件“ C：\\ Users \\ Nino \\ AppData \\ Local \\ Programs \\ Python \\ Python37 \\ lib \\ importlib_init.py”，第127行，在import_module返回_bootstrap._gcd_import（name [level：]，程序包，级别）文件“”，第1006行，i 在“ _find_and_load文件”中的_gcd_import文件“”的第983行，在_find_and_load_unlocked文件“”中的行953的第219行，在_call_with_frames_removed文件“”的第1006行，在_gcd_import文件“”的行983的_find_and中_find_and_load_unlocked ModuleNotFoundError中的第965行：没有名为“ scrapy_user_agents”的模块

Answer 1

尝试再次卸载并安装该模块，以确保为您的python版本安装了该模块。

pip（un）安装ModuleName