繁体   English   中英

无法部署到Scrapy云,即使导入通用模块也存在问题

Can't deploy to Scrapy cloud, problem with importing even common modules

提示:本站收集StackOverFlow近2千万问答,支持中英文搜索,鼠标放在语句上弹窗显示对应的参考中文或英文, 本站还提供   中文繁体   英文版本   中英对照 版本,有任何建议请联系yoyou2525@163.com。

我试图将Spider部署到Scrapy云中,但是我反复遇到需求问题,甚至导入了io,re,shlex和PyPDF2等常用模块。 我正在使用Python 3.5。 我的scrapinghub.yml文件包含以下几行:

projects:
    default: 358310
stacks:
    default: scrapy:1.3-py3
requirements:
    file: requirements.txt

我的requirements.txt文件包含以下几行:

io
re
shlex
PyPDF2==1.26.0

这是我得到的错误:

Login succeeded
Building an image:
Step 1/12 : FROM scrapinghub/scrapinghub-stack-scrapy:1.3-py3
[91m# Executing 2 build triggers...
[0m
Step 1/1 : ENV PIP_TRUSTED_HOST $PIP_TRUSTED_HOST PIP_INDEX_URL $PIP_INDEX_URL
 ---> Using cache
Step 1/1 : RUN test -n $APT_PROXY && echo 'Acquire::http::Proxy \"$APT_PROXY\";'     >/etc/apt/apt.conf.d/proxy
 ---> Using cache
 ---> 8d2af0ecc1ce
Step 2/12 : ENV PYTHONUSERBASE /app/python
 ---> Using cache
 ---> c5bc537289c7
Step 3/12 : ADD eggbased-entrypoint /usr/local/sbin/
 ---> Using cache
 ---> 210ce92ef42e
Step 4/12 : ADD run-pipcheck /usr/local/bin/
 ---> Using cache
 ---> 2d0a46143fa4
Step 5/12 : RUN chmod +x /usr/local/bin/run-pipcheck
 ---> Using cache
 ---> a2eefa41c642
Step 6/12 : RUN chmod +x /usr/local/sbin/eggbased-entrypoint &&     ln -sf /usr/local/sbin/eggbased-entrypoint /usr/local/sbin/start-crawl &&     ln -sf /usr/local/sbin/eggbased-entrypoint /usr/local/sbin/scrapy-list &&     ln -sf /usr/local/sbin/eggbased-entrypoint /usr/local/sbin/shub-image-info &&     ln -sf /usr/local/sbin/eggbased-entrypoint /usr/local/sbin/run-pipcheck
 ---> Using cache
 ---> f3f5b5c713e3
Step 7/12 : ADD requirements.txt /app/requirements.txt
 ---> Using cache
 ---> e6417a1c3fea
Step 8/12 : RUN mkdir /app/python && chown nobody:nogroup /app/python
 ---> Using cache
 ---> 6720be2ef393
Step 9/12 : RUN sudo -u nobody -E PYTHONUSERBASE=$PYTHONUSERBASE     pip install --user --no-cache-dir -r /app/requirements.txt
 ---> Running in 8d8694511a74
Collecting io (from -r /app/requirements.txt (line 1))
[91m  Could not find a version that satisfies the requirement io (from -r /app/requirements.txt (line 1)) (from versions: )
[0m
[91mNo matching distribution found for io (from -r /app/requirements.txt (line 1))
[0m
[91mYou are using pip version 9.0.3, however version 18.1 is available.
You should consider upgrading via the 'pip install --upgrade pip' command.
[0m
{"message": "The command '/bin/sh -c sudo -u nobody -E PYTHONUSERBASE=$PYTHONUSERBASE     pip install --user --no-cache-dir -r /app/requirements.txt' returned a non-zero code: 1", "details": {"message": "The command '/bin/sh -c sudo -u nobody -E PYTHONUSERBASE=$PYTHONUSERBASE     pip install --user --no-cache-dir -r /app/requirements.txt' returned a non-zero code: 1", "code": 1}, "error": "requirements_error"}

我要去哪里错了? 顺便说一句,我安装了最新版本的pip(与错误消息指出的相反)。

1 个回复

我知道,io,re,shlex是内部库,而不是包。 它们不应在需求文件中。

2 无法将scrapy部署到scrapyd服务器

我正在尝试部署通过Portia创建的Spider。 Portia,scrapyd-所有均为最新版本。 我只通过命令运行scrapyd服务器: 我在本地计算机上得到此结果: 在服务器端( Ubuntu 12.04.5 LTS ): 我究竟做错了什么 ? ...

3 无法部署云功能

我已经尝试部署云函数一个多星期了,但是我总是在日志中出现错误并且函数没有部署。 我在日志中收到以下错误: 这是我的函数的代码: 我尝试了不同的解决方案,但仍然出现上面提到的错误,我仍然无法部署我的功能 ...

4 模块和导入文件夹的问题

我对 Go 导入和模块的工作方式有一些问题。 我有一个具有这种结构的项目: 这两个程序具有不同的模块“定义”。 我需要包含在两个程序之间共享的“Support”文件夹。 我试过 在 Program1 的 main.go 中,但这不起作用,因为无法解决支持。 我该怎么做? ...

6 即使在导入 Common Module - Angular 9 之后,“无法绑定到 'ngIf' 因为它不是 'div' 的已知属性”

我一直收到那个错误。 我正在导入通用模块并在我的模块中声明组件! 请让我知道它有什么问题。 ngif 在应用模块中导入的组件上运行良好。 出于某种原因,它不适用于这个。 顺便说一下,这个模块是在应用路由模块中延迟加载的。 路由模块 这是 HTML 它设置为 true 以便我可以测试,但 ...

2020-03-28 05:44:19 4 7088   angular
7 无法理解导入节点模块

我对网络开发很陌生。 我会尽量缩短问题。 我正在尝试使用名为 euclid.ts 的 javascript 库。 它的页面告诉你: euclid.ts 导入说明 所以这就是我所做的: 首先我运行了命令。 然后在我的名为index.html 的html 文件中,我导入了一个名为 Sketch.j ...

8 嵌入式Glassfish无法部署EJB模块

我搜索了Stackoverflow,以找到问题的答案,发现了一些非常相似的问题,但没有答案。 我正在尝试做的事情:创建一个简单的junit测试,在其中启动Glassfish 4.1嵌入式容器,并测试EJB的简单操作。 样本EJB: 很简单 这是我的单元测试: 我的p ...

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2022 STACKOOM.COM