Python Scrapy-无法获得特定页面的任何内容

Question

我正在尝试从offerup.com刮取一些信息，在刮擦的外壳上 ，什么都没有发生。

我将输入：

scrapy shell https://offerup.com/

它会去那里，但是然后，如果我只是尝试使用以下方法获取整个网页的文本：

response.xpath('//text()').extract()

它回来了：

['Request unsuccessful. Incapsula incident ID: 623000250007296502-10946686267359632']

它返回时没有任何其他我尝试获取的信息（例如标题）。
你知道为什么会这样吗？ 任何帮助深表感谢。

Answer 1

注意阅读要约时得到的答复。

[s]可用的Scrapy对象：

[s] scrapy scrapy模块（包含scrapy.Request，scrapy.Selector等）

[s]搜寻器

[s]个项目{}

[s]请求https://offerup.com>

[s]响应<403 https://offerup.com >

您得到403，一个禁止的错误。 没有什么可以绕过403。

如果您尝试其他站点，例如http://buffalo.craigslist.org ，则会给出200的OK响应。 使用相同的命令将显示所需的页面，并使用response.xpath('//text()').extract()将从根目录打印所有文本元素。

一些站点可能设置了防刮擦措施，以防止机器人浪费资源。 Offerup显然是这样的网站。

为了使您能够回答问题，您的代码可以正常工作，但是目标站点阻止您使用它。