如何在scrapy shell中单独打印y轴的值？

Question

仅供参考，我试图在 y 轴上单独获取价格的值，该值始终具有11pt的font-size html id。

我正在尝试访问的网址： 链接

代码：

scrapy shell "https://research.investors.com/StockResearch/Scripts/ibdChart/print.html?t=1634287038721&params=MS=0,RS=0,DGO=0,DisplayMS=1,DisplayHelp=1,DisplayDGO=0,LDB=0,DisplayLDB=1,symbol=mcb,type=daily"

然后我输入：

response.xpath("//div[@id='chartContainer']//*[name()='svg'])[6]//*[name()='g'])[@font-size='11pt']//*[name()='text']/text()").extract()

i) 第二行代码返回无效表达式（xpath 错误）。

ii) 除此之外，我还注意到在第一行代码之后，它返回：

响应 <403 https://research.investors.com/StockResearch/Scripts/ibdChart/print.htm l?t=1634287038721&params=MS=0,RS=1,DGO=0,DisplayMS=1,DisplayHelp=1,DisplayDGO= 0,LDB=0,显示LDB=1,symbol=mcb,type=daily>

我不确定这个错误的原因是什么。 是不是因为我们访问网站时自动弹出打印屏幕？

Answer 1

403 表示访问页面已被服务器拒绝。 您可以使用response.body在 scrapy shell 中打印收到的 html。

我认为您可能需要添加一些标题来避免它，例如：

scrapy shell -s USER_AGENT="Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0" "https://research.investors.com/StockResearch/Scripts/ibdChart/print.html?t=1634287038721&params=MS=0,RS=0,DGO=0,DisplayMS=1,DisplayHelp=1,DisplayDGO=0,LDB=0,DisplayLDB=1,symbol=mcb,type=daily"