如何在 Scrapy Splash 中加载本地 HTML 文件？

Question

我想使用 Scrapy Splash 加载本地 HTML 文件并将其保存为 PNG/JPEG，然后删除 HTML 文件

script = """
splash:go(args.url)
return splash:png()
"""
resp = requests.post('http://localhost:8050/run', json={
    'lua_source': script,
    'url': 'file://my_file.html'
})
resp.content

它还给我

加载页面失败（协议“”未知）网络错误＃301

我也试过

yield SplashRequest(url=filepath, 
                    callback=self.parse_result,
                    meta={'filepath': filepath},
                    args={
                        'wait': 0.5,
                        'png': 1,
                    },
                    endpoint='render.html',
                )

但我明白了

2020-04-23 12:07:41 [scrapy.downloadermiddlewares.retry] 调试：重试 http://localhost:8050/render.html>（失败 1 次）：502 Bad Gateway

Answer 1

您正在使用 Scrapy Splash 与ScrapingHub通信以生成图像。 这仅支持 HTTP(s) 请求。 您可以克隆他们的存储库并实施更改。

尽管通过 web 服务器为 HTML 服务可能更容易。 您可以使用本地主机。 但是，如果您通过 docker 运行 ScrapingHub，则需要允许访问端口。

Answer 2

不建议通过底部两个链接使用 localhost。 一些人提到关闭Crawlera解决了他们的问题。 它可能试图通过在线 IP 路由您的请求以到达您的本地主机，这将是有问题的。

Scrapy 在 Ubuntu 服务器上飞溅：得到了一个意外的关键字参数“编码”

https://github.com/scrapy-plugins/scrapy-splash/issues/108