繁体   English   中英

从目标网址重定向的YQL查询

[英]YQL query redirected from target url

我正在尝试抓取一个网站,但是当我尝试使用YQL连接到该网站时,我被重定向到该网站的主页,而不是我要获取内容的页面。

有谁知道我该怎么做才能防止我的请求被重定向,或者有任何解决方案来避免此问题?

这类似于我正在尝试执行的请求,但失败了:目标站点:
http://gticket.imagix.be/os1.aspx
在Yahoo Console中的请求:
http://query.yahooapis.com/v1/public/yql?q=select%20*%20from%20html%20where%20url%3D%22http%3A%2F%2Fgticket.imagix.be%2Fos1.aspx%22&diagnostics =真

这不是因为yql ,实际上它具有302重定向。 如果直接将此 URL放置在浏览器的地址栏中或单击它,则可以看到 URL已被重定向到网站的主页,并且无法阻止它。

是重定向后页面的yql结果。

更新:

还要记住,如果网站选择使用robots.txt指令阻止YQL,则将不允许您访问它。 因此,如果以这种方式设置了网站,站点可以拒绝yql请求, 这是有关阻止yql 的文章

您可以使用YQL中的followRedirects选项。 在这里检查

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM