通过Web Service API的Web抓取工具？

Question

我将如何做以下工作...

我想为我的应用程序构建一个Web服务，以从外部网站获取一条数据，这需要用户登录。 该网站没有公共API，因此是抓取工具的原因。

是否有执行以下功能的库？ 或我该怎么办？

• 自动填写表格，自动点击
• 自动提交按钮
• 检查用户登陆的URL，并将用户重定向到URL
• 从标签中获取数据。

编辑：我要什么是有一个Web服务，库等，以使其更容易执行屏幕抓取/自动化功能？

Answer 1

而不是填写表单和虚拟单击按钮，您应该查看表单的来源，并弄清楚如何提交数据。 在大多数情况下，您只需发送带有登录数据的发帖请求即可。 如果除了简单的发布请求之外还有其他特别的东西，我将使用此插件来解决正在执行的请求，您看不到。 使用C＃，我将使用HttpWebRequest类，因为它为您处理cookie。

Answer 2

如果该网站未禁止机器人，则可以使用YQL模拟所需的一切。 但是，由于您基本上必须在JS中实现纯文本浏览器，因此这可能会有些困难或不可能。