如何创建不使用API​​即可登录另一个网站的应用程序

Question

我需要创建一个应用程序，该应用程序使用我的凭据登录到一个网站（用户名/密码），但是该网站没有API或身份验证协议（自1998年以来未进行更新，但是我需要不断地从中获取数据）。

反正有这样做吗？ 最好使用python，但可以使用任何语言或工具。

我一直在搜索google，但大多数人都可以使用API​​。

Answer 1

如评论中所述，您可以使用Python Selenium绑定轻松完成此设置。

另一个选择是Mechanize工具系列（Python的网址是http://wwwsearch.sourceforge.net/mechanize/ ）

如果您需要重量更轻的解决方案（不需要像Selenium或任何第三方包之类的笨重的Web浏览器实例），则很有可能使用curl命令行客户端对应用进行身份验证并发送请求，然后将将curl命令放入shell或Python脚本中。

您可以开始使用Chrome开发者工具开发curl解决方案：

• 打开开发工具后，弹出“网络”标签
• 选择“保留日志”复选框
• 在浏览器中手动导航到您的Web应用并登录
• 执行您要自动化的任何其他操作
• 现在，您应该在“网络”标签中有一个请求列表
• 浏览请求并确定哪些是重要的（例如，可以忽略图像的GET）
• 对于要包含在脚本中的每个请求，请右键单击该项目，然后单击“复制为cURL”选项，以获取剪贴板中该请求的等效卷度。
• Chrome在剪贴板中放置的字符串非常冗长； 如果您想清理它，则可能会删除几个位并仍然有一个工作请求。
• 根据需要对请求进行参数化，并且您应该从任务的工作外壳脚本开始。