使用python urllib下载受保护的文件

Question

我正在尝试下载位于http://elwatan.com/pdf/telecharger.php?dir=JOURNAL&file=20120524.pdf的PDF文件，但是，下载该PDF文件之前需要先登录。 我能够登录，但是服务器将我重定向到主页http://elwatan.com ，当我尝试再次获取pdf的URL时，我无法下载它，原因是我似乎未登录！ 我认为我需要使用Cookie，对吗？

如果是，请您能解释一下该怎么做，因为我以前从未使用过它们。 ？

谢谢 ：）

Answer 1

机械化库对于这种情况非常有用。 它模拟了浏览器，包括填写表单（例如登录表单）和保持状态（例如Cookie）。 有了它，您可以登录到站点，然后导航到pdf文件。 您将使用类似以下代码的内容：

br = mechanize.Browser()
br.open(login_url)
#code to log in with br
data = br.open(pdf_url).get_data()

然后，您将不得不将数据解析为pdf文件，然后您可以对它进行任何处理。

Answer 2

使用该Web应用程序时，将为您生成一个“会话”。 会话详细信息存储在您的客户端的Cookie中。 您的客户端随每个HTTP请求一起发送cookie内容。 这样，Web应用程序知道您的HTTP请求对应于同一会话。 最初，您只是该会话中的未知用户。 登录后，Web应用程序知道该会话中的请求来自授权用户。

您有两种选择：

• 通过浏览器登录，制作Cookie并使用Python在后续请求中伪造浏览器
• 用Python完成所有操作（从初始请求开始，登录，获取文档）

两者都可能是大量的工作（特别是如果您不熟悉这些东西的话），因为您必须根据网络应用程序的具体情况来调整代码。 像机械化这样的库（已被其他人提及）可以节省一些工作。