復雜的Web文檔檢索

Question

我需要從網站檢索文檔並進行解析。 問題是：

1. 該網站同時使用http和https協議
2. 您需要登錄該網站（我有一個普通帳戶）
3. 在登錄頁面上，至少有2個重定向只是為了自己登錄

我管理了HTTPS連接並發布了登錄名和密碼，但是在cookie管理和重定向方面遇到了麻煩。

Answer 1

commons-httpclient會有所幫助。

Answer 2

使用類似HtmlUnit的庫可能會有所幫助。