如何使用JSoup登錄網站並提取數據？

Question

我正在嘗試從Fantasy.premierleague.com/transfers中提取數據

使用JSoup和以下代碼，我可以從主頁中提取鏈接。 但是，要訪問轉移頁面，我需要登錄。

我應該在此簡單代碼中添加些什么，以便登錄和訪問轉賬頁面？

public class StatsCollector {

public static void main (String [] args){

    try {
        Document doc = Jsoup.connect("http://fantasy.premierleague.com/transfers").get();
        Elements links = doc.select("a[href]");
        System.out.println(links);
    }  

    catch (IOException ex) {
        Logger.getLogger(StatsCollector.class.getName()).log(Level.SEVERE,null,ex);
    }
}

}

Answer 1

JSoup只是HTML解析器，您需要認證的是一些HTMLClient（例如Selenium），它可以在頁面上執行某些操作（寫入文本字段，單擊按鈕）。