使用JSoup提取表數據

Question

我正在嘗試使用JSoup從表中提取財務信息。 我已經審查了類似的問題，並可以使他們的示例工作（這里有兩個：

使用Jsoup提取數據

使用JSoup提取HTML表內容 ）。

我不確定為什么代碼不能在我的URL上運行 。

以下是3種不同的嘗試。 任何幫助，將不勝感激。

String s = "http://financials.morningstar.com/valuation/price-ratio.html?t=AXP&region=usa&culture=en-US";

//Attempt 1
try {
    Document doc = Jsoup.connect("http://financials.morningstar.com/valuation/price-ratio.html?t=AXP&region=USA&culture=en_US").get();

    for (Element table : doc.select("table#currentValuationTable.r_table1.text2")) {
        for (Element row : table.select("tr")) {
            Elements tds = row.select("td");
            if (tds.size() > 6) {
                System.out.println(tds.get(0).text() + ":" + tds.get(1).text());
            }
        }
    }
} 
catch (IOException ex) {
    ex.printStackTrace();
}

// Attempt 2
try {
    Document doc = Jsoup.connect(s).get(); 
    for (Element table : doc.select("table#currentValuationTable.r_table1.text2")) {
        for (Element row : table.select("tr")) {
            Elements tds = row.select("td");
            for (int i = 0; i < tds.size(); i++) {
                System.out.println(tds.get(i).text());
            }
        }
    }        
} 
catch (IOException ex) {
    ex.printStackTrace();
}

//Attempt 3
try {
    Document doc = Jsoup.connect(s).get(); 
    Elements tableElements = doc.select("table#currentValuationTable.r_table1.text2");

    Elements tableRowElements = tableElements.select(":not(thead) tr");

    for (int i = 0; i < tableRowElements.size(); i++) {
        Element row = tableRowElements.get(i);
        System.out.println("row");
        Elements rowItems = row.select("td");
        for (int j = 0; j < rowItems.size(); j++) {
            System.out.println(rowItems.get(j).text());
        }
    }        
} 
catch (IOException ex) {
    ex.printStackTrace();
}

Answer 1

Psherno提供的答案：

打印可以從頁面讀取的文檔（使用System.out.println(doc); ）。 某件事告訴我，您的問題可能與您要查找的HTML內容是由瀏覽器由JavaScript動態添加的事實有關，Jsoup無法做到這一點，因為它不支持JavaScript。 在這種情況下，您應該使用功能更強大的工具，例如Web驅動程序（例如Selenium）。