Jsoup在網站上看不到一些文本

Question

目前，我正在編寫一個程序（用Java），該程序從給定的URL中抓取twitch（視頻游戲流媒體站點）上的所有流光， 例如，並使用Jsoup將它們列出到文本文件中。

但是，無論我嘗試什么，似乎都無法獲得拖纜的名稱。 一段時間后，我發現頁面源出於某種原因不包含流媒體的名稱，我認為這可能是問題所在？

這是我目前的代碼。

public static void main(String[] args) throws IOException {
    int i = 0;

    PrintWriter streamerwriter = new PrintWriter("streamer.txt", "UTF-8");
    Document doc = Jsoup.connect(https://www.twitch.tv/directory/game/Hearthstone%3A%20Heroes%20of%20Warcraft).get();
    Elements streamers = doc.getElementsByClass("js-profile-link");

    for (Element streamer : streamers) {
        i++;
        System.out.println(i + "." + streamer.text());
        streamerwriter.println(i + "." + streamer.text());
    }

    streamerwriter.close();
}

任何幫助將不勝感激。

Answer 1

您不需要解析網頁。因為twitch具有用於選擇彩帶的api。

https://streams.twitch.tv/kraken/streams?limit=20&offset=0&game=Hearthstone%3A+Heroes+of+Warcraft&broadcaster_language=&on_site=1

所以你應該解析json數據

如果您想知道為什么由於延遲加載而在jsoup中看不到彩帶，因為您要解析的部分是延遲加載的。您應該知道該延遲請求並使用我找到並編寫的jsoup解析該URL。（抽搐API）

請檢查以下問題： 如何在具有lazyload scrollLoader.js的網站中使用Jsoup