使用 Jsoup.connect() 时会发生什么？ 为什么这么慢？

Question

我正在使用以下行加载文档

Document doc = Jsoup.connect("http://www.some.site.with.lotsof.images/")
        .header("Accept-Encoding", "gzip, deflate")
        .userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0")
        .maxBodySize(0)
        .timeout(600000).get();  // So Slow (~10 Seconds)
Elements lyricList = doc.getElementsByClass("some-class");

我只需要图像的 src。 所以我只需要加载纯 html 文本。

线路是否因为从 URL 加载图像而变慢？

我的意思是 Jsoup.connect() 是否等待整个页面与图像一起加载？

Answer 1

而不是使用Jsoup进行获取和解析，尝试结合OkHttp进行获取和Jsoup进行解析

OkHttpClient okHttp = new OkHttpClient();
Request request = new Request.Builder().url("https://example.com").get().build();
Document doc = Jsoup.parse(okHttp.newCall(request).execute().body().string());

它对我的情况产生了很大的影响，以下是我运行的简单基准测试的平均结果：

okHttp+Jsoup：283ms

Jsoup：476ms

Answer 2

由于以下原因， Jsoup连接可能会变慢：

• 您的互联网连接速度或
• CPU 使用率（某些其他程序正在占用内存！）或
• 您正在访问的 Web 服务器的响应速度。

我一直在抓取数千页，上面三个（尤其是第三个）是最有可能降低Jsoup.connect()速度的问题。 在您的情况下，我相信您尝试连接的 Web 服务器会减慢您的连接速度，因为Jsoup不会等待图像加载，无论来自服务器的初始html响应是什么，它都会为您提供。