Jsoup没有从URL获取完整的html源代码，为什么？

Question

我正在尝试使用Jsoup从官方的Facebook页面抓取视频链接。 当我与Jsoup连接并尝试在连接后显示包含HTML代码的文档的内容时，它将显示一部分HTML代码而不是全部HTML代码。 我什至使用了用户代理，但是我仍然收到一部分代码源代码。 为什么当我从浏览器中正常单击鼠标右键以显示代码源时，它会显示完整的div，注释等信息，但使用Jsoup却不是？ 请帮助

 import org.jsoup.*; import org.jsoup.nodes.Document; import java.io.IOException; public class xxxx { public static void main(String args[]){ print("running..."); Document d2; try { d2=Jsoup.connect("https://www.facebook.com/pg/EttounsiyaTV/videos/").userAgent("Mozilla/5.0 (X11; Ubuntu; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.167") .maxBodySize(0) .timeout(600000) .get(); System.out.println(d2); } catch (IOException e) { e.printStackTrace(); } print("done"); } public static void print(String string) { System.out.println(string); } } 

Answer 1

不，您不能使用JSOUP获取动态内容。 但为解释起见，我在下面提供详细信息。

这是您想使用JSOUP获得的东西。

 <video muted="1" height="462" width="820" preload="auto" style="" class="_ox1 _21y0" data-video-width="820" data-video-height="462" data-original-aspect-ratio="1.7777777777778" id="u_0_r" src="blob:https://www.facebook.com/b7dc6f31-ec0a-4df3-aac5-feb341dc8a29"></video> 

问题

但是，如果您搜索页面源，则无法使用JSOUP看到要获取的内容，这意味着您无法使用JSOUP来获取页面源中未呈现的内容，这些内容是使用javascript或任何其他源呈现的动态内容。 为此，您必须使用SELENIUM或任何其他以编程方式模仿浏览器活动的工具。