有没有办法在没有库的情况下抓取动态网站？

Question

我正在使用“axios”从 web 站点（ https://movie.daum.net/premovie/released ）抓取数据

我需要 ol 标签下的 li 标签数据，但 li 标签未显示在源代码中。

开发工具中的元素选项卡

开发工具中的源选项卡

我猜该网站使用 JavaScript 等动态呈现 li 标签，但我不知道在加载所有标签后如何抓取它们。

关键是，我想在没有任何与像 puppeteer 一样的爬行相关的库的情况下做到这一点。

如果您知道，请告诉我该怎么做。 谢谢你。

===============

找到解决方法了！

[웹크롤링] JavaScript로 된 html 불러오기

它是用韩文写的，但真的很有帮助。

Answer 1

找到解决方法了！

就我而言，我发现 XHR 存在于开发工具的网络选项卡中。 所以我向 XHR url 请求了“获取”axios 方法，而不是 Z2567A5EC93712Z 页面的 url。

开发工具中的 XHR 选项卡

[웹크롤링] JavaScript로 된 html 불러오기

我在这里找到的，它是用韩文写的。 但真的很有帮助。