有没有办法从网站的 HTML 创建一个包含所有属性的数组？

Question

我想创建一个允许我输入超链接地址的程序，output 将显示属性内容列表。 例如，输入冒险电影的 Netflix 流派超链接并接收到该流派的所有电影标题和单个电影标题链接的列表 output。

我查看了该类型的 View Page Source 数据并看到了这段代码：

<script type="application/ld+json">
{"@context":"http://schema.org","@type":"ItemList","name":"Adventure Movies","itemListElement":
[{"@type":"ListItem","position":1,"item":{"@type":"Movie","name":"The Adam Project","url":"https://www.netflix.com/title/81309354"}},
{"@type":"ListItem","position":2,"item":{"@type":"Movie","name":"Red Notice","url":"https://www.netflix.com/title/81161626"}}

我在想有没有办法检索列表中每个项目的“名称”和“url”属性并将它们显示在数组中？

不幸的是，除了一些基本的 HTML、CSS 和 Javascript 之外，我对编程不是很熟悉。我不确定需要什么编程语言来执行此操作。 脚本似乎在 JSON 中 - 我会使用 JSON 来执行此操作吗？

非常感谢任何帮助！

Answer 1

JSON 实际上只是一种用于组织数据的常用符号。 它本身不是一种语言。 许多站点使用此表示法来发送/接收数据。 它适用于 Javascript 以及许多其他编程语言。

实际上，您要做的是从 .netflix 中抓取数据。 您 go 对此的了解程度可能取决于您的最终目标以及您愿意学习哪些技术。

虽然 javascript 当然可以非常轻松地操纵 json 信息，但我相信您会遇到安全问题，试图从在 .netflix 外部运行的 javascript 文件中获取https://www.netflix.com/browse/genre/7442的内容领域。

Javascript 和 fetch 通常用于抓取外部数据的权限。 理想情况下，从 api 端点返回 json 而不是 html 文件。 不幸的是.netflix 不再提供公共 API。我对它们了解不多，也不太了解附加的字符串，但似乎有第 3 方提供 api for.netflix 数据...

你需要调查它的合法性，但你也可以看看学习 web 抓取工具，如：

• Scrapy (Python) - https://scrapy.org/
• 美丽的汤（Python） - https://www.crummy.com/software/BeautifulSoup/
• Selenium（许多语言支持，包括带节点的 JS）- https://www.selenium.dev/ - 这是一个更通用的浏览器自动化工具，不太专门用于抓取。