使用 python、selenium(WebDriver) 和漂亮的 soap 抓取艺术家姓名

Question

很长一段时间以来，我一直在尝试自动执行此任务。 因此，我需要从特定 Spotify 播放列表中的所有歌曲中收集所有主要（第一位）艺术家姓名。 然后，我想将所有名称存储在 csv 文件中

当然，我必须打开 chromedriver window 并像这样使用播放列表链接

从 selenium 导入 webdriver driver = webdriver.Chrome() driver.get(' https://open.spotify.com/playlist/4FLeoROn5GT7n2tZq5XB4V?si=5wxAuFwgSPCuyjzU ')

然后，我怎么能说“从所有曲目中选择所有主要艺术家的名字并将它们存储在 csv 中”？

感谢您的帮助

Answer 1

虽然 beautifulsoup 非常适合从网站上抓取数据，但它对于提供 API 的服务来说是违反直觉的。 Spotify 有一个有据可查的 API，它可以让您轻松完成此操作（抓取数据）。

您可以在此处测试播放列表的端点。 但是，您将需要一个密钥来生成令牌以将请求发送到 API。 该过程记录在此处和此处..

至于将数据保存到 csv，我将不得不留给另一个贡献者，因为我在这方面几乎一无所知。

编辑：

有关如何将 API 与 python 一起使用的示例，您可以在此处查看我的一个旧项目。 这不是一个完美的例子，但它应该让你走上正确的道路。

附言。 该密钥不再有效，您不应将其上传到 github。 改用环境变量；）