如何使用 selenium 和 python 從動態生成的頁面中抓取內容？

Question

我嘗試了很多次，但都未能以可靠和完整的方式記錄我需要的數據。 我了解 python 和 selenium 用於自動執行簡單任務的極端基礎知識，但在這種情況下，內容是動態生成的，我無法找到正確的方法來訪問並隨后記錄我需要的所有數據。

我希望從中抓取內容的 URL 的結構類似於以下內容：

特別是我正在嘗試使用類似的東西來獲取所有信息 -

browser.find_elements_by_xpath('//*[@id="products-container"]

這是正確的方法嗎？ 如何訪問此元素的特定子元素（以及同一路徑的所有元素）

我讀過我可能需要beautifulsoup4，但我不確定解決這個問題的最佳方法。

最好的方法是使用 xpaths 嗎？ 如果是這樣，有沒有辦法遍歷所有元素並記錄其中的所有數據，還是我必須指定我所追求的每個數據點？

任何能幫助我指明正確方向的幫助都會非常有幫助，因為我仍在學習並且在我的進步中遇到了障礙。

我的最終目標是列出所有產品名稱、價格和我認為基於手頭的具體練習相關的任何其他數據點。 如果我能找到訪問數據點的正確方法，我就可以存儲它們並根據需要比較/報告它們。

謝謝！

Answer 1

我想你正在尋找類似的東西

browser.find_elements_by_css_selector('[class*="product-information__Title"]')

這應該會找到以該字符串開頭的 class 的所有元素。