如何使用python从javascript网站抓取数据

Question

我无法从网站抓取数据 我有一个 URL 链接https://autodesk.wd1.myworkdayjobs.com/Ext/0/refreshFacet/318c8bb6f553100021d223d9780d30be当我打开这个链接时，当我滚动页面时会显示很多工作列表当我检查页面时自动加载更多工作列表只有 JavaScript 显示，我需要提取以下数据工作地点、工作描述、工作 URL、全职或兼职、json 格式的最低资格我不知道如何在我的代码下面做到这一点

from bs4 import BeautifulSoup
import pandas as pd
from selenium import webdriver
from datetime import datetime
startTime = datetime.now()
import time
print('startTime',startTime)
driver = webdriver.Chrome('C:\\Users\\arif khan\\Downloads\\chromedriver.exe')
driver.get('https://autodesk.wd1.myworkdayjobs.com/Ext/0/refreshFacet/318c8bb6f553100021d223d9780d30be')

Answer 1

您必须从 div 中提取它：

jobs = driver.find_elements_by_xpath("//div[@class='WNOO WBOO']/ul/li")
for job in jobs:
    print(job)

在网站上，右键单击并使用“检查元素”查看任何特定元素的代码。 例如，如果您右键单击文本“财务经理”，然后单击“检查元素”，它将显示它的代码。