如何在“查看交易”中获取 URL 以及使用 BeautifulSoup 从 kayak.com 获取交易价格

Question

我有一个 Kayak URL 列表，我想在“查看交易”中获取“最佳”和“最便宜”HTML 卡片的价格和链接，基本上是前两个结果，因为我已经在网址（ 这里是 URL 的示例）。

我无法使用 beautifulsoup 获取这些数据，我需要一些帮助！ 这是我尝试提取价格信息的方法，但我得到的是一个空的prices_list变量。 下面是我想从网站中提取信息的屏幕截图。

url = https://www.kayak.com/flights/AMS-WMI,nearby/2023-02-15/WMI-SOF,nearby/2023-02-18/SOF-BEG,nearby/2023-02-20/BEG-MIL,nearby/2023-02-23/MIL-AMS,nearby/2023-02-25/?sort=bestflight_a
requests = 0

chrome_options = webdriver.ChromeOptions()
agents = ["Firefox/66.0.3","Chrome/73.0.3683.68","Edge/16.16299"]
print("User agent: " + agents[(requests%len(agents))])
chrome_options.add_argument('--user-agent=' + agents[(requests%len(agents))] + '"')    
chrome_options.add_experimental_option('useAutomationExtension', False)

driver = webdriver.Chrome('/Users/etc./etc.')
driver.implicitly_wait(10)
driver.get(url)

# getting the prices
sleep(randint(8,10))
xp_prices = '//a[@class="booking-link"]/span[@class="price option-text"]'
prices = driver.find_elements_by_xpath(xp_prices)
prices_list = [price.text.replace('$','') for price in prices if price.text != '']
prices_list = list(map(int, prices_list))

Answer 1

定位器 XPath 存在两个问题：

1. a元素 class name 不是booking-link ，而是booking-link ，尾随空格。
2. 您的定位器匹配重复的不相关（不可见）元素。
   以下定位器有效：

"//div[@class='above-button']//a[contains(@class,'booking-link')]/span[@class='price option-text']"

因此，相关的代码行可能是：

xp_prices = "//div[@class='above-button']//a[contains(@class,'booking-link')]/span[@class='price option-text']"

Answer 2

要从查看交易中提取网站内最佳和最便宜部分的价格，您必须为visibility_of_all_elements_located()引入WebDriverWait ，并且您可以使用以下任一定位器策略：

• 来自最佳部分：

   driver.get("https://www.kayak.com/flights/AMS-WMI,nearby/2023-02-15/WMI-SOF,nearby/2023-02-18/SOF-BEG,nearby/2023-02-20/BEG-MIL,nearby/2023-02-23/MIL-AMS,nearby/2023-02-25/?sort=bestflight_a") print(WebDriverWait(driver, 20).until(EC.visibility_of_element_located((By.XPATH, "//div[text()='Best']//following::div[contains(@class, 'bottom-booking')]//a//div[contains(@class, 'price-text')]"))).text)

• 控制台 output：

   $807

• 从最便宜的部分：

   driver.get("https://www.kayak.com/flights/AMS-WMI,nearby/2023-02-15/WMI-SOF,nearby/2023-02-18/SOF-BEG,nearby/2023-02-20/BEG-MIL,nearby/2023-02-23/MIL-AMS,nearby/2023-02-25/?sort=bestflight_a") print(WebDriverWait(driver, 20).until(EC.visibility_of_element_located((By.XPATH, "//div[text()='Cheapest']//following::div[contains(@class, 'bottom-booking')]//a//div[contains(@class, 'price-text')]"))).text)

• 控制台 output：

   $410

• 注意：您必须添加以下导入：

   from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.common.by import By from selenium.webdriver.support import expected_conditions as EC