刮亞馬遜產品名稱

Question

我正在嘗試根據賣家名稱在亞馬遜上收集前兩頁產品名稱。 當我請求頁面時，它具有我需要的所有元素，但是，當我使用BeautifulSoup -它們並未列出。 這是我的代碼：

import requests
from bs4 import BeautifulSoup
headers = {'User-Agent':'Mozilla/5.0'}
res = requests.get("https://www.amazon.com/s?me=A3WE363L17WQR&marketplaceID=ATVPDKIKX0DER", headers=headers)
#print(res.text)
soup = BeautifulSoup(res.text, "html.parser")
soup.find_all("a",href=True)

產品鏈接未列出。 如果Amazon API提供了此信息，我可以使用它（請提供一些用法示例）。 非常感謝。

Answer 1

我已經從alt屬性中提取了產品名稱。 這是預期的嗎？

import requests
from bs4 import BeautifulSoup as bs

r = requests.get('https://www.amazon.com/s?me=A3WE363L17WQR&marketplaceID=ATVPDKIKX0DER')
soup = bs(r.content, 'lxml')
items = [item['alt'] for item in soup.select('.a-link-normal [alt]')]
print(items)

超過兩頁：

import requests
from bs4 import BeautifulSoup as bs
url = 'https://www.amazon.com/s?i=merchant-items&me=A3WE363L17WQR&page={}&marketplaceID=ATVPDKIKX0DER&qid=1553116056&ref=sr_pg_{}'
for page in range(1,3):
    r = requests.get(url.format(page,page))
    soup = bs(r.content, 'lxml')
    items = [item['alt'] for item in soup.select('.a-link-normal [alt]')]
    print(items)