使用 BeautifulSoup 抓取网页

Question

我是新手，我正在尝试将此网页所有子页面（1-8）的每个产品的链接： https : //www.sodimac.cl/sodimac-cl/category/scat359268/Esmaltes-al-agua

我有一个循环来浏览每一页，但由于某种原因，在第 7 页上它只带来了 20 个产品，而在第 8 页上没有产品

这是为我获取每个页面上每个产品的所有 URL 的函数：

def get_all_product_url(base_url):
    # Set up link and gets all URLs
    page = requests.get(base_url, stream=True)
    soup = BeautifulSoup(page.content, 'html.parser',from_encoding='utf-8')
    url_list = []
    try:
        products = soup.find_all('div', {'class':'jsx-3418419141 product-thumbnail'})
    except:
        return url_list
    for i in products:
        url = i.find("a").get('href')
        if 'https://www.sodimac.cl' in url:
            url_list.append(url)
        else:
            url_list.append('https://www.sodimac.cl'+url)
    # Return all web address without duplicates
    return list(set(url_list))

当我为第 8 页运行它时，我得到了一个员工列表

base_url = "https://www.sodimac.cl/sodimac-cl/category/scat359268/Esmaltes-al-agua?currentpage=8"
page = requests.get(base_url, stream=True)
soup = BeautifulSoup(page.content, 'html.parser',from_encoding='utf-8')
url_list = get_all_product_url(base_url)
url_list

如果您在第 1 页运行它，您将获得 28 个条目

base_url = "https://www.sodimac.cl/sodimac-cl/category/scat359268/Esmaltes-al-agua?currentpage=1"
page = requests.get(base_url, stream=True)
soup = BeautifulSoup(page.content, 'html.parser',from_encoding='utf-8')
url_list = get_all_product_url(base_url)
url_list

任何帮助我真的很感激。

谢谢