为什么亚马逊畅销书排名和ASIN数据没有来？

Question

class Me2Spider(scrapy.Spider):
    name = 'me'
    allowed_domains = ['www.amazon.com']
    start_urls = [
        'https://www.amazon.com/dp/B08DL5SQDM?th=1',
        'https://www.amazon.com/dp/B08DL6D52S?th=1',
        'https://www.amazon.com/dp/B01LW14DG7?th=1'
        ]

    def parse(self, response):
        yield{
            'ASIN': response.xpath('//div[@class="a-section table-padding"]/table[@id="productDetails_detailBullets_sections1"]/tbody/tr[1]/td').get(),
            'Ranking': response.xpath('//*[@id="prodDetails"]/div/div[2]/div[2]/div/div[1]/span[3]/text()').get(),
        }

---

我以前这样刮过，但现在数据不来了。

Answer 1

问题出在 xpath 中。 这就是为什么你会得到一个None元素，因为程序没有在寻找正确的元素。

如果您查看亚马逊页面的标记，您可以看到ASIN位于table 。 具体是这样的

<table id="productDetails_detailBullets_sections1" class="a-keyvalue prodDetTable" role="presentation">
    <tbody>
        <tr>
            <th class="a-color-secondary a-size-base prodDetSectionEntry">
                ASIN
            </th>
            <td class="a-size-base">
                B08DL5SQDM
            </td>
        </tr>

因此，您可以通过查找带有文本ASIN的th标签并查找th元素后的td来访问ASIN编号。

试试这个代码

url = "https://www.amazon.com/dp/B08DL6D52S?th=1"
driver.get(url)

path = "//th[normalize-space() = 'ASIN']//following-sibling::td"
element = driver.find_element_by_xpath(path)
print(element.text)

根据mozilla ， normaize-space被定义为

normalize-space 函数从字符串中去除前导和尾随空格，用单个空格替换空格字符序列，并返回结果字符串。