Scrapy SgmlLinkExtractor如何定义XPath

Question

我想检索城市名称和城市代码，并将其存储在一个字符串变量中。 该图显示了精确的位置：

谷歌浏览器为我提供了以下XPath：

//*[@id="page"]/main/div[4]/div[2]/div[1]/div/div/div[1]/div[2]/div/div[1]/div/a[1]/span

因此，我草率地定义了以下语句以获取所需的信息：

plz = response.xpath('//*[@id="page"]/main/div[4]/div[2]/div[1]/div/div/div[1]/div[2]/div/div[1]/div/a[1]/span/text()').extract()

但是我没有成功，字符串仍然为空。 应该改用什么XPath定义？

Answer 1

在大多数情况下，这是因为浏览器会更正无效的HTML。 您如何解决这个问题？ 检查（原始）HTML源，并编写自己的XPath，以最短/最简单的查询在DOM上进行导航。

我从网络上刮掉了很多数据，而且我从未使用过像从浏览器获得的XPath那样具体的XPath。 这有几个原因：

1. 如果使用无效的HTML或最基本的层次结构更改，它将很快失败。
2. 它不包含用于在网站更改时调试问题的识别数据。
3. 它比应该的更长。

这是一个示例 （您可以编写很多不同的XPath查询来查找此数据，我建议您学习并重新编写此查询，以便在整个项目中都有XPath查询的通用主题）查询以获取该元素：

//div[contains(@class, "detail-address")]//h2/following-sibling::span

---

此问题的另一个主要来源是广泛依赖JS来修改屏幕显示内容的网站。 方便地，尽管如此，可以像上面一样调试。 一看页面加载时返回的HTML，您会发现要查询的数据在JS执行之前不存在。 那时，您将需要进行一些无头浏览 。

---

由于我的回答本质上是“编写自己的XPath”（而不是依赖浏览器），因此我将保留一些资料：

• XPath基本介绍
• XPath函数列表
• XPath Chrome扩展

Answer 2

DOM是由javascript处理的，因此chrome显示的是发生所有事情后的xpath。

如果您想要得到的只是城市，则可以通过以下方式（使用scrapy）来实现：

city_text = response.css('.detail-address span::text').extract_first()
city_code, city_name = city_text.split(maxsplit=1)

或者，您可以在CDATA中操作JSON以获取所需的所有数据：

cdata_text = response.xpath('//*[@id="tdakv"]/text()').extract_first()
json_str = cdata_text.splitlines()[2]
json_str = json_str[json_str.find('{'):]
data = json.loads(json_str)                # import json
city_code = data['kvzip']
city_name = data['kvplace']