Scrapy：表中链接的xpath

Question

我想使用scrapy从这个表中提取一些书籍链接。

该表如下所示：

<table id="table_text">

<tbody>

<tr >
<td>15/02/2014</td>
<td><a href="/book_1.html">Book 1</a></td>
<td>The Author</td>
<td> <a href="/tag1">tag1</a>  <a href="/tag2">tag2</a> </td>
<td>Genre</td>
</tr>

提取的链接应该是：

/book_1.html

我使用的选择器是

def parse(self, response):
    hxs = Selector(response)
    hxs = Selector(response)
    links = hxs.xpath('//table[@id="table_text"]//tr//td[2]//a//@href')

但print links显示空输出： []

我想知道我使用的xpath有什么问题？

Answer 1

根据您提供的信息，您的XPath工作正常。 它可以简化

//table[@id="table_text"]//tr/td[2]/a/@href

但您的版本返回正确的节点。

当遇到scrapy的意外行为时，请尝试始终检查它收到的HTML是否是您期望的HTML。 使用浏览器和scrapy检索的HTML可能会有所不同 ，因为scrapy不会处理Javascript（有些浏览器会尝试清理HTML）。

这就是为什么你应该检查 response.body的内容是你所期望的 。 如果不是，你需要找到一个解决方法:)