網頁抓取新聞文章

Question

我在從以下網站抓取新聞文章標題和文章描述時遇到問題： https : //www.hrdive.com/ 。 我嘗試的編碼不起作用。 有人可以幫我修復此編碼以使其正常工作嗎？

   for i in data.xpath("//li[@class='row feed__item']"):
   title= i.xpath('//h3/a/text()')
   article = i.xpath('//p[@class="feed__description"]/text()')
   print(title, article)

Answer 1

您定位的元素仍然嵌套在幾個標簽中， div > h3 > a ，因此您需要使用//來查找它。

for i in data.xpath("//li[@class='row feed__item']"):
   title = i.xpath('//h3/a/text()')
   article = i.xpath('//p[@class='feed__description']/text()')
   print(title, article)

注意開頭的雙斜線//

提示：

您可以在瀏覽器控制台中測試您的 xpath，例如，在您的情況下，您可以訪問https://www.hrdive.com/並檢查/轉到控制台並使用$x ：

$x("//li[@class='row feed__item']//p[@class='feed__description']/text()")

// or

$x("//li[@class='row feed__item']//p[@class='feed__description']")[0].innerText