当 id 包含使用 Nokogiri 的特殊字符时，如何抓取 URL/文本

Question

我正在尝试从https://webcat.schaeffler.com/web/schaeffler/pl/PKW/applicationSearch.xhtml抓取一些数据。

我开始构建我的应用程序的结构：

require 'nokogiri'
require 'open-uri'

class Scrape

  def first(strona)
      @page = Nokogiri::HTML(open(strona))
  end

  def marka(css)
      @page.css(css).text
  end

end

x = Scrape.new

x.first("https://webcat.schaeffler.com/web/schaeffler/pl/PKW/index.xhtml")
puts x.marka("a#searchByConstraints:form:j_idt491:0:j_idt493:0:j_idt495")

它应该放“ABARTH”，但id包含特殊字符，如":" ，我唯一得到的是：

unexpected '0' after ':' (Nokogiri::CSS::SyntaxError)

我在“ 有没有办法在 Nokogiri css 中转义非字母数字字符？ ”上找到了解决方案，所以我将代码中的最后一行更改为：

puts x.marka('*[id="searchByConstraints:form:j_idt491:0:j_idt493:0:j_idt495"]')

它返回一个空字符串，但我不知道为什么。

目标站点上的元素如下所示：

<a id="searchByConstraints:form:j_idt491:0:j_idt493:0:j_idt495" href="/web/schaeffler/pl/PKW/3854/applicationSearch.xhtml" title="ABARTH">ABARTH</a>

我做错了什么，或者在我的情况下不起作用。

Answer 1

这些 id 是非标准 CSS，因此您不能像搜索普通标签一样搜索它们，例如<div id="this-is-normal"> 。 相反，您需要匹配 div id 中的模式。

我认为这就是你需要的：

@page.css('div[id^="searchByConstraints:form:j_idt491"]')

所以对你来说是：

x.marka('div[id^="searchByConstraints:form:j_idt491"]')

作为旁注，我建议您将类命名为Scrapper或Scrape并且最好在类之后命名实例变量，因此

scrapper = Scrapper.new
scrapper.marka('blah') # etc. maybe you mean marker?

Answer 2

我已经想到了如何解决它。 我使用 XPATH 而不是 CSS。

我更改此代码：

  def marka(css)
      @page.css(css).text
  end

puts x.marka("a#searchByConstraints:form:j_idt491:0:j_idt493:0:j_idt495")

对此：

def marka(css)
    @page.xpath(css).text
end

puts x.marka("//*[@id='searchByConstraints:form:j_idt491:0:j_idt493:0:j_idt495']")