在bash中通过XPath获取HTML元素

Question

我试图按照另一个 SO问题中的描述在MacOS上使用xpath解析页面（ Kaggle Competitions ）：

curl "https://www.kaggle.com/competitions/search?SearchVisibility=AllCompetitions&ShowActive=true&ShowCompleted=true&ShowProspect=true&ShowOpenToAll=true&ShowPrivate=true&ShowLimited=true&DeadlineColumnSort=Descending" -o competitions.html
cat competitions.html | xpath '//*[@id="competitions-table"]/tbody/tr[205]/td[1]/div/a/@href'

那只是获得表中链接的href 。

但是xpath而不是返回值，而是开始验证.html并undefined entity at line 89, column 13, byte 2964返回错误，例如undefined entity at line 89, column 13, byte 2964 。

由于man xpath不存在，并且xpath --help没有任何结尾，因此我陷入了困境。 同样，许多类似的解决方案都与GNU发行版中的xpath有关，而不是在MacOS中。

是否有通过bash中的XPath获取HTML元素的正确方法？

Answer 1

在bash中通过XPath获取HTML元素

来自html文件（无效xml）

一种可能是使用xsltproc。 （我希望它可用于MAC）。 xsltproc有一个--html选项，可将html用作输入。 但与此同时，您需要具有xslt样式表。

<xsl:stylesheet 
    xmlns:xsl="http://www.w3.org/1999/XSL/Transform" version="1.0">
  <xsl:output method="text" /> 

  <xsl:template match="/*">
    <xsl:value-of  select="//*[@id='competitions-table']/tr[205]/td[1]/div/a/@href" />
  </xsl:template>

</xsl:stylesheet>

请注意，xapht已更改。 输入文件中没有tbody 。 呼叫xsltproc：

xsltproc --html  test.xsl competitions.html 2> /dev/null

xslproc抱怨html错误的地方将被忽略（发送到/ devn / null）。

输出为： /c/R

要从命令行使用不同的xpath表达式，可以使用xslt模板并替换__xpath__ 。

例如xslt模板：

<xsl:stylesheet 
    xmlns:xsl="http://www.w3.org/1999/XSL/Transform" version="1.0">
  <xsl:output method="text" /> 
  <xsl:template match="/*">
    <xsl:value-of  select="__xpaht__" />
  </xsl:template>
</xsl:stylesheet>

并使用（例如）sed进行替换。

 sed -e "s,__xpaht__,//*[@id='competitions-table']/tr[205]/td[1]/div/a/@href," test.xslt.tmpl > test.xsl
 xsltproc --html  test.xsl competitions.html 2> /dev/null