从列出下载位置的 HTML 页面中查找最新链接

Question

我正在尝试构建与以下 github 特定代码等效的代码，用于查找可从https 下载的最新工件：//runtime.fivem.net/artifacts/fivem/build_proot_linux/master - 下载链接看起来像像https://runtime.fivem.net/artifacts/fivem/build_proot_linux/master/5901-5db768d8bbb973ba27c81e424aea2910144a3100/fx.tar.xz 。

# Working code for github.com, needs to be converted to fivem.net
LOCATION=$(curl -s https://api.github.com/repos/someuser/somerepo/releases/latest \
| grep "tag_name" \
| awk '{print "https://github.com/someuser/somerepo/archive/" substr($2, 2, length($2)-3) ".zip"}') \
; curl -L -o file.zip $LOCATION

该文件有一个增量版本号，但没有序列号，后面跟着一个完全随机的 hash。

如何从 HTML 页面https://runtime.fivem.net/artifacts/fivem/build_proot_linux/master找到最新的下载链接？

Answer 1

如果你想用命令行工具解析 HTML，那么我建议你看一下像xidel这样的合适的 HTML 解析器：

$ xidel -s "https://runtime.fivem.net/artifacts/fivem/build_proot_linux/master/" \
  -e '//a[@class="panel-block  is-active"][1]/@href'
./5914-b600ff018d939f6a65e48994bf4a4192388435e7/fx.tar.xz

此外，不需要 Bash 脚本或任何其他工具，因为使用--follow / -f和--download您可以立即下载文件：

$ xidel -s "https://runtime.fivem.net/artifacts/fivem/build_proot_linux/master/" \
  -f '//a[@class="panel-block  is-active"][1]/@href' \
  --download .

这会在当前目录中下载“fx.tar.xz” 。 当扩展名一开始是“xz”时，我不建议手动输入“file.zip” 。 但是，您可以生成更合适的文件名：

$ xidel "https://runtime.fivem.net/artifacts/fivem/build_proot_linux/master/" \
  -f '//a[@class="panel-block  is-active"][1]/@href)' \
  --download 'artifacts-{extract($url,"master/(\d+)-",1)}.tar.xz'
Retrieving (GET): https://runtime.fivem.net/artifacts/fivem/build_proot_linux/master/
Processing: https://runtime.fivem.net/artifacts/fivem/build_proot_linux/master/
Retrieving (): https://runtime.fivem.net/artifacts/fivem/build_proot_linux/master/5914-b600ff018d939f6a65e48994bf4a4192388435e7/fx.tar.xz
Save as: artifacts-5914.tar.xz

这会在当前目录中下载“artifacts-5914.tar.xz” 。 当您省略--silent / -s时，您将看到这些日志消息。 顺便说一句，我不知道这个软件，所以我假设它被称为“神器”。

Answer 2

我们可以使用lynx dump ，如Easest way to extract the urls from an html page using sed or Z5E4C8DFA9E20567E2655E847F68193B2中所建议的那样

#!/usr/bin/env bash

url_re='https://runtime.fivem.net/artifacts/fivem/build_proot_linux/master/([[:digit:]]+)-([[:xdigit:]]+)/fx.tar.xz'
newest_link_num=0
newest_link_content=
while read -r _ link; do
  [[ $link =~ $url_re ]] || continue
  if (( ${BASH_REMATCH[1]} > newest_link_num )); then
    newest_link_num=${BASH_REMATCH[1]}
    newest_link_content=$link
  fi
done < <(lynx -dump -listonly -hiddenlinks=listonly https://runtime.fivem.net/artifacts/fivem/build_proot_linux/master)

echo "Newest link is: $newest_link_content"

在撰写本文时，它以以下 output 结束：

最新链接是： https://runtime.fivem.net/artifacts/fivem/build_proot_linux/master/5901-5db768d8bbb973ba27c81e424aea2910144a3100/fx.tar.xz

Answer 3

我检查了https://runtime.fivem.net/artifacts/fivem/build_proot_linux/master/和最新的链接（版本 5902 即最新和版本 5484 即最新推荐）似乎有is-active class

<a class="panel-block  is-active" href="./5902-3c88d7752be75493078c1da898337b0abc2652ff/fx.tar.xz" style="display: block;">

与旧版本相反。 如果可能的话，您应该使用为 HTML 设计的工具来处理 HTML 例如hxselect ，但是如果您不允许安装此类工具，您可以使用 GNU AWK来代替以下方式

wget -O - https://runtime.fivem.net/artifacts/fivem/build_proot_linux/master/ | awk 'BEGIN{RS="<|>"}/is-active/{sub(/^.*href="\./,"");sub(/".*/,"");print "https://runtime.fivem.net/artifacts/fivem/build_proot_linux/master"$0}'

得到 output

https://runtime.fivem.net/artifacts/fivem/build_proot_linux/master/5902-3c88d7752be75493078c1da898337b0abc2652ff/fx.tar.xz
https://runtime.fivem.net/artifacts/fivem/build_proot_linux/master/5848-4f71128ee48b07026d6d7229a60ebc5f40f2b9db/fx.tar.xz

说明：我通知 GNU AWK行分隔符（ RS ）是<或>所以开始和结束标记的内部被视为单行，然后对于包含is-active的行，我将所有内容替换为href=".用空字符串，即删除它，然后用空字符串替换它后面的"和所有内容，即删除它，然后打印https://runtime.fivem.net/artifacts/fivem/build_proot_linux/master并提取 href 的值。

（在 gawk 4.2.1 中测试）