wget，下载具有特定结尾的链接文件

Question

想要从此站点下载所有单词列表https://wiki.skullsecurity.org/Passwords

我试过了

wget https://wiki.skullsecurity.org/Passwords --no-check-certificate --accept "*.bz2" -r

但只会下载目标网页。

什么也不起作用：

wget https://downloads.skullsecurity.org/passwords/ --no-check-certificate -m

（尝试使用-m和-r的不同组合）

也尝试过--user-agent以防止wget阻止下载

尝试-l 3 ，仍然没有成功..facepalm

Answer 1

这对我有用：

 wget -e robots=off -r -np -nH --accept "*.bz2"  http://downloads.skullsecurity.org/passwords/

了解有关机器人排除的信息

如果您知道自己在做什么，并且真的希望关闭机器人排除功能，请将机器人变量设置为“关闭”

网站http://downloads.skullsecurity.org/包含robot.txt及其内容

User-agent: *
Disallow: /

说明

Disallow: /告诉机器人不应访问该网站上的任何页面。