wget，下載具有特定結尾的鏈接文件

Question

想要從此站點下載所有單詞列表https://wiki.skullsecurity.org/Passwords

我試過了

wget https://wiki.skullsecurity.org/Passwords --no-check-certificate --accept "*.bz2" -r

但只會下載目標網頁。

什么也不起作用：

wget https://downloads.skullsecurity.org/passwords/ --no-check-certificate -m

（嘗試使用-m和-r的不同組合）

也嘗試過--user-agent以防止wget阻止下載

嘗試-l 3 ，仍然沒有成功..facepalm

Answer 1

這對我有用：

 wget -e robots=off -r -np -nH --accept "*.bz2"  http://downloads.skullsecurity.org/passwords/

了解有關機器人排除的信息

如果您知道自己在做什么，並且真的希望關閉機器人排除功能，請將機器人變量設置為“關閉”

網站http://downloads.skullsecurity.org/包含robot.txt及其內容

User-agent: *
Disallow: /

說明

Disallow: /告訴機器人不應訪問該網站上的任何頁面。