[英]Creating a wget Bash Script
我創建了一個wget腳本來下載和鏡像站點 。 URL來自文本文件。 我幾乎創建了整個腳本,但是現在我需要使其完美。 每天要使用3個小時,因此應該在最后結束的地方繼續使用。
我在下面提供了我的腳本,如果有人發現它有用,可以使用它,但請在腳本中保留我的名字。
腳本問題:
腳本無法通過引用父目錄中的文件來正確引用其鏈接 ,請告訴我。
即使使用--continue參數,腳本在中間中止后也不會恢復
# Created by Salik Sadruddin Merani
# email: ssm14293@gmail.com
# site: http://www.dragotech-innovations.tk
clear
echo ' Created by: Salik Sadruddin Merani'
echo ' email: ssm14293@gmail.com'
echo ' site: http://www.dragotech-innovations.tk'
echo
echo ' Info:'
echo ' This script will use the URLs provided in the File "urls.txt"'
echo ' Info: Logs will be saved in logfile.txt'
echo ' URLs are taken from the urls.txt file'
#
url=`< ./urls.txt`
useragent='Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:25.0) Gecko/20100101 Firefox/25.0'
echo ' Mozilla Firefox User agent will be used'
cred='log=abc@123.org&pwd=abc123&wp-submit=Log In&redirect_to=http://abc@123.org/wp-admin/&testcookie=1'
echo ' Loaded Credentails'
echo ' Logging In'
wget --save-cookies cookies.txt --post-data ${cred} --keep-session-cookies http://members.ebenpagan.com/wp-login.php --delete-after
OIFS=$IFS
IFS=','
arr2=$url
for x in $arr2
do
echo ' Loading Cookies'
wget --spider --load-cookies cookies.txt --keep-session-cookies --mirror --convert-links --page-requisites ${x} -U ${useragent} -np --adjust-extension --continue -e robots=no --span-hosts --no-parent -o log-file-$x.txt
done
IFS=$OIFS
問候
wget中的--continue標志將嘗試恢復當前目錄中單個文件的下載。 有關更多信息,請參考wget的手冊頁。 它很詳細。
您需要從腳本先前停止的位置繼續進行鏡像/下載。
因此,與其說是wget中的某些設置,不如說是對腳本的修改。 我可以建議一種方法,但是請注意,您也可以使用其他方法。
修改URLs.txt文件以使每行具有一個URL。 然后參考這個偽代碼-
這樣,您將在下次運行腳本時知道從哪個URL繼續。 所有末尾帶有“ #DONE”的URL將被跳過,其余的將被下載。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.