使用wget從URL下載文件

Question

我需要從網站上下載一些文件，網站上包含一些圖表，並可以選擇將圖表數據下載為CSV文件。 我嘗試使用wget

wget --save-cookies cookies.txt --post-data 'user=foo&password=bar' https://websiteyyyyyyyy/cacti/graph_xport.php?local_graph_id= 1234

但是只有代碼才能下載網站的登錄頁面，而我需要從圖表中下載附件。

但我不知道是否有可能以這種方式獲取文件？

我嘗試使用curl但我得到了相同的結果

任何建議

Answer 1

許多網站都通過會話cookie來跟蹤您是否登錄。 看到您沒有登錄（因為您沒有發送有效的會話cookie），您將被重定向到登錄頁面（即使您提供了密碼）。 因此，您可能必須運行wget進行登錄，然后再次運行它才能實際檢索文件。 請注意，僅--save-cookies可能還不夠，您可能需要添加--keep-session-cookies

wget --save-cookies cookies.txt --keep-session-cookies --post-data 'user=foo&password=bar' https://websiteyyyyyyyy/loginpage
wget --load-cookies cookies.txt https://websiteyyyyyyyy/graph_xport.php?local_graph_id=1234

Wget文檔中有關--post-file選項的部分有一個與上述示例非常相似的示例。

Answer 2

該url看起來是指向具有文件的站點，而不是文件本身。 要下載文件，您需要類似

wget http://www.examplesite.com/subpage/yourfile.txt

這將下載yourfile.txt

但是，如果這些圖表是通過服務器端腳本動態創建的，例如基於用戶輸入的圖表生成，則指向帶有該腳本的頁面將不會運行該腳本，從而不會創建文件或啟動文件請求。 。 您必須使用指向文件位置的url，並且在發出請求之前文件必須已經存在。