計划從多個 URL 下載文件

Question

每個月一次，我的團隊需要撥打 go 到多個資源並下載各種文檔。 我的目標是找到一個工具或創建一個腳本，可以按計划訪問多個來源、下載最新的文檔並覆蓋以前的副本。

由於我的 python 技能很生疏，我希望已經存在一些我至少可以用作起點的東西。 如果沒有，我將不勝感激作為起點的一些方向。 似乎使用 Python 執行此操作的方法是通過請求？

Answer 1

每個文檔/URL 一行，從 crontab 或類似文件運行。 如果服務器的資源版本比本地版本更新，將有條件地下載 URL：

curl --remote-name 
  --time-cond file.doc 
  https://example.com/p/file.doc

如果你有 curl 7.68.0 或更高版本，你甚至可以做 etag 條件，使其工作時間相互依賴：

curl --remote-name 
  --etag-compare etags.txt 
  --etag-save etags.txt 
  https://example.com/p/file.doc