簡體   English   中英

wget:下載實時txt文件

[英]wget: downloading a LIVE txt file

我的bash腳本的末尾有這一行:

wget -q $URL -Y off

URL是一個LIVE txt文件的路徑,該文件包含我的bash腳本的控制台輸出。

澄清 LIVE txt文件

由於該txt文件存儲了控制台輸出,因此它會隨着過程不斷更新。 我的Shell腳本包含一些“繁重的”程序,因此控制台輸出非常冗長,而txt文件將需要一些時間才能生成(可能需要3到5秒的延遲)。

問題 :有時我得到的txt文件不完整,僅包含最終txt文件的一小部分。 (應該在wget命令之前得到所有內容)有趣的是,我下載的大多數不完整的txt文件都停留在第9999行。我不知道這是否是限制,但是如果控制台輸出低於5k行。

問題:有沒有辦法讓wget等待特定時間?

ps我知道wget有一個超時選項-T ,默認值為900秒。 但是我的問題與緩慢的連接無關,而是與生成文件的延遲有關。

如果此wget語句作為生成輸出的腳本的一部分運行,則您可能會遇到某種輸出緩沖問題……也就是說,由於腳本尚未退出,因此尚未刷新輸出。

您如何重定向輸出? 一種方法是包裝比其他一切wget聲明在子shell和重定向輸出:

#!/bin/sh

(
  a bunch
  of commands
) > output 2>&1

wget -q $URL ...

這樣可以確保其他命令已完成, 並且wget運行時已退出包含外殼程序的外殼

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM