S3霧讀進度

Question

我正在嘗試從帶有霧的s3下載大文件（> 500mb）。 我想檢查進度，但似乎多次下載了文件。

我正在使用：

connction = Fog::Storage.new(
  provider: 'AWS',
  aws_access_key_id: key_id,
  aws_secret_access_key: secret_key,
  region: 'eu-west-1',
)

connection.get_object(bucket, obj_key) do |chunk, remaining_bytes, total_bytes|
  file.write(chunk)
  p "Writing file: #{remaining_bytes} / #{total_bytes} remaining"
end

它似乎會多次執行整個過程，幾乎下載了所有數據，但是當剩下一兆字節時，它將再次開始重新下載！

經過大約4個循環后，將引發錯誤：

negative argument (ArgumentError) (Excon::Errors::SocketError)

任何建議，不勝感激！

更新：寶石版本：

excon (0.20.1)
    fog (1.10.1)
    builder
    excon (~> 0.20)
    formatador (~> 0.2.0)
    mime-types
    multi_json (~> 1.0)
    net-scp (~> 1.1)
    net-ssh (>= 2.1.3)
    nokogiri (~> 1.5.0)
    ruby-hmac

Answer 1

我想知道這是否與Excon寶石有​​關。 您正在使用哪個版本的Excon，Fog和Ruby？

您可能還想嘗試使用EXCON_DEBUG = true重新運行腳本。 希望您能獲得更好的信息。