获取S3 Object的下载流并将其传递给ruby中的另一个方法

Question

用于Ruby的Amazon S3 API仅在将块传递给read方法时流式传输对象。 我正在为em-ftpd开发一个驱动程序，它需要一个IOish对象来将S3数据流式传输到客户端。 如果只是传递myS3Object.read，则整个文件被加载到内存中，如S3 API所述。 有没有办法将其封装成类似自定义IO类的东西，所以我可以将流传递给em-ftpd？

这是我的代码：

def get_file(path)
  #loading whole file into memory - not efficient
  yield bucket.objects[path].read
end

这是em-ftpd中的代码，它使用块来获取其数据块，从而获得我的代码的结果，最好是作为IOish对象：

# send a file to the client
def cmd_retr(param)
  send_unauthorised and return unless logged_in?
  send_param_required and return if param.nil?

  path = build_path(param)

  @driver.get_file(path) do |data|
    if data
      send_response "150 Data transfer starting #{data.size} bytes"
      send_outofband_data(data)
    else
      send_response "551 file not available"
    end
  end
end

谢谢。

Answer 1

事实证明我需要创建一个具有S3数据缓冲区和读取和eof方法的类。