有没有办法在 fluentd s3 插件中实现 zstd 压缩？

Question

我们有使用zstd压缩将文件压缩并发送到 S3 的要求。 我正在尝试使用fluentd s3 插件实现zstandard压缩插件，以便使用fluentd代理发送到 s3 的数据以zstd格式存储，而不是默认的 gzip。 无法找到任何解决方案。 任何帮助表示赞赏。

在 Linux 系统中安装了 td-agent fluentd，并安装了zstd-ruby和ztsd gems。 创建了s3_compressor_zstd.rb算法并将其复制到/opt/xxxx/fluent-plugin-s3-1.7.2/lib/fluent/plugin目录。 启动 fluentd 代理时出现以下错误：

OS: Ubuntu 18.04.6 LTS
td-agent version: 4.4.2
fluentd version: 1.15.3
zstd version: 1.1.2.1
zstd-ruby version: 1.5.2.3

s3_compressor_zstd.rb文件：

require "zstd"
module Fluent::Plugin
  class S3Output
    class ZstdCompressor < Compressor
      S3Output.register_compressor('zstd', self)
      def initialize(options = {})
        begin
          require "zstd"
        rescue LoadError
          raise Fluent::ConfigError, "Install zstd-ruby gem before using zstd compressor"
        end
      end
      def ext
        ".zst"
      end
      def compress(data)
        compressed_data = ''
        Zstd::Writer.open(StringIO.new(compressed_data)) do |compressed_stream|
          compressed_stream.write(data)
        end
        compressed_data
      end
    end
  end
end

Answer 1

根据Use your (de)compression algorithm ， compress需要两个 arguments：

      # chunk is buffer chunk. tmp is destination file for upload
      def compress(chunk, tmp)
        # call command or something
      end

您需要相应地更新您的实施。

在此处检查现有支持的压缩器的实现：

• https://github.com/fluent/fluent-plugin-s3/tree/master/lib/fluent/plugin

这是一个讨论snappy 压缩器的线程（可能会有帮助）：

• https://groups.google.com/g/fluentd/c/4KME4WB-np8

---

更新

使用zstd gem，压缩器的实现可能如下所示（未测试）：

require 'zstd'

module Fluent::Plugin
  class S3Output
    class LZMA2Compressor < Compressor
      S3Output.register_compressor('zstd', self)

      def initialize(options = {})
        begin
          require 'zstd'
        rescue LoadError
          raise Fluent::ConfigError, 'zstd gem not installed, run: gem install zstd'
        end
      end

      def ext
        'zst'.freeze
      end

      def compress(chunk, tmp)
        s = StringIO.new
        chunk.write_to(s)
        tmp.write(Zstd.new.compress(s.string))
      end
    end
  end
end