使用Logstash过滤器创建新字段

Question

我已经开始根据Github上提供的示例过滤器编写自己的Logstash过滤器：

https://github.com/logstash-plugins/logstash-filter-example

我的新过滤器从一个名为Classficiation.jar的jar文件中读取。 我想采用来自text的值，并在此基础上对这些文本进行分类。 这将需要创建一个新字段并在其中添加分类。

该操作将导致以下结果：

输入

{"text" : "This is a happy thought :)"}

输出值

{"text" : "This is a happy thought :)", "classification" : "Positive"}

但是……我并不确定要如何创建这个新字段。 如您所见，该类采用一个参数，即文本。

我非常感谢有关如何为该logstash过滤器的输出创建新字段的指南。

# encoding: utf-8
require "logstash/filters/base"
require "logstash/namespace"
require 'java'
require 'Classficiation.jar'

import 'classficiation.Classficiation'

class LogStash::Filters::Classify < LogStash::Filters::Base

  # This is how to configure this filter from Logstash config.
  #
  # filter {
  #   classify {
  #   }
  # }
  #
  config_name "classify"


  t = Java::classficiation::Classficiation.new
  result = t.Classify(:text)
  # This should return a classification for the text, either positive
  # or negative

  public
  def register
  end

  public
  def filter(event)    
    ..........

    filter_matched(event)
  end
end

谢谢。

---

更新

我已按照@hurb提供给我的说明进行操作，并编辑了文件，使其看起来像这样：

# encoding: utf-8
require "logstash/filters/base"
require "logstash/namespace"
require 'java'
require 'Classficiation.jar'

import 'classficiation.Classficiation'

class LogStash::Filters::Classify < LogStash::Filters::Base

  config_name "classify"

  t = Java::classficiation::Classficiation.new

  public
  def register
  end

  public
  def filter(event)    
    event["result"] = t.Classify(event["text"])
    filter_matched(event)
  end
end

但是，这开始给我错误：

NameError: undefined local variable or method 'Classify' for #<LogStash::Filters::Classify:0x44850d11>

当我尝试在filter包含t = Java::classficiation::Classficiation.new时，它给了我错误：

dynamic constant assignment

这是为什么？？？

Answer 1

您可以在课程结束时访问filter(event)函数内的所有事件字段。 可以使用event参数event["message"]来访问字段。 因此，您可能正在寻找诸如event["result"] = t.Classify(event["text"])之类的东西（它将创建一个新的字段result 。

但是，我认为您的代码还有其他一些问题。 请仔细检查您的filter(event)功能。 似乎有不必要的end 。 我不确定java导入，但我认为它应该是java_import 'classficiation.Classficiation'而不是import 。

这样开始：

# encoding: utf-8
require "logstash/filters/base"
require "logstash/namespace"
require 'java'
require 'Classficiation.jar'

java_import 'classficiation.Classficiation'

class LogStash::Filters::Classify < LogStash::Filters::Base

  config_name "classify"

  public
  def register
  end

  public
  def filter(event)    
     t = Java::classficiation::Classficiation.new
     event["result"] = t.Classify(event["text"])
     filter_matched(event)
  end

end

让我知道您是否需要进一步的帮助。

---

更新

为了调试您的jruby代码，我建议您在logstash之外测试其功能。 这样的事情应该起作用：

#!/usr/bin/env jruby

require 'java'
java_import 'classficiation.Classficiation'
t = Classficiation.new
result = t.Classify("foobar")
puts result

您可以尝试执行这样的脚本，然后查看它是否提供所需的输出。 之后，尝试将其迁移到logstash过滤器。