我有多个 Splunk 通用转发器，我希望将它们发送到 ETL 工具。 我正在尝试评估 FluentD 是否是一个兼容选项。 FluentD 为许多特定的日志收集工具内置了插件，但 Splunk UF 并未列为其中之一。 但是，FluentD可以通过HTTPS接收流量，而Splunk可以通过HT ...
我正在处理 Fluentd 的 yaml 文件配置。 输入数据来自 kafka 作为 json 文件。 其中一些是列表，例如： { a:[ a1:"1", a2:"2", ... ], b:"10" } Fluentd 如何访问这个 json 的一系列列表项（例如前 10 项）。我写了这个配置以访 ...
我们有使用zstd压缩将文件压缩并发送到 S3 的要求。 我正在尝试使用fluentd s3 插件实现zstandard压缩插件，以便使用fluentd代理发送到 s3 的数据以zstd格式存储，而不是默认的 gzip。 无法找到任何解决方案。 任何帮助表示赞赏。 在 Linux 系统中安装了 t ...
我已经在 AWS 中设置了 Opensearch。 我已经在 Ubuntu 18.04 安装了td-agent 。 下面是我的td-agent.conf文件： 运行td-agent时出现以下错误： 2023-01-26 15:41:44 +0000 [warn]: #0 Could not comm ...
有没有办法将 ElasticSearch 设置为 Fluentd 的来源？ 所有文档都描述了如何将 ES 设置为目标，但我有一些数据必须由 Fluentd 处理并传送到 kafka 主题。 ES -> Fluentd -> Kafka ...
我有这个fluentd配置：<source> @type tail <parse> @type regexp expression /^(?<remote>[^ ]*) (?<host>[^ ]*) (?<user> ...
我正在关注文章https://adamtheautomator.com/efk-stack/ 。 我在其中使用 docker-compose 使用 efk 堆栈实现。在“使用 Docker 部署 EFK 堆栈”部分中，当我运行“docker-compose up -d”命令时。 只有 kibana ...
我正在使用 ECK 8.5.3 运行 EFK。 流利的ConfigMap ： ES模板： 我根本看不到 Kibana ECK 8.5.3 中的任何属性。 我想念什么？ ...
如果日志中不存在消息字段，我想将其添加到日志中。 这是相关的流利配置：<filter **> @type record_transformer enable_ruby true <record> message ${ if record.has_key?( ...
我正在尝试按照本页指导的安装步骤在 RHEL7 上安装 RPM Package： 我能够成功安装 td-agent，启动守护进程，并通过 HTTP 发送示例日志对其进行测试。作为下一步，我尝试安装“calyptia-fluentd”，但在为 Redhat 安装时使用如下所示的 curl 命令: c ...
我是 FluentD 的新手，我正在尝试确定我们是否可以用 FluentD 替换当前的系统日志应用程序。 我试图解决的问题是 FluentD 和旧版应用程序（可与 rsyslog 一起工作）之间的兼容性，但无法处理 json。 FluentD output 数据是否可以采用它接收到的格式 - 符 ...
我正在学习使用 FluentD。 我正在尝试使用它向 coralogix 发送日志。 我已经安装了 td-agent，我通过使用 tail 插件来跟踪日志文件和 output 插件来将它写入另一个目录，从而以基本方式让它工作。 所以我知道我的安装有效，但我无法使 http 插件工作以将数据发送到 c ...
我需要将 output 修改为 到 我正在查看 record_transformer，但看起来这只是为了添加新字段或修改现有 json 属性的值。 是否可以像我想要的那样提取数据？ ...
各位朋友，在 Google Cloud GKE 中，我在一个 pod 中有 3 个容器。 第一个是应用程序，第二个是 istio-proxy sidecar，第三个是 fluentd sidecar。 场景很简单，我想阻止/停止从 fluentd 容器发送到日志浏览器（GCP 日志控制台）的日志。 ...
我正在使用 Fluentd 配置和正则表达式解析器来解析日志。 这是我在 fluentd 中的原始日志： 我想使用正则表达式为上述日志创建 json 格式，如下所示： 有 Ruby 经验的人可以帮我为上面的日志创建 Ruby 正则表达式吗 ...
我在 EKS 集群中使用的服务很少。 我希望解析我的 1 个服务的日志 kubectl logs "pod_name" --> 这是我直接在 pod 服务中检查时的日志 2022-09-21 10:44:26,434 [springHikariCP 管家] 调试 HikariPool - sp ...
我在我的 conf 文件中添加了以下内容（参考 - https://docs.fluentd.org/input/monitor_agent ） - 当我在 docker 容器中运行 fluentd 时，还会报告以下日志 - > 根据文档， 此配置启动具有 24220 端口的 HTTP 服务器 ...
我部署了 BanzaiCloud Logging Operator 以使用 fluentd 将日志发送到 Splunk。 Splunk 将源（主机）解释为fluentd-0但我希望将$namespace.$pod作为主机字段。 我试图用 record_modifier 覆盖该字段，最终获得第二个 ...
如何收集 Kubernetes 集群日志，例如 API 服务器日志、自动缩放器日志、调度器日志？ 我使用fluentD收集应用程序日志，我可以用它来收集集群日志吗？ 节点中的哪个文件有集群日志？ ...
我在 Kubernetes 集群中部署了一个 EFK（ElasticSearch、Fluentd、Kibana）。 我可以从集群中的 pod 获取日志。 但是，我有一个在集群外部的容器（在不同的服务器上；使用 Docker 运行），我想使用 Fluentd 来收集这个容器的日志。 我知道最简单的方 ...