繁体   English   中英

Rsyslog数据在AWS中的Linux上已移位

Rsyslog data being bit-shifted on Linux in AWS

提示:本站收集StackOverFlow近2千万问答,支持中英文搜索,鼠标放在语句上弹窗显示对应的参考中文或英文, 本站还提供   中文繁体   英文版本   中英对照 版本,有任何建议请联系yoyou2525@163.com。

我有数十个在AWS中运行的c4.xlarge HVM CentOS 6 Linux实例。 它们是分布式测量网络的一部分,该网络收集数据并使用rsyslog将其转发到中央位置。 所有实例都在同一VPC内运行,并且是平面/ 24网络。 我正在运行的rsyslog版本是8.36.0-2,并且我使用的是syslog协议,而不是RELP或TLS或rsyslog支持的任何其他更高级的传输协议。 每个测量节点每秒将数十个事件转发给中央收集器。 所有这些工作都很好,除了每3-4个月一次,由于将一个或多个位移位单个字符而损坏少量实例上的测量数据。 例如,这些实例转发到中央收集器的数据字段之一包括实例的主机名。 此实例被命名为“ tagserver-prod-us-west-2-i-0d16b7e4c51e85697.internal.domain”,但是当此问题在15分钟内发生时,它是其主机名使用的错误值:

tagserver-ppod-us-west-2-i-0d16b7e4c51e85697.internal.domain
tagserver-prod-uq-west-2-i-0d16b7e4c51e85697.internal.domain
tagserver-prod-us-west-0-i-0d16b7e4c51e85697.internal.domain
tagserver-prod-us-west-2-i-0d14b7e4c51e85697.internal.domain
tagserver-prod-us-west-2-i-0d16b5e4c51e85697.internal.domain
tagserver-prod-us-west-2-i-0d16b7e4a51e85697.internal.domain
tagserver-prod-us-west-2-i-0d16b7e4c51e85697.internal.domain
tagserver-prod-us-west-2-i-0d16b7e6c51e85697.internal.domain
tagserver-prod-us-west-2-i-0f16b7e4c51e85697.internal.domain
tagserver-prod-us-wgst-2-i-0d16b7e4c51e85697.internal.domain
tagserver-prof-us-west-2-i-0d16b7e4c51e85697.internal.domain
tagserver-rrod-us-west-2-i-0d16b7e4c51e85697.internal.domain

每个值与其他值只有一个字符略有不同,并且每个字符已向后或向前移动了两个字符。 以下是上述列表中的一些示例:

r -> p
s -> q
2 -> 0
6 -> 4
7 -> 5
a -> c
d -> f

一旦所有聚合数据都经过验证,然后发送到另一台服务器进行处理,就在中央rsyslog收集器上观察到此问题,因此我不能肯定地说出损坏发生的位置:在运行rsyslog的测量节点上,在rsyslog将数据转发到收集器或收集器本身上时的网络。 有两个测量节点在同一时间段内遇到了此问题。

我不知所措,无法确定此位移发生的位置。 我查看了我的内核日志和系统日志,试图将发生位移的时间与系统中的某个问题相关联,但仍找不到任何东西,系统上的所有其他东西似乎都正常运行。 我已经读到内存不足会导致移位,但是据我了解,AWS中的所有硬件都运行ECC内存,这应该可以防止由于内存错误而发生这种情况。 我应该查看Linux或rsyslog中是否有什么东西可以确定导致此问题的原因或防止其再次发生? 我读过Linux中有一个名为EDAC的内核模块,可以帮助检测内存错误,但是我不确定它是否可以在VM中运行,我相信它需要直接访问物理内存。 是否有人对导致此问题的原因或我应该在哪里进行故障排除有任何建议?

问题暂未有回复.您可以查看右边的相关问题.
1 使用 T-SQL 提取 BIGINT 中间的位移数字

一位同事想出了一个内部 ID,该 ID 结合了多个不同的标识符,所有标识符都经过位移位。 我正在尝试使用 T-SQL 从这个BIGINT获取“TotalSeconds”。 我能想到的唯一方法是对位 21(?) 到 50 的数字进行 AND 运算,然后将其转换回 INT,然后使用 dateadd 获 ...

4 SPI从机数据移位了4位

我正在使用连接到DW1000模块的nRF52832芯片。 问题是从DW1000请求数据时,第一个字节丢失。 该芯片应该发送0xDECA0130,但我却收到0xCA0130FF。 当我增大接收缓冲区时,会出现丢失的0xDE(传输从最低字节开始)。 我的问题是,这是怎么发生的以及为什么发生。 ...

5 Linux上的Rsyslog

我有一台服务器,它将连续的数据日志流发送到另一台服务器Linux。 我有一个100 Gb的文件系统。 我用以下字符串编辑了文件/etc/rsyslog.conf:“如果$ fromhost-ip从'ip source'开始。之后,我用以下参数编辑了logrotate: No ...

6 通过串口发送移位数据

我有2个处理器:A和B。A正在解码4x4键盘并将字符发送到驱动显示器的处理器B。 处理器A还具有发送到B的实时数据。因此,我需要一种方案,其中A过滤掉按键的数据。 A还将发送一个特殊的代码,告诉B接下来的1或2个字节是用于显示的数据。 键盘字符将处理菜单。 我在想,如果我发送的MSb设置 ...

7 Rsyslog不向logstash发送数据

我已经按照此Digital Ocean教程通过rsyslog将日志发送到logstash。 但是我没有在logstash中获取日志。 我将日志发送到集中式rsyslog服务器,然后再发送到logstash。 该rsyslog服务器和logstash位于同一台计算机上。 这是rsy ...

8 Linux 64 位到 AWS ARM 架构

是否有任何选项可以将现有的 AWS 64 位 Linux 映像转移到新的 ARM 架构? 在这种情况下,迁移的最佳方法是什么? 我制作了一个实例的图像,但由于架构不匹配而无法启动该实例。 不确定所有东西都必须从头开始重建,或者有办法以某种方式使图像兼容。 ...

9 移位-移位值

我试图做一个更长的功能,但是它表现得很奇怪。 我试图找出问题所在,并且能够找到越野车部分。 该程序是为Arduino开发的,但是这种现象可能出现在其他环境中。 我试图进行大量搜索,但找不到解决方案。 因此,我的越野车部分: 为什么这两个代码不能给出相同的结果? 如何构造 ...

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2021 STACKOOM.COM