ValidationException - 成员的长度必须小于或等于 500

Question

我的 Snowplow 扩充器将数据加载到 Kinesis 数据流，但 Kinesis 响应错误 400，并且消息Member must have length less than or equal to 500 (Service: AmazonKinesis; Status Code: 400; Error Code: ValidationException ，我在AmazonKinesis 文档。我也不明白消息，500 是什么，字节？当我在 AWS 控制台中查看 Kinesis 时，没有设置为 500，而且我也没有看到与最大大小相关的任何内容。

谁能告诉我这500是什么？

Answer 1

该错误意味着 Enrich 应用程序试图一次将 500 多条记录写入 Kinesis。 Kinesis API 的PutRequests操作限制为 500 个条目。 这在此处记录。

在您的丰富配置文件中，您有缓冲区部分，您可以在其中指定：

      byteLimit = 10000000
      recordLimit = 480 
      timeLimit = 60000

当达到这些限制之一时会触发刷新，以先发生者为准。