卡夫卡用例的错误主题

Question

我试图建立一个管道，但我才意识到我真的不知道为什么会有错误，为什么会有错误主题。 我将依靠某些元数据来确定某些值，但除此之外，是否存在“典型” kafka错误？ 我不确定“典型” kafka错误主题的用途。 这是专门针对流应用程序的。 谢谢你的帮助。

Answer 1

流环境中错误主题的一个示例是，它包含未能遵守其约定的消息。例如：如果传入的事件旨在采用某种json格式，则您的spark应用程序将首先尝试解析将事件转换为适合事件json合同的类。

如果格式正确，将对其进行解析，然后继续运行该应用程序。

如果格式不正确，则解析失败，并将json字符串发送到错误主题。

其他用例可能是将事件发送回错误主题，以便稍后处理。例如，网络问题连接到其他服务。