卡夫卡用例的錯誤主題

Question

我試圖建立一個管道，但我才意識到我真的不知道為什么會有錯誤，為什么會有錯誤主題。 我將依靠某些元數據來確定某些值，但除此之外，是否存在“典型” kafka錯誤？ 我不確定“典型” kafka錯誤主題的用途。 這是專門針對流應用程序的。 謝謝你的幫助。

Answer 1

流環境中錯誤主題的一個示例是，它包含未能遵守其約定的消息。例如：如果傳入的事件旨在采用某種json格式，則您的spark應用程序將首先嘗試解析將事件轉換為適合事件json合同的類。

如果格式正確，將對其進行解析，然后繼續運行該應用程序。

如果格式不正確，則解析失敗，並將json字符串發送到錯誤主題。

其他用例可能是將事件發送回錯誤主題，以便稍后處理。例如，網絡問題連接到其他服務。