通過制作人將大文件推送到Kafka主題中
[英]pushing big files into Kafka topic through producer
問題描述
文件是通過服務器文件夾上的客戶端上載的。 它正在持續使用TUS API從其他客戶端上傳文件（文件可恢復上傳）。 文件大小從5 mb到100 mb。 現在我想通過Java異步將這些文件推送到Kafka生產者中，但不能這樣做。 我嘗試使用watch文件夾的一個選項，但不確定它在生產中如何有效。 任何幫助表示贊賞。
1 個解決方案
解決方案1
1 2018-09-25 13:17:14
Kafka對郵件大小施加了限制，因此您將無法放置任何大於此大小的內容。 您可以將其配置為max.message.bytes ，但可能會有副作用（例如kafka服務器的內存占用）。
您還有其他選擇：
- 對消息進行分塊，並使其成為聰明的消費者，以便在收到消息時重新組合塊
- 將數據存儲在外部服務（例如redis / something sql）中，並且僅將指針傳遞給外部服務
與這些相關的一些約束已記錄在本文中
這是通過kafka生產者閱讀消息並將其推送到主題的正確方法嗎
[英]is this the correct way to read the message through kafka producer and push it to the topic
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.