使用Spring Boot的Kerberized kafka集群到hadoop集群之間的數據流

Question

我有一個流用例來開發一個Spring Boot應用程序，它應該從kafka主題中讀取數據並放入hdfs路徑，我為kafka和hadoop得到了兩個截然不同的集群。 在kafka集群中沒有kerberos身份驗證並且沒有對hadoop進行kerberized的情況下，應用程序運行良好。

當兩個集群都被kerberized時，問題就開始了。同時，我只能對一個集群進行身份驗證。

我進行了很少的分析/搜索，我找不到太多幫助，我的理論是我們無法在同一jvm實例上登錄/認證到兩個使用kerberized的集群，因為我們需要在代碼中設置REALM和KDC詳細信息，這些細節不是客戶端特定的，而是jvm具體，

可能發生的情況是我沒有使用正確的API，我對Spring Boot還是很陌生。

我知道我們可以通過在群集之間設置跨領域信任來做到這一點，但我正在尋找可能的應用程序級別解決方案。

我有幾個問題

1. 如果可能，是否可以在同一jvm實例上登錄/認證兩個獨立的kerberized集群？ 請幫助我，首選使用Spring Boot。
2. 從kafka集群到hadoop集群流數據的最佳解決方案是什么。

Answer 1

從kafka集群到hadoop集群流數據的最佳解決方案是什么。

Kafka的Connect API僅使用配置文件即可將源和目標與Kafka進行流式集成，而無需編碼！ HDFS連接器正是您所需要的，並且支持Kerberos身份驗證。 它是開源的，可以獨立使用，也可以作為Confluent Platform的一部分使用。