使用Apache Beam 2.9.0 Java SDK的Google數據流作業卡住了

Question

我正在使用Beam Java SDK 2.9.0，在此步驟中，我的工作從Kafka讀取。 我的工作在DirectRunner上效果很好。 當我將其部署在Dataflow上時，工作卡住了，看不到任何進展。 數據流監控用戶界面顯示

Output collections
EventKafkaReadTransform/Values/Values/Map.out0
Elements added  
–
Estimated size  
–

堆棧驅動程序日志似乎與以下消息處於循環狀態

同步處理pod 75bf4f18ce7d4d30a2b7de627656b517（“ dataflow-eventingestjob-xxx-0-02062225-wxsc-harness-r3kq_default（75bf4f18ce7d4d30a2b7de627656b517）”）時出錯，跳過：對於“ java-L”，失敗到“ Off-off 5”的“ StartContainerBack”：容器= Java流Pod =數據流eventingestjob-xxx-0-02062225-wxsc-harness-r3kq_default（75bf4f18ce7d4d30a2b7de627656b517）

我不知道還要尋找什么。

任何幫助表示贊賞

Answer 1

我們有類似的發現，發現這無法啟動工人（對我們來說，由於slf4j問題，但可能是任何事情）。

如果查看Stackdriver Logs（查看UI中的日志，然后單擊鏈接以轉到Stackdriver），則應該能夠查看worker_startup日志。