使用Apache Beam 2.9.0 Java SDK的Google数据流作业卡住了

Question

我正在使用Beam Java SDK 2.9.0，在此步骤中，我的工作从Kafka读取。 我的工作在DirectRunner上效果很好。 当我将其部署在Dataflow上时，工作卡住了，看不到任何进展。 数据流监控用户界面显示

Output collections
EventKafkaReadTransform/Values/Values/Map.out0
Elements added  
–
Estimated size  
–

堆栈驱动程序日志似乎与以下消息处于循环状态

同步处理pod 75bf4f18ce7d4d30a2b7de627656b517（“ dataflow-eventingestjob-xxx-0-02062225-wxsc-harness-r3kq_default（75bf4f18ce7d4d30a2b7de627656b517）”）时出错，跳过：对于“ java-L”，失败到“ Off-off 5”的“ StartContainerBack”：容器= Java流Pod =数据流eventingestjob-xxx-0-02062225-wxsc-harness-r3kq_default（75bf4f18ce7d4d30a2b7de627656b517）

我不知道还要寻找什么。

任何帮助表示赞赏

Answer 1

我们有类似的发现，发现这无法启动工人（对我们来说，由于slf4j问题，但可能是任何事情）。

如果查看Stackdriver Logs（查看UI中的日志，然后单击链接以转到Stackdriver），则应该能够查看worker_startup日志。