在谷歌雲數據流中使用 experiments=no_use_multiple_sdk_containers

Question

問題摘要：您好，我正在使用 avro 1.11.0 版來解析 avro 文件並對其進行解碼。 我們有自定義要求，所以我無法使用 ReadFromAvro。 當嘗試使用數據流進行此操作時，會出現依賴性問題，因為版本 1.82 的 avro-python3 已經可用。 問題是 class TimestampMillisSchema，它在 avro-python3 中不存在。 它無法說明在 avro.schema 中找不到屬性 TimestampMillisSchema。 然后我嘗試使用 avro==1.11.0 傳遞一個需求文件，但現在數據流無法開始給出錯誤“Error syncing pod”，這似乎是因為依賴項沖突。

為了解決這個問題，我們設置了一個運行良好的實驗標志（--experiments=no_use_multiple_sdk_containers）。

我想知道我的問題的更好解決方案，並且上面的標志是否會影響管道性能。

Answer 1

請嘗試使用數據流運行命令：

--prebuild_sdk_container_engine=cloud_build --experiments=use_runner_v2

這將使用雲構建來構建具有額外依賴項的容器，然后在數據流運行中使用它。