Knox 進程消耗 Dataproc 主節點中的所有資源

Question

我嘗試打開存儲在 GCS 中的筆記本。 我使用 Jupyter 創建了一個 Dataproc 集群，並連接了 Jupyter web 接口。

當我打開我的筆記本時，我收到一個錯誤（錯誤 504，沒有更多信息）。

當我打開我的筆記本時，我檢查了主節點，我看到有 'knox' 進程消耗了我的 cpu(%198) 和 memory(%100) 資源。

我每周遇到這種情況3-4次。

有沒有人遇到過同樣的問題？

Answer 1

我通過使用 Jupyter 組件創建集群來重現您的問題，然后打開 Python 筆記本並多次運行print('hello world') 。 然后我 ssh 進入主節點並持續監控 Knox 進程 memory 的使用情況。 每次我運行單元時，Knox 進程的 memory 都會增加約 3M。

在/usr/lib/knox/bin/knox-env.sh中設置export KNOX_GATEWAY_MEM_OPTS="-Xms512m -Xmx1024m"然后sudo systemctl restart knox可能會有所幫助，但這似乎不是您的問題的原因。