Knox 进程消耗 Dataproc 主节点中的所有资源

Question

我尝试打开存储在 GCS 中的笔记本。 我使用 Jupyter 创建了一个 Dataproc 集群，并连接了 Jupyter web 接口。

当我打开我的笔记本时，我收到一个错误（错误 504，没有更多信息）。

当我打开我的笔记本时，我检查了主节点，我看到有 'knox' 进程消耗了我的 cpu(%198) 和 memory(%100) 资源。

我每周遇到这种情况3-4次。

有没有人遇到过同样的问题？

Answer 1

我通过使用 Jupyter 组件创建集群来重现您的问题，然后打开 Python 笔记本并多次运行print('hello world') 。 然后我 ssh 进入主节点并持续监控 Knox 进程 memory 的使用情况。 每次我运行单元时，Knox 进程的 memory 都会增加约 3M。

在/usr/lib/knox/bin/knox-env.sh中设置export KNOX_GATEWAY_MEM_OPTS="-Xms512m -Xmx1024m"然后sudo systemctl restart knox可能会有所帮助，但这似乎不是您的问题的原因。