在 HPC（分布式計算）上運行 Python

Question

如何讓我的 python 代碼以分布式方式在高性能計算 (HPC) 集群上運行？

（注意：我正在尋找一種替代方法來簡化 Pyspark 作業，因為 python 代碼在較小的數據集上運行平穩。我不想使用 Pyspark 在這種情況下，因為庫中有我的代碼依賴項。

請提出一些在分布式 HPC 上利用並行計算范式的有用方法。

Answer 1

這不是一個問題。

這是一個解決方案。

plotly.offline.plot(fig, filename='filepath.html')