PyMC3 / Edward / Pyro在Spark上？

Question

有没有人尝试过在Spark中使用python概率编程库？ 还是有人对这会发生什么有个好主意？

我觉得Edward将是最简单的，因为已经有连接Tensorflow和Spark的工具，但对于需要进行哪些低级代码更改仍然不甚了解。

我知道分布式MCMC仍然是一个活跃的研究领域（请参阅Spark上的MC-Stan？ ），所以这甚至合理实施吗？ 谢谢！

Answer 1

您可以将Tensorflow连接器与Edward一起使用，因为它基于Tensorflow，MCMC的主要缺点之一是计算量很大，您可以尝试对贝叶斯模型进行变分推断，以近似目标分布。 （我相信这也适用于Pyro和PyMC3），您也可以使用Tensorflow分布式tensorflow分布式

我还建议您使用/尝试一个名为“ Dask”的库https://dask.pydata.org/en/latest/ Dask ，您可以将模型从工作站扩展到具有Tensorflow连接器的集群。

希望这可以帮助

Answer 2

我见过人们在PySpark中运行Pyro + PyTorch，但是用例仅基于CPU，并且不涉及分布式培训。