[英]Do I need to install Koalas on every node of my Spark cluster or just on the master node?
我在 Spark+AI 峰会上发现了考拉，它将pandas带到了 Spark。
As far as I know if I need to map a third party function to a Spark DataFrame , I have to install the package on every node of my Spark cluster.
考拉也是这样吗？ 或者我只需要在我的主节点上运行pip install koalas并让 Koalas 和 Spark 来处理 rest？
除了pip install koalas之外，我还没有在 Koalas 的文档中找到任何详细信息。
是的，您需要在集群的所有节点上安装考拉。 通常，所有第 3 方库都需要安装在集群的所有节点上。
我可以在 Centos 7 上安装 node.js 18 吗？我是否也需要安装 python 3？
[英]Can I install node.js 18 on Centos 7 and do I need python 3 install too?
我在EMR群集主服务器上运行的python作业失败，该如何解决？
[英]My python job I run on the master of EMR cluster fails, how do I troubleshoot?
Hadoop集群-运行作业之前，我是否需要在所有计算机上复制代码？
[英]Hadoop cluster - Do I need to replicate my code over all machines before running job?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
