繁体 English 中英

是否可以在docker下运行spark udf函数（主要是python）？

[英]is it possible to run spark udf functions (mainly python) under docker?

原文 2019-08-28 20:24:25 8 1 python/ docker/ apache-spark/ pyspark/ amazon-emr

我在emr上使用pyspark 。 为了简化python库和依赖项的设置，我们使用docker镜像。

这对于一般的python应用程序（非spark）和spark驱动程序（从docker映像中调用spark提交）都适用

但是，我找不到使工作程序在docker映像中运行的方法（“完整”工作程序，或者只是UDF函数）

编辑找到了一个带有beta EMR版本的解决方案，如果当前（5. *）EMR版本还有其他选择，那么它仍然有意义

1 个解决方案

显然yarn 3.2支持此功能： https : //hadoop.apache.org/docs/r3.2.0/hadoop-yarn/hadoop-yarn-site/DockerContainers.html

并且预计将在EMR 6（现在处于Beta版）中提供https://aws.amazon.com/blogs/big-data/run-spark-applications-with-docker-using-amazon-emr-6-0- 0-beta /

来自Python包的函数用于Spark数据帧的udf（）

[英]Functions from Python packages for udf() of Spark dataframe

Python 函数上的 Spark UDF

[英]Spark UDF on Python function

Spark Udf花时间运行

[英]Spark Udf taking time to run

使用python lime作为火花上的udf

[英]Using python lime as a udf on spark

Apache Spark Python UDF失败

[英]Apache Spark Python UDF Failing

Python-并行运行函数的最简单方法

[英]Python - simplest way possible to run functions in parallel

为什么 pySpark 无法仅运行 udf 功能？

[英]Why is pySpark failing to run udf functions only?

在Spark 2.1中使用自定义Python UDF发生TypeError

[英]TypeError using custom Python UDF in Spark 2.1

当 django 在 docker 下运行时，将 python 函数作为命令行运行

[英]run python function as command line when django is runing under docker

当python函数比它们快时，为什么我们使用pyspark UDF？（注意。不用担心 spark SQL 命令）

[英]Why do we use pyspark UDF when python functions are faster than them? (Note. Not worrying about spark SQL commands)

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 来自Python包的函数用于Spark数据帧的udf（） Python 函数上的 Spark UDF Spark Udf花时间运行使用python lime作为火花上的udf Apache Spark Python UDF失败 Python-并行运行函数的最简单方法为什么 pySpark 无法仅运行 udf 功能？在Spark 2.1中使用自定义Python UDF发生TypeError 当 django 在 docker 下运行时，将 python 函数作为命令行运行当python函数比它们快时，为什么我们使用pyspark UDF？（注意。不用担心 spark SQL 命令）

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM