簡體 English 中英

是否可以在docker下運行spark udf函數（主要是python）？

[英]is it possible to run spark udf functions (mainly python) under docker?

原文 2019-08-28 20:24:25 8 1 python/ docker/ apache-spark/ pyspark/ amazon-emr

我在emr上使用pyspark 。 為了簡化python庫和依賴項的設置，我們使用docker鏡像。

這對於一般的python應用程序（非spark）和spark驅動程序（從docker映像中調用spark提交）都適用

但是，我找不到使工作程序在docker映像中運行的方法（“完整”工作程序，或者只是UDF函數）

編輯找到了一個帶有beta EMR版本的解決方案，如果當前（5. *）EMR版本還有其他選擇，那么它仍然有意義

1 個解決方案

顯然yarn 3.2支持此功能： https : //hadoop.apache.org/docs/r3.2.0/hadoop-yarn/hadoop-yarn-site/DockerContainers.html

並且預計將在EMR 6（現在處於Beta版）中提供https://aws.amazon.com/blogs/big-data/run-spark-applications-with-docker-using-amazon-emr-6-0- 0-beta /

來自Python包的函數用於Spark數據幀的udf（）

[英]Functions from Python packages for udf() of Spark dataframe

Python 函數上的 Spark UDF

[英]Spark UDF on Python function

Spark Udf花時間運行

[英]Spark Udf taking time to run

使用python lime作為火花上的udf

[英]Using python lime as a udf on spark

Apache Spark Python UDF失敗

[英]Apache Spark Python UDF Failing

Python-並行運行函數的最簡單方法

[英]Python - simplest way possible to run functions in parallel

為什么 pySpark 無法僅運行 udf 功能？

[英]Why is pySpark failing to run udf functions only?

在Spark 2.1中使用自定義Python UDF發生TypeError

[英]TypeError using custom Python UDF in Spark 2.1

當 django 在 docker 下運行時，將 python 函數作為命令行運行

[英]run python function as command line when django is runing under docker

當python函數比它們快時，為什么我們使用pyspark UDF？（注意。不用擔心 spark SQL 命令）

[英]Why do we use pyspark UDF when python functions are faster than them? (Note. Not worrying about spark SQL commands)

暫無

暫無

聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

相關問題 來自Python包的函數用於Spark數據幀的udf（） Python 函數上的 Spark UDF Spark Udf花時間運行使用python lime作為火花上的udf Apache Spark Python UDF失敗 Python-並行運行函數的最簡單方法為什么 pySpark 無法僅運行 udf 功能？在Spark 2.1中使用自定義Python UDF發生TypeError 當 django 在 docker 下運行時，將 python 函數作為命令行運行當python函數比它們快時，為什么我們使用pyspark UDF？（注意。不用擔心 spark SQL 命令）

相關標簽

粵ICP備18138465號 © 2020-2024 STACKOOM.COM