[英]How to convert a sklearn pipeline into a pyspark pipeline?
我們有一個機器學習分類器 model,我們已經用 pandas dataframe 和標准 sklearn 管道(StandardScaler、RandomForestClassifier、GridSearchCV 等)進行了訓練。 我們正在研究 Databricks,並希望使用並行計算 spark 提供的功能將此管道擴展到大型數據集。
將 sklearn 管道轉換為並行計算的最快方法是什么? (我們可以根據需要輕松地在 pandas 和 spark DF 之間切換。)
對於上下文,我們的選擇似乎是:
在選項 2 上,Spark-Sklearn 似乎已被棄用,但 Databricks 相反建議我們使用 joblibspark。 但是,這會在 Databricks 上引發異常:
from sklearn import svm, datasets
from sklearn.model_selection import GridSearchCV
from joblibspark import register_spark
from sklearn.utils import parallel_backend
register_spark() # register spark backend
iris = datasets.load_iris()
parameters = {'kernel':('linear', 'rbf'), 'C':[1, 10]}
svr = svm.SVC(gamma='auto')
clf = GridSearchCV(svr, parameters, cv=5)
with parallel_backend('spark', n_jobs=3):
clf.fit(iris.data, iris.target)
加薪
py4j.security.Py4JSecurityException: Method public int org.apache.spark.SparkContext.maxNumConcurrentTasks() is not whitelisted on class class org.apache.spark.SparkContext
根據 Databricks 說明(此處和此處),必要的要求是:
pyspark>=2.4
scikit-learn>=0.21
joblib>=0.14
我無法在運行 Python 3.7.5、Spark 3.0.0、scikit-learn 0.22.1 和 joblib 0.14.1 的社區 Databricks 集群中重現您的問題:
import sys
import sklearn
import joblib
spark.version
# '3.0.0'
sys.version
# '3.7.5 (default, Nov 7 2019, 10:50:52) \n[GCC 8.3.0]'
sklearn.__version__
# '0.22.1'
joblib.__version__
# '0.14.1'
通過以上設置,您的代碼片段可以順利運行,並且確實會生成一個分類器clf
,如下所示:
GridSearchCV(cv=5, error_score=nan,
estimator=SVC(C=1.0, break_ties=False, cache_size=200,
class_weight=None, coef0=0.0,
decision_function_shape='ovr', degree=3,
gamma='auto', kernel='rbf', max_iter=-1,
probability=False, random_state=None, shrinking=True,
tol=0.001, verbose=False),
iid='deprecated', n_jobs=None,
param_grid={'C': [1, 10], 'kernel': ('linear', 'rbf')},
pre_dispatch='2*n_jobs', refit=True, return_train_score=False,
scoring=None, verbose=0)
和這里的替代示例一樣:
from sklearn.utils import parallel_backend
from sklearn.model_selection import cross_val_score
from sklearn import datasets
from sklearn import svm
from joblibspark import register_spark
register_spark() # register spark backend
iris = datasets.load_iris()
clf = svm.SVC(kernel='linear', C=1)
with parallel_backend('spark', n_jobs=3):
scores = cross_val_score(clf, iris.data, iris.target, cv=5)
print(scores)
給予
[0.96666667 1. 0.96666667 0.96666667 1. ]
感謝 desertnaut 的回復 - 這個答案對於標准的 Spark / Databricks 設置應該是正確的,所以接受它,考慮到我的問題的措辭/對其他讀者的潛在用處
貢獻一個單獨的“答案”發現了我們案例中的問題:Databricks 支持建議我們案例中的問題是由於我們使用了一種特殊類型的集群(在 AWS 上啟用了憑證直通的高並發)。 grid.fit() 沒有被列入此類集群的白名單,Databricks 建議他們需要與他們的工程團隊一起將其列入白名單。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.