火花：來自spark-glmnet軟件包的Perforf線性/邏輯回歸

Question

我是Spark的新手，最近幾周我正在學習其中實現的方法。 這次，我想使用在spark-glmnet軟件包中實現的功能： spark-glmnet 。 我對進行logistic regression最感興趣。

我下載了源文件並使用以下命令創建了一個胖JAR ：

sbt assembly

完成該過程后，我將JAR文件復制到服務器並運行Spark Shell。

export HADOOP_CONF_DIR=/opt/etc-hadoop/;
/opt/spark-1.5.0-bin-hadoop2.4/bin/spark-shell \ 
--master yarn-client \
--num-executors 5 \
--executor-cores 6 \
--executor-memory 8g \
--jars /opt/spark-glmnet-assembly-1.5.jar,some_other_jars \ 
--driver-class-path /usr/share/hadoop-2.2.0/share/hadoop/common/lib/mysql-connector-java-5.1.30.jar 

但是我不知道如何在Spark中運行此包中的函數。 例如，如何通過坐標下降進行邏輯回歸？

Answer 1

答案非常簡單：

 sc.addJar("path_to_my_jar")