带有本机库的Spark EMR作业中的UnsatisfiedLinkError

Question

我正在尝试运行使用本机共享库（.so）的spark作业。 我正在使用--jars将我的.so复制到所有执行程序（文件似乎在spark .jar应用程序的旁边），但是由于某种原因，我无法设置环境查找并使用.so。 尝试了--conf spark.executor.extraLibraryPath和-Djava.library.path，但不确定要使用的路径。是否有一种简单的方法可以使它工作？ （使用AWS EMR 4.5.0，spark 1.6.x）

我的火花提交：

spark-submit \
--deploy-mode cluster \
--driver-java-options \
--jars s3://at/emr-test/asb_UT/libSplineFitWrapperJava.so \
--class com.SplineFittingDummy \
s3://at/emr-test/asb_UT/asb-0.0.1-SNAPSHOT-jar-with-dependencies.jar \
s3://at/emr-test/asb_UT/testPoints01.xml \
s3://at/emr-test/asb_UT/output

Answer 1

问题是方式。所以建立。 在尝试了不同的设置和可用的设置（solaris和sfw，debian和g ++ 4.6等）失败后，我尝试在EMR上编译.so，现在一切正常。 尽管如果Amazon可以提供一些带有其安装程序的Docker映像会有所帮助，但是我们可以在不将所有源代码实际复制到EMR的情况下进行编译。