簡體   English   中英

帶有本機庫的Spark EMR作業中的UnsatisfiedLinkError

[英]UnsatisfiedLinkError in spark EMR job with native library

我正在嘗試運行使用本機共享庫(.so)的spark作業。 我正在使用--jars將我的.so復制到所有執行程序(文件似乎在spark .jar應用程序的旁邊),但是由於某種原因,我無法設置環境查找並使用.so。 嘗試了--conf spark.executor.extraLibraryPath和-Djava.library.path,但不確定要使用的路徑。是否有一種簡單的方法可以使它工作? (使用AWS EMR 4.5.0,spark 1.6.x)

我的火花提交:

spark-submit \
--deploy-mode cluster \
--driver-java-options \
--jars s3://at/emr-test/asb_UT/libSplineFitWrapperJava.so \
--class com.SplineFittingDummy \
s3://at/emr-test/asb_UT/asb-0.0.1-SNAPSHOT-jar-with-dependencies.jar \
s3://at/emr-test/asb_UT/testPoints01.xml \
s3://at/emr-test/asb_UT/output

問題是方式。所以建立。 在嘗試了不同的設置和可用的設置(solaris和sfw,debian和g ++ 4.6等)失敗后,我嘗試在EMR上編譯.so,現在一切正常。 盡管如果Amazon可以提供一些帶有其安裝程序的Docker映像會有所幫助,但是我們可以在不將所有源代碼實際復制到EMR的情況下進行編譯。

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM