[英]Spark fails with too many open files on HDInsight YARN cluster
我使用我的Scala Spark Streaming應用程序遇到與此線程相同的問題： 為什么Spark作業因“太多打開的文件”而失敗？
但鑒於我使用Azure HDInsights來部署我的YARN集群，我認為我不能登錄到該計算機並更新所有計算機中的ulimit。
有沒有其他方法可以解決這個問題？ 我也不能減少減速器的數量，否則我的工作會慢得多。
您可以從頭節點ssh到所有節點（ambari ui show fqdn of all nodes）。
ssh sshuser@nameofthecluster.azurehdinsight.net
如果要自動執行此操作，可以編寫自定義操作來更改必要節點上的設置。
為什么使用主紗線和部署模式群集的`spark.yarn.stagingDir`導致火花提交失敗
[英]Why spark-submit fails with `spark.yarn.stagingDir` with master yarn and deploy-mode cluster
Spark-在紗線群集模式下jdbc寫失敗，但在spark-shell中工作
[英]Spark - jdbc write fails in Yarn cluster mode but works in spark-shell
映射目錄時，sbt-native-packager失敗，並顯示“系統中打開的文件太多”
[英]sbt-native-packager fails with “Too many open files in system” when mapping a directory
在 Yarn Cluster 模式下執行的 Spark Scala 代碼中讀取本地/linux 文件
[英]Read local/linux files in Spark Scala code executing in Yarn Cluster Mode
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.