[英]Spark fails with too many open files on HDInsight YARN cluster
我使用我的Scala Spark Streaming应用程序遇到与此线程相同的问题： 为什么Spark作业因“太多打开的文件”而失败？
但鉴于我使用Azure HDInsights来部署我的YARN集群，我认为我不能登录到该计算机并更新所有计算机中的ulimit。
有没有其他方法可以解决这个问题？ 我也不能减少减速器的数量，否则我的工作会慢得多。
您可以从头节点ssh到所有节点（ambari ui show fqdn of all nodes）。
ssh sshuser@nameofthecluster.azurehdinsight.net
如果要自动执行此操作，可以编写自定义操作来更改必要节点上的设置。
为什么使用主纱线和部署模式群集的`spark.yarn.stagingDir`导致火花提交失败
[英]Why spark-submit fails with `spark.yarn.stagingDir` with master yarn and deploy-mode cluster
Spark-在纱线群集模式下jdbc写失败，但在spark-shell中工作
[英]Spark - jdbc write fails in Yarn cluster mode but works in spark-shell
映射目录时，sbt-native-packager失败，并显示“系统中打开的文件太多”
[英]sbt-native-packager fails with “Too many open files in system” when mapping a directory
在 Yarn Cluster 模式下执行的 Spark Scala 代码中读取本地/linux 文件
[英]Read local/linux files in Spark Scala code executing in Yarn Cluster Mode
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.