我想知道，有什么方法可以让我在 YARN 集群中创建 spark-context 一次，然后传入的作业将重新使用该上下文。 在我的集群中，上下文创建需要 20 秒或更长时间。 我使用 pyspark 编写脚本并使用 livy 提交作业。 ...
有没有办法告诉 Yarn 只有在另一个工作已成功完成后才开始新的特定工作？ 我在 crontab 中有几份工作，我想确保在开始下一份工作之前已成功完成第一份工作。 我显然可以使用 shell script/curl 并仅在 curl 正常的情况下启动新的 spark-submit 进程，但如果这 ...
在纱线配置中，我们有以下参数（根据https://hadoop.apache.org/docs/r2.7.6/hadoop-yarn/hadoop-yarn-common/yarn-default.xml ） 我们不确定如何设置hostname 例如 我们可以设置参数： yarn.reso ...
我在 Spark 2.3 上运行 spark 应用程序，spark.executor.cores 为 25 YARN Running applications 页面中的“Allocated CPU VCores”显示 2 个 VCores（1 个用于驱动程序，1 个用于执行程序） Spark ...
我在 pre-job 模式下在纱线上使用 flink，纱线集群有 500 个 vcore 和 2000G ram，flink 应用程序有大状态。 我想知道我应该如何设置插槽计数。 设置大槽数和较少的 TaskManager 数，或较少的槽数和大的 TaskManager 数？ 例子： 为每个 ...
还有其他文章描述了如何为 spark 类设置配置（spark 和 hadoop）以便能够写入 GCS 存储桶。 如果我从 IntelliJ 运行以下代码 它完美地写入我的 GCS 存储桶。 但是当我编译 jar 并在集群上运行它时： 将master.("local[*]")更改为mast ...
我们将资源管理器服务的 log4j 配置为 DEBUG 模式如下 然后我们重新启动资源管理器服务（从 ambari 仪表板） 从日志中我们仍然看到日志级别为INFO而不是DEBUG 例子： 所以我分享了 log4j 配置 知道有什么问题： 以及为什么我们会得到 INFO，尽管我们配置 ...
Yarn UI 中的Mem Avail是什么意思？ 我将yarn.scheduler.minimum-allocation-mb为 1024，将yarn.scheduler.maximum-allocation-mb设置为yarn.nodemanager.resource.memory-mb也默 ...
在本地（IntelliJ IDEA）中运行相同的作业时，输出计数很好（例如 -55）。 但是当使用 spark-submit 在 Yarn 上提交时，只得到几行（行 -12）。 当使用 master - yarn 获取部分行时。 当使用本地时 - 能够读取所有行但得到异常 - Caused by ...
我有一个 Apache Kylin 容器在 docker 中运行。 I was getting a Java heap space error in map reduce phase so I tried updating some parameters in Hadoop mapred-defa ...
我在具有 1 个名称节点、2 个数据节点和 1 个资源管理器节点的集群上运行 Hadoop 3.2.2。 我尝试在集群模式下运行 sparkpi 示例。 spark-submit 是从我的本地机器完成的。 YARN 接受了这项工作，但应用程序 UI 显示了这一点。 在我提交作业的终端中，它显示 ...
我在 GCP Dataproc 集群上运行 Spark 作业，该集群配置有 1 个主服务器、2 个主要工作人员（4 个本地 SSD，每个用于洗牌）和 N 个辅助工作人员（没有任何 SSD）。 我的工作每天批量处理数据，因此我希望临时数据（洗牌、检查点等）在一天的过程中增长，并在第二天开始之前进行清理 ...
我在 ubuntu 20.4 集群版本的纱线上运行 spark： Hadoop 3.2.2 Hive 3.1.2 火花 3.1.1 我已将 spark 的 jar 的符号链接提供给 hive 的 lib，如下所示： 并且在运行 hive 并在启动时设置 spark 时出现以下错误： i ha ...
Cloudera 有一个集群，包括 Hue。 我需要的是调度程序的任务，它将 HQL 请求发送到 Hive。 我正在尝试通过集成在 Hue 中的网络构造器为 oozie 完成任务。 我的 HQL 请求文件 (request.hql)：INSERT INTO schema_child.table_ ...
我正在尝试使用InProcessLauncher从 Java Spring 应用程序提交集群模式 spark 2 应用程序。 我之前使用的是SparkLauncher class，它可以工作，但它会为每个作业启动一个长期存在的 SparkSubmit java 进程，该进程占用了太多资源和大量工作。 ...
通过终端，我在 URL 中有空格的目录中运行了yarn create xxxxxxx-app ，但它失败了，因为它无法理解完整的 URL。 因此，我更改为其中没有任何空格的目录以运行相同的命令，但使用与前一个相同的内部路径失败。 package 将脚本和二进制文件安装在应有的位置，但是当它尝试运行 ...
我正在尝试在具有一个主节点和一个工作节点的 AWS EMR 集群上使用dask-yarn对一个小镶木地板文件（10K 记录）进行简单的读取和计数，两者都是m5.xlarge实例。 我正在尝试执行以下代码来测试我的集群： 但是我得到了这个例外： 从s3和hdfs读取时会出现此异常。 我当前的 cond ...
我对火花很陌生。 目前我正在寻找 Spark 代码以更好地理解它是如何工作的。 As far as I understand, In Spark Client mode, org.apache.spark.deploy.SparkSubmit class launches user's clas ...
我在 Hive 2.3.6（MapR Hadoop Distribution 6.3.0）上触发了上述查询。 默认 hive 引擎是 tez。 因此，在触发查询后，我看不到任何 TEZ 应用程序在纱线资源管理器 web ui上启动所以我将执行引擎更改为 MapReduce。 并尝试再次运行相同的查 ...