堆栈内存溢出
cost 122 ms
Spark - 重新分区（）与合并（）

[英]Spark - repartition() vs coalesce()

根据学习火花 请记住，重新分区数据是一项相当昂贵的操作。 Spark 也有一个名为coalesce()的repartition()优化版本，它允许避免数据移动，但前提是您要减少 RDD 分区的数量。 我得到的一个区别是，使用repartition()可以增加/减少分区的数量，但是使用coa ...

如何更改 PySpark 中的 dataframe 列名？

[英]How to change dataframe column names in PySpark?

我来自 pandas 背景，习惯于将 CSV 文件中的数据读取到 dataframe 中，然后使用简单命令将列名称简单地更改为有用的名称： 但是，这在使用 sqlContext 创建的 PySpark 数据帧中不起作用。 我能想到的唯一解决方案是轻松地做到这一点： 这基本上是定义变量两次并首先推断 ...

Spark java.lang.OutOfMemoryError：Java 堆空间

[英]Spark java.lang.OutOfMemoryError: Java heap space

我的集群：1 个主节点，11 个从节点，每个节点有 6 GB 内存。 我的设置： 这是问题所在： 首先，我从 HDFS 读取一些数据（2.19 GB）到 RDD： val imageBundleRDD = sc.newAPIHadoopFile(...) 其次，在这个 RDD 上做一些事 ...

Spark Standalone 集群中的 worker、executor、core 是什么？

[英]What are workers, executors, cores in Spark Standalone cluster?

看了集群模式概览，还是看不懂Spark Standalone集群中的不同进程和并行性。 worker 是否是 JVM 进程？ 我运行了bin\\start-slave.sh ，发现它产生了 worker，它实际上是一个 JVM。 根据上面的链接，执行程序是为运行任务的工作节点上的应用程序启动的 ...

任务不可序列化：java.io.NotSerializableException 仅在类而非对象上调用闭包外的函数时

[英]Task not serializable: java.io.NotSerializableException when calling function outside closure only on classes not objects

在闭包外调用函数时出现奇怪的行为： 当函数在一个对象中时，一切正常 当函数在一个类中时 get ： 任务不可序列化：java.io.NotSerializableException：测试 问题是我需要在类中而不是对象中的代码。 知道为什么会这样吗？ Scala 对象是否序列化（默 ...

Apache Spark：内核数与执行程序数

[英]Apache Spark: The number of cores vs. the number of executors

我试图了解在 YARN 上运行 Spark 作业时核心数和执行程序数之间的关系。 测试环境如下： 数据节点数：3 数据节点机器规格： CPU：Core i7-4790（核心数：4，线程数：8） 内存：32GB（8GB x 4） 硬盘：8TB (2TB x 4) 网络：1Gb 火花版本：1.0.0 ...

如何停止在火花控制台上显示 INFO 消息？

[英]How to stop INFO messages displaying on spark console?

我想停止 spark shell 上的各种消息。 我试图编辑log4j.properties文件以停止这些消息。 这里是log4j.properties的内容 但是消息仍然显示在控制台上。 以下是一些示例消息 我该如何阻止这些？ ...

将 JAR 个文件添加到 Spark 作业 - spark-submit

[英]Add JAR files to a Spark job - spark-submit

是的……已经讨论了很多。 但是，有很多歧义和提供的一些答案......包括在 jars/executor/driver 配置或选项中复制 JAR 引用。 模棱两可和/或遗漏的细节应针对每个选项澄清以下含糊不清、不清楚和/或遗漏的细节： ClassPath 是如何受到影响的司机执行器（用于运行的任 ...

Scala 与 Python 的 Spark 性能

[英]Spark performance for Scala vs Python

相比 Scala，我更喜欢 Python。 但是，由于 Spark 本身是用 Scala 编写的，我希望我的代码在 Scala 中运行得比 Python 版本更快，原因很明显。 有了这个假设，我想为大约 1 GB 的数据学习和编写一些非常常见的预处理代码的 Scala 版本。 数据来自Kaggle ...

在 pyspark dataframe 中显示不同的列值

[英]Show distinct column values in pyspark dataframe

对于 pyspark dataframe，您如何做相当于 Pandas df['col'].unique()操作。 我想列出 pyspark dataframe 列中的所有唯一值。 不是 SQL 类型的方式（registertemplate 然后 SQL 查询不同的值）。 此外，我不需要groupb ...

Spark 中的阶段如何拆分为任务？

[英]How are stages split into tasks in Spark?

让我们假设在每个时间点只有一个 Spark 作业在运行。 到目前为止我得到了什么这是我对 Spark 中发生的事情的理解： 创建SparkContext时，每个工作节点都会启动一个执行程序。 执行器是独立的进程 (JVM)，它连接回驱动程序。 每个执行者都有驱动程序的jar。 退出驱动程序，关闭执 ...

如何更改 Spark SQL 的 DataFrame 中的列类型？

[英]How can I change column types in Spark SQL's DataFrame?

假设我正在做类似的事情： 但我真的希望year为Int （可能还转换其他一些列）。 我能想到的最好的是 这有点令人费解。 我来自 R，我习惯于能够写，例如 我可能遗漏了一些东西，因为在 Spark/Scala 中应该有更好的方法来做到这一点...... ...

如何将多个文本文件读入单个RDD？

[英]How to read multiple text files into a single RDD?

我想从hdfs位置读取一堆文本文件，并使用spark在迭代中对其执行映射。 JavaRDD<String> records = ctx.textFile(args[1], 1); 能够一次只读取一个文件。 我想读取多个文件并将它们作为单个RDD处理。 怎么样？ ...


排序:
质量:
 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM