当它们之间没有值时如何用逗号分隔 RDD 行？ - How to split RDD rows by commas when there is no value between them?

我试图将下面的 RDD 行分成五列 当我执行时，我得到“java.lang.ArrayIndexOutOfBoundsException”，因为最后三个逗号之间没有值。 关于现在如何拆分数据的任何想法？ ...

如何使用 JAVA 获取在 spark 2.3 中写入的行数？ - How to get number of rows written in spark 2.3 using JAVA?

我知道我们可以使用使用 count()。 但我正在尝试使用 sparkListener 捕获计数。 但我没能写出正确的 java 代码。 我已经尝试按照如何在 Spark 中实现自定义作业侦听器/跟踪器中给出的确切方法？ 但我无法在 JAVA 中重现它。 这是我尝试过的事情。 但它会引发很多与覆盖 ...

pyspark 和 python 未作为 HDP 2.6.0.3-8 堆栈的一部分安装 - pyspark and python not installed as part of HDP 2.6.0.3-8 stack

我有一个安装了 2.6.0.3 的 HDP 集群。 在未连接到 Ambari 的网关节点之一中，我安装了 hdp 堆栈。 通过安装，我安装了 spark2。 到目前为止一切都很好。 但是当我查看它时，我没有在其中找到任何 python 或 pyspark 包？ 我必须单独安装它们吗？ 为什么 pys ...

spark2 sql 带拼花的深度嵌套数组结构 - spark2 sql deeply nested array structure with parquet

给定一个像这样的深度嵌套的镶木地板结构 考虑到一个赌注有几个方面，不知何故，我们只对边数数组中的第一边感兴趣。 如何找到partyRole为10的一方的参与方？ 在 prestosql 我可以做类似的事情 我如何 go 在 spark2 sql 中做同样的事情？ 在 spark2 sql 中，上面返 ...