Java Spark映射步骤返回多个RDD
[英]Java Spark map step returning multiple RDDs
问题描述
我有一个映射步骤，可以计算所需的RDD。 在计算该RDD的数据时，可以计算出我感兴趣的另一个指标。是否有任何一种方法可以一步完成，还是我必须制作一个单独的映射，该映射与第一个映射几乎相同？
谢谢 ！
1 个解决方案
解决方案1
1 已采纳 2016-02-29 13:14:40
是的，您可以，但是使每个“映射步骤”保持简单将使代码更具可读性。
请记住，直到调用终止函数才执行map() ，因此从性能的角度来看，是在一个map()还是在两个连续的map().map()调用中执行此操作都没有关系
...假设您不必考虑数据改组的含义
使用数组解析Json对象并使用Java中的Apache Spark映射到多个对
[英]Parse Json Object with an Array and Map to Multiple Pairs with Apache Spark in Java
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.