堆棧內存溢出
cost 283 ms
CustomPartiton 一個 JavaPairRDD

[英]CustomPartiton a JavaPairRDD

我從兩個不同的數據集創建了一個 JavaPairRDD——第一個是來自 METIS 圖分區算法的 output 文件，第二個是 METIS 圖分區器的輸入圖。 JavaPairRDD 的鍵值對構造為： 打印后的 RDD 如下所示： JavaPairRDD 的結構包含三個不同的元素。 < ...

java.lang.OutOfMemoryError: Java heap space AND org.apache.spark.shuffle.MetadataFetchFailedException: Missing an output location for shuffle 4

[英]java.lang.OutOfMemoryError: Java heap space AND org.apache.spark.shuffle.MetadataFetchFailedException: Missing an output location for shuffle 4

I try to execute the code and i get the the followind errors: java.lang.OutOfMemoryError: Java heap space org.apache.spark.shuffle.MetadataFetchFail ...

如果其中一個值為空，如何獲取 Java 中的元組？ 索引出界

[英]How to get the Tuples in Java, if one of the Value is empty? IndexOutOfBound

我知道第二個列表沒有更多的值，但在這種情況下我想存儲null 。 例如 而不是這個，我得到錯誤 我知道原因，因為我無法從 wtpList 中檢索更多內容，因為它有 3 個元素。 但是如果值不存在，我可以存儲 null 。 ...

使用 Scala 將 JavapairRDD 轉換為數據幀

[英]transform JavapairRDD to dataframe using scala

我有以下格式的 javapairRDD 鍵是一個多邊形，值是多邊形中的一個點 例如： 如何將此javapairRDD轉換為具有三列的Dataframe ？ df: String, double, double 這里我的第一列是一個多邊形，第二列是經度，第三列是緯度 任何幫助將不勝感激 ...

在Scala中迭代RDD可迭代

[英]Iterating over an RDD Iterable in Scala

因此，我是Scala的新手，剛開始使用RDD和功能性Scala操作。 我正在嘗試遍歷我的Pair RDD的值，並通過應用定義的average函數，將Var1與存儲在Var2中的值的average返回，以使最終返回值是Var1的唯一列表，並且每個AvgVar2具有一個AvgVar2 。 我 ...

JavaPairRDD到數據集 <Row> 在SPARK

[英]JavaPairRDD to Dataset<Row> in SPARK

我有JavaPairRDD格式的數據 我嘗試使用下面的代碼 但是如何生成具有3列的數據集？ 由於上述代碼的輸出為我提供了兩列數據。 任何指示/建議？ ...

Java Spark如何保存JavaPairRDD <HashSet<String> ，HashMap <String, Double> &gt;歸檔？

[英]Java Spark how to save a JavaPairRDD<HashSet<String>, HashMap<String, Double>> to file?

經過一些復雜的聚合后，我得到了這個“ JavaPairRDD&lt;HashSet&lt;String&gt;, HashMap&lt;String, Double&gt;&gt; ” RDD，想將結果保存到文件中。 我相信saveAsHadoopFile是這樣做的一個不錯的API，但是在為s ...

如何在javapairrdd中使用containsAll和contains來使用過濾器

[英]how to use filter using containsAll and contains in javapairrdd

我有 2 個集合，一個是“列表”，另一個是“pairRdd2”，其中包含如下所述的數據。 如果 mypairRdd2 包含列表中提到的所有值，我正在嘗試使用 containsAll 應用過濾器。 預期結果是 joe,{US,UK} 有人可以強調我做錯了什么...... ...

如何相異JavaPairRDD

[英]How to intersec differents JavaPairRDD

我有兩個不同的JavaPairRdd，一個是Key1，value，另一個是key2，value。 我試圖實現的是合並它們，但僅獲取具有相同值的項目。 我嘗試了以下方法： 其中filteredRdd包含key：Country，值，而filteredsmallRdd包含：key：id ...

在Java的Apache Spark中使用Tuple3時，combineByKey的替代方法是什么？

[英]What is the alternative for combineByKey while using Tuple3 in Apache Spark in Java?

我剛開始使用Java中的Apache Spark。 我目前正在做一個包含一些書籍數據的迷你項目。 我必須找到每個國家/地區最受歡迎的作家。 我有一個pairRDD，其中鍵是國家/地區，值是作者，就像這樣 我是否必須使用Tuple3來添加一個字段並計算每個值出現的次數？ 如果是 ...

Spark將PairRDD轉換為RDD

[英]Spark convert PairRDD to RDD

將K和V都合並的將PairRDD轉換為RDD的最佳方法是什么（在Java中）？ 例如，PairRDD包含K作為某些字符串，V包含JSON。 我想將此K添加到值JSON並產生一個RDD。 輸入對RDD 輸出應為和RDD如下 ...


排序:
質量:
 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM