簡體 English 中英

如何使用其他RDD中的行值從RDD中引入數據

[英]how to bring data from an RDD using row values in other RDD

原文 2017-05-15 09:05:57 6 1 scala/ apache-spark/ dataframe/ apache-spark-sql

我們正在嘗試根據其他RDD中的行從RDD中引入數據。 例如，我們有2個包含主數據和交易數據的表。交易數據包含大量銷售數據，因此我們希望僅針對特定客戶和區域值獲取銷售數據，進行計算並保存其中的文件。 table1-CustomerID，regionID表2-RegionID，CustomerID，銷售，產品ID。

請建議

1 個解決方案

您想使用.join函數將兩個RDD合並為一個。

有關更多信息，請參見.. http://apachesparkbook.blogspot.com.au/2015/12/join-leftouterjoin-rightouterjoin.html

如何從行創建RDD

[英]How to create an RDD from a Row

Spark：使用同一RDD中的其他元素映射RDD的元素

[英]Spark: Mapping elements of an RDD using other elements from the same RDD

如何使用案例類屬性將 RDD 轉換為其他 RDD？

[英]how to convert a RDD to other RDD using case class property?

如何將RDD中的每一行彼此相乘？

[英]How to multiply each row in RDD with each other?

如何使用scala從RDD中的每個地圖檢查地圖值？

[英]How to check map values from each map in the RDD using scala?

如何將RDD [Row]轉換為RDD [String]

[英]How to convert RDD[Row] to RDD[String]

如何將RDD [Row]轉換為RDD [Vector]

[英]How to convert RDD[Row] to RDD[Vector]

使用兩個RDD的值來生成新的RDD

[英]Using values of two RDD to generate a new RDD

如何通過從現有 RDD 中選擇特定數據來創建 RDD，其中 output 應該是 RDD[String]？

[英]How to create an RDD by selecting specific data from an existing RDD where output should of RDD[String]?

如何在RDD 2中替換每個鍵的RDD 1中的值？

[英]How to replace values in RDD 1 per keys in RDD 2?

暫無

暫無

聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

相關問題 如何從行創建RDD Spark：使用同一RDD中的其他元素映射RDD的元素如何使用案例類屬性將 RDD 轉換為其他 RDD？如何將RDD中的每一行彼此相乘？如何使用scala從RDD中的每個地圖檢查地圖值？如何將RDD [Row]轉換為RDD [String] 如何將RDD [Row]轉換為RDD [Vector] 使用兩個RDD的值來生成新的RDD 如何通過從現有 RDD 中選擇特定數據來創建 RDD，其中 output 應該是 RDD[String]？如何在RDD 2中替換每個鍵的RDD 1中的值？

相關標簽

粵ICP備18138465號 © 2020-2024 STACKOOM.COM