[英]Can I split a Spark RDD into two tables, and then perform a join on them?
我有一個大型TSV數據文件，它包含，匯總了事實表及其維度表。 我想知道它是否可以通過Spark，將單個文件划分/分區為不同的“表”，然后執行連接以規范化它們？
任何幫助我指向正確方向的幫助都會很棒。
在baseRDD上應用過濾器以獲得factRDD和dimensionsRDD，然后您可以對它們進行連接。
val baseRDD = sc.textFile("...")
val factRDD = baseRDD.filter(func1)
val dimensionsRDD = baseRD.filter(func2)
factRDD.join(dimentionsRDD)
如何在Apache Spark中加入地圖並對它們執行RDD操作？
[英]How to join maps in Apache Spark and perform RDD operations on them?
如何優化我的 spark 應用程序以加入兩個大小大於集群內存的 rdd？
[英]How can I optimize my spark application to join two rdd having size greater than cluster memory?
你如何使用 Python 在 Spark 中執行兩個 RDD 表的基本連接？
[英]How do you perform basic joins of two RDD tables in Spark using Python?
Spark - scala：隨機將RDD /拆分RDD分成兩個隨機部分
[英]Spark - scala: shuffle RDD / split RDD into two random parts randomly
如何在 spark 中有效地將大 rdd 連接到非常大的 rdd？
[英]How can I efficiently join a large rdd to a very large rdd in spark?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.