簡體 English 中英

使用EMR進行數據集聯接

[英]Data set join using EMR

原文 2013-05-06 18:44:05 5 1 join/ hadoop/ amazon-web-services/ emr

我有2個以制表符分隔的數據集存儲在AWS S3中。 我正在嘗試編寫一個EMR作業，該作業將基於一個公共鍵（一組字段值）將這兩個數據集連接起來。 我當前的版本填充2個列表，並逐行比較它們； 輸出具有公共鍵的行。 我一直在用python編寫程序，但似乎無法弄清楚通過stdin帶來2個文件並相互比較每一行以便將兩個數據集連接起來的背后邏輯。 我發現的大多數文檔都使用Java。 我正在使用Amazon的EMR來運行我的所有作業。 任何幫助是極大的贊賞。

謝謝

1 個解決方案

當您已經在使用EMR時，您是否看過Hive？

http://aws.amazon.com/articles/Elastic-MapReduce/3681655242374956

使用SQL連接檢索列中每個不同值的數據集

[英]Using SQL join to retrieve set of data for each different value in a column

使用JOIN獲取數據

[英]Get data using JOIN

大數據集的空間聯接查詢優化

[英]Spatial Join Query Optimization on Large Data Set

使用SQL JOIN進行數據聯合

[英]using SQL JOIN for union of data

對分組數據行使用聯接

[英]Using a Join with Grouped Data Rows

使用JOIN在表格中顯示數據

[英]Using JOIN to display data in a table

使用字段數據進行條件JOIN

[英]Conditional JOIN using field data

如果聯接的值在特定集中，則在JOIN查詢中使用LIKE

[英]Using LIKE in JOIN query if values for join are in specfic set

使用內部聯接集的Postgresql更新

[英]Postgresql Update using Inner Join set

基於第二個數據集中的2個變量聯接（或合並）數據集

[英]Join (or merge) data sets based on 2 variables in second data set

暫無

暫無

聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

相關問題 使用SQL連接檢索列中每個不同值的數據集使用JOIN獲取數據大數據集的空間聯接查詢優化使用SQL JOIN進行數據聯合對分組數據行使用聯接使用JOIN在表格中顯示數據使用字段數據進行條件JOIN 如果聯接的值在特定集中，則在JOIN查詢中使用LIKE 使用內部聯接集的Postgresql更新基於第二個數據集中的2個變量聯接（或合並）數據集

相關標簽

粵ICP備18138465號 © 2020-2024 STACKOOM.COM