繁体 English 中英

使用EMR进行数据集联接

[英]Data set join using EMR

原文 2013-05-06 18:44:05 4 1 join/ hadoop/ amazon-web-services/ emr

我有2个以制表符分隔的数据集存储在AWS S3中。 我正在尝试编写一个EMR作业，该作业将基于一个公共键（一组字段值）将这两个数据集连接起来。 我当前的版本填充2个列表，并逐行比较它们； 输出具有公共键的行。 我一直在用python编写程序，但似乎无法弄清楚通过stdin带来2个文件并相互比较每一行以便将两个数据集连接起来的背后逻辑。 我发现的大多数文档都使用Java。 我正在使用Amazon的EMR来运行我的所有作业。 任何帮助是极大的赞赏。

谢谢

1 个解决方案

当您已经在使用EMR时，您是否看过Hive？

http://aws.amazon.com/articles/Elastic-MapReduce/3681655242374956

使用SQL连接检索列中每个不同值的数据集

[英]Using SQL join to retrieve set of data for each different value in a column

使用JOIN获取数据

[英]Get data using JOIN

大数据集的空间联接查询优化

[英]Spatial Join Query Optimization on Large Data Set

使用SQL JOIN进行数据联合

[英]using SQL JOIN for union of data

对分组数据行使用联接

[英]Using a Join with Grouped Data Rows

使用JOIN在表格中显示数据

[英]Using JOIN to display data in a table

使用字段数据进行条件JOIN

[英]Conditional JOIN using field data

如果联接的值在特定集中，则在JOIN查询中使用LIKE

[英]Using LIKE in JOIN query if values for join are in specfic set

使用内部联接集的Postgresql更新

[英]Postgresql Update using Inner Join set

基于第二个数据集中的2个变量联接（或合并）数据集

[英]Join (or merge) data sets based on 2 variables in second data set

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 使用SQL连接检索列中每个不同值的数据集使用JOIN获取数据大数据集的空间联接查询优化使用SQL JOIN进行数据联合对分组数据行使用联接使用JOIN在表格中显示数据使用字段数据进行条件JOIN 如果联接的值在特定集中，则在JOIN查询中使用LIKE 使用内部联接集的Postgresql更新基于第二个数据集中的2个变量联接（或合并）数据集

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM