什么是最容易使用的分布式地图约简编程系统？

Question

什么是最容易使用的分布式地图约简编程系统？

例如。 在包含许多用户（每个用户具有许多连接）的分布式数据存储中，我想计算连接总数：

Map:
for all records of type "user"
do for each user
    count number of connections
    retrun connection_count_for_one_user

Reduce:
reduce (connection_count_for_one_user)
    total_connections += connection_count_for_one_user

有没有可以让我以这种方式编程的mapreduce系统？

Answer 1

好吧，我会努力提出一些建议，但是您的问题不太清楚。

那么，您如何存储数据？ 存储机制与将MapReduce算法应用于数据的方式不同。 我将假设您正在使用Hadoop分布式文件系统 。

您说明的问题实际上看起来与典型的Hadoop MapReduce字数示例非常相似。 您不是在计算文字而是在统计用户。

将MapReduce应用于存储在HDFS上的数据的一些选项包括：

• Java框架 -如果您熟悉Java，则很好。
• Pig-一种高级脚本语言。
• Hive -Hadoop的数据仓库解决方案，提供类似SQL的界面。
• Hadoop流 -几乎可以用任何语言编写映射器和化简器。

哪个最简单？

好吧，这一切都取决于您对什么感到满意。 如果知道Java，请看一下标准Java框架。 如果您习惯于编写脚本语言，则可以使用Pig或流式传输。 如果您知道SQL，可以看看使用Hive QL查询HDFS。 我将以每个文档为起点。