Memcached和Hadoop有何区别？

Question

Memcached和Hadoop之间的基本区别是什么？ Microsoft似乎对Windows Server AppFabric进行了memcached。

我知道memcached是使用多个服务器的巨型键值哈希函数。 什么是hadoop？hadoop与memcached有何不同？ 它用于存储数据吗？ 对象？ 我需要将巨人对象保存在内存对象中，但是好像我需要某种方式将这种巨人对象拆分为人们正在谈论的“块”。 当我考虑将对象拆分为字节时，似乎正在弹出Hadoop。

我的内存中有一个巨大的类，内存高达100 mb。 我需要复制该对象，以某种方式缓存该对象。 当我研究缓存此怪物对象时，似乎需要像google一样拆分它。 Google如何做到这一点。 Hadoop如何在这方面帮助我。 我的对象不是简单的结构化数据。 它在内部的类上下都有引用，等等。

任何想法，指针，想法，猜测都是有帮助的。

谢谢。

Answer 1

memcached [ http://en.wikipedia.org/wiki/Memcached ]是一种专注于分布式缓存的技术。

apache hadoop [ http://hadoop.apache.org/ ]是用于分布式数据处理的框架-针对google / amazon规模的许多terrabytes数据。 它包括针对此问题的不同领域的子项目-分布式数据库，分布式处理算法，报告/查询，数据流语言。

两种技术解决了不同的问题。 一种是在整个群集中缓存（小型或大型项目）。 第二个是处理集群中的大型项目。 从您的问题看来，memcached更适合您的问题。

Answer 2

由于Memcache限制了所存储对象的值，因此无法正常工作。 内存缓存常见问题解答 。 我读过一些地方，该限制可以增加到10 mb，但是我找不到链接。

对于您的用例，我建议您尝试一下mongoDB。 mongoDb常见问题解答 。 MongoDB可以用作Memcache的替代方案。 它提供了GridFS，用于在数据库中存储大型文件系统。

Answer 3

选择一个好的解决方案取决于预期用途的要求，例如将法律文件永久存储到免费音乐服务之间的区别。 例如，可以重新创建对象还是它们独特？ 他们是否需要进一步的处理步骤（即MapReduce）？ 需要多快检索一个对象（或其一部分）？ 这些问题的答案将广泛影响解决方案的设置。

如果可以足够快地重新创建对象，那么一个简单的解决方案可能是使用您提到过的跨许多机器的Memcached，从而获得足够的内存。 为了在以后增加持久性，CouchBase（以前称为Membase）值得一看，并用于大型游戏平台的生产中。

如果无法重新创建对象，请确定S3和其他云文件提供程序是否现在不能满足要求。 对于高吞吐量访问，请考虑以下几种分布式，并行，容错的文件系统解决方案之一： DDN （具有GPFS和Lustre设备）， Panasas （pNFS）。 我使用了DDN齿轮，它的价格比Panasas更好。 两者都提供了比DIY BackBlaze更受支持的良好解决方案。

分布式并行文件系统（例如GlusterFS和Ceph）有一些几乎免费的实现方式，正在逐渐受到关注。 Ceph吹捧一个兼容S3的网关，并且可以使用BTRFS（Lustre的未来替代产品；即将投入生产）。 Ceph的体系结构和演示 。 Gluster的优势是可以选择商业支持，尽管可能会有供应商支持Ceph部署。 Hadoop的HDFS可能具有可比性，但我最近没有对其进行评估。

Answer 4

您需要使用纯Hadoop来满足需要（不需要HBASE，HIVE等）。 Map Reduce机制会将您的对象分成许多块，并将其存储在Hadoop中。 Map Reduce的教程在这里 。 但是，请不要忘记，Hadoop首先是大规模计算和存储的解决方案。 在您的情况下，我还建议您检查Membase，它是具有附加存储功能的Memcached的实现。 您将无法使用memcached / membase来映射reduce，但是它们仍是分布式的，并且您的对象可能以云方式缓存。