hadoop和spark有什么区别[关闭]

Question

随着市场火花越来越大，我现在可以看到Spark的主要用例如Hadoop：

1. 机器学习中的迭代算法
2. 交互式数据挖掘和数据处理
3. Spark是一个完全与Apache Hive兼容的数据仓库系统，运行速度比Hive快100倍。
4. 流处理：实时流中的日志处理和欺诈检测，用于警报，聚合和分析
5. 传感器数据处理：在从多个源获取和连接数据的地方，内存数据集非常有用，因为它们很容易
   并且快速处理。

我的问题是：

1. 未来几天火花会取代Hadoop吗？
2. Hadoop同时工作，而spark并行运行？（是真的吗？）

Answer 1

Spark在某种意义上与hadoop不同，它允许您在一个工具中集成数据提取，处理和实时分析。 此外，火花图减少框架不同于标准的hadoop map减少因为在火花中间图减少结果被缓存，并且如果需要重用相同的结果，RDD（对于故障容忍的分布式集合的abstarction）可以保存在存储器中（迭代的alghoritms，group by等等）。

我的回答非常肤浅，并没有完全回答你的问题，只是指出一些主要的区别（实际上更多）Spark和数据库官方网站真的有很好的文档记录，你的问题已在那里得到解答：

https://databricks.com/spark/about

http://spark.apache.org/faq.html

Answer 2

今天的Hadoop是一系列技术，但实质上它是一个分布式文件系统（HDFS）和一个分布式资源管理器（YARN）。 Spark是一个分布式计算框架，准备取代Map / Reduce--另一个分布式计算框架

1. 曾经是Hadoop的代名词
2. 带有Hadoop开箱即用以实现向后兼容（在YARN map / reduce支持框架之前是Hadoop的资源管理框架）

具体来说 - Spark不会取代Hadoop但可能会替换map / reduce和Hadoop，map / reduce和spark都是分布式系统（并行运行）