如何安装Apache spark并使其与Kafka一起运行？

Question

我是Hadoop和Apache Spark的新手。 我是一个初学者，请尝试一下。 现在，我尝试尝试Apache Spark。 为此，我假设必须在计算机上安装名为Apache Spark的软件。

我试图使用VM创建本地计算机，但是此时我迷路了。 是否有任何资源可以帮助我在同一台计算机上配置和安装Spark和Kafka？

Answer 1

幸运的是，Chris Fregley（来自IBM Spark TC）有一个项目，其中包含用于所有这些功能的docker映像，可以一起工作（您可以在https://github.com/fluxcapacitor/pipeline/wiki上看到它）。 对于“真正的”生产部署，您可能需要查看在YARN或类似设备上部署Spark-其部署选项在http://spark.apache.org/docs/latest/cluster-overview.html中进行了说明并进行了集成。特殊的Kafka集成指南http://spark.apache.org/docs/latest/streaming-kafka-integration.html中介绍了使用Kafka的问题。 欢迎来到精彩的Spark，希望这些对您有所帮助：)