运行Spark群集的Azure Databricks中需要Azure Blob存储

Question

我正在使用与Azure Blob存储关联的Azure Databricks生态系统上的Spark群集。 另外，还有与Databricks相关的Databricks文件系统（DBFS）。 我想知道是否需要一个Azure Blob存储来存储数据？ DBFS是否不足以存储文件/数据？

Answer 1

根据我的知识和文档， Azure Databricks通过DBFS使用Azure Blob存储。 回答您的问题-不需要，那就足够了。 您的数据仍然会保留。 如果您打算将存储的数据与笔记本以外的其他应用程序一起使用，例如在HDInsight群集顶部执行spark作业，则建议设置一个额外的（明确命名的）blob存储帐户。