Delta Lake 独立于 Apache Spark？

Question

我一直在探索数据湖屋概念和 Delta Lake。 它的一些功能看起来真的很有趣。 在项目主页https://delta.io/上，有一张图表显示 Delta Lake 在“您现有的数据湖”上运行，而没有提及 Spark。 在其他地方，它表明 Delta Lake 确实运行在 Spark 之上。 所以我的问题是，它可以独立于 Spark 运行吗？ 例如，我是否可以在架构中不使用 Spark 的情况下，使用 S3 存储桶设置 Delta Lake，以 Parquet 格式存储、模式验证等？

Answer 1

你可能会留意这个： https://github.com/delta-io/delta-rs

这是早期的，目前是只读的，但随着项目的发展值得关注。

Answer 2

tl;博士不

---

Delta Lake （包括 0.8.0）与 Apache Spark 紧密集成，因此没有 Spark 就不可能拥有 Delta Lake。