在Databricks中，SQL使用spark？

Question

我在数据块中有一个笔记本，其中只有 SQL 个查询，我想知道将它们全部切换到 pyspark 是否更好（谈论性能）或者它们是否相同。

换句话说，我想知道 databricks-sql 是否使用 spark-sql 来执行查询。

我发现了这个问题（看起来和我的很相似），但答案不是我想知道的。

Answer 1

是的，您绝对可以使用 PySpark 代替 SQL。

该决定主要取决于数据存储的类型。 如果您的数据存储在数据库中，那么 SQL 是最佳选择。 如果您正在使用 DataFrame，那么 PySpark 是不错的选择，因为它为您提供了更多的灵活性和受支持的库的功能。

它使用 SparkSQL 和 DataFrame API。

Dataframe 使用钨 memory 表示，催化剂优化器由 SQL 以及 DataFrame使用。与数据集 API 相比，与 SparkSQL 相比，您对实际执行计划有更多的控制权。

有关更多详细信息和更好的理解，请参阅PySpark 。