Spark SQL 限制與 Hive SQL 限制之間的區別

Question

在 Hive 中，如果我們調用 limit 子句，它會給出更快的響應。 如果我們在 Spark SQL 中運行，同樣的事情需要更多的時間。 能否請您深入解釋一下？

在 Hive

SELECT * FROM employee LIMIT 10;

在 Spark SQL 中，

spark.sql("SELECT * FROM employee LIMIT 10").show()

限制查詢將如何用於分區表？

Answer 1

因為 Spark SQL 不是從零開始開發的，所以他們采用了 Hive 原樣並將其與 spark 集成。 Now when you run the query using Hive so it's native to hive and all the Serialization and deserialization library used of Hive only but in case of spark it will use Java serds which have some overheads.