如何在增量表上運行 sql 查詢

Question

我對 delta Lake 文檔有疑問。 我知道我可以使用 presto、hive、spark sql 和其他工具查詢 delta 表，但在 delta 的文檔中提到“您可以通過指定表名稱 ae 將 Delta 表加載為 ZBA834BA059A9A379459C1121 或 Z5EB88”

但目前還不清楚。 我怎樣才能像這樣運行 sql 查詢？

Answer 1

使用spark.sql() function

spark.sql("select * from delta.`hdfs://192.168.2.131:9000/Delta_Table/test001`").show()

Answer 2

要從 DeltaLake 中的表中讀取數據，可以使用 Java API 或 Python而不使用 ZE902794AE04A06F4A 詳見： https://databricks.com/blog/2020/12/22/natively-query-your-delta-lake-with-scala-java-and-python.html

了解如何與 Pandas 一起使用：

pip3 install deltalake
python3

from deltalake import DeltaTable
table_path = "/opt/data/delta/my-table" # whatever table name and object store
# now using Pandas
df = DeltaTable(table_path).to_pandas()
df