Delta Lake 表上的 SQL 視圖

Question

我需要在 Databricks 中現有的 Delta Lake 表之上創建一個抽象。 是否可以在 Spark 中基於 Delta Lake Table 制作 SQL Server 類型的 SQL 視圖？

Answer 1

現在可以通過多種方式在 delta Lake 上創建 SQL 視圖。

• 通過 Spark：

CREATE OR REPLACE VIEW sqlView AS SELECT col1, .., coln FROM delta_table

• 可以在增量表（路徑）上創建 Hive 表。 只需在 hive 環境中添加 jars，設置以下屬性並創建外部表（hive 支持 2.x）

`

ADD JAR /path/to/delta-core-shaded-assembly_2.11-0.1.0.jar;
ADD JAR /path/to/hive-delta_2.11-0.1.0.jar;
SET hive.input.format=io.delta.hive.HiveInputFormat;
SET hive.tez.input.format=io.delta.hive.HiveInputFormat;
CREATE EXTERNAL TABLE deltaTable(col1 INT, col2 STRING)
STORED BY 'io.delta.hive.DeltaStorageHandler'
LOCATION '/delta/table/path'

`

更多詳情： https : //github.com/delta-io/connectors

• Presto & Athena 可以與 delta 集成。 https://docs.delta.io/latest/presto-integration.html

Answer 2

可以使用以下 DDL 語句在 Delta Lake 中創建視圖，就像在關系數據庫中一樣：

CREATE OR REPLACE VIEW SampleDB.Sample_View
AS
SELECT 
ColA
,COlB
FROM SampleDB.Sample_Table

創建視圖文檔