使用 spark sql 写入增量表

Question

在 python 中，我试图在 Databricks 的数据库DB中创建并写入表TBL 。 但我得到一个例外： A schema mismatch detected writing to the Delta table 。 我的代码如下，这里df是一个pandas dataframe。

from pyspark.sql import SparkSession

DB = database_name
TMP_TBL = temporary_table
TBL = table_name

sesh = SparkSession.builder.getOrCreate()
df_spark = sesh.createDataFrame(df)
df_spark.createOrReplaceTempView(TMP_TABLE)

create_db_query = f"""
    CREATE DATABASE IF NOT EXISTS {DB}
    COMMENT "This is a database"
    LOCATION "/tmp/{DB}"
    """

create_table_query = f"""
    CREATE TABLE IF NOT EXISTS {DB}.{TBL}
    USING DELTA
    TBLPROPERTIES (delta.autoOptimize.optimizeWrite = true, delta.autoOptimize.autoCompact = true)
    COMMENT "This is a table"
    LOCATION "/tmp/{DB}/{TBL}";
    """

insert_query = f"""
    INSERT INTO TABLE {DB}.{TBL} select * from {TMP_TBL}
    """

sesh.sql(create_db_query)
sesh.sql(create_table_query)
sesh.sql(insert_query)

代码在最后一行insert_query行失败。 当我检查数据库和表已经创建但当然是空的。 所以问题在于TMP_TBL和TBL有不同的模式，我如何以及在哪里定义模式以便它们匹配？

Answer 1

如果表中的架构与您插入数据框中的架构不同，则会出现错误。 确保执行插入操作应该相同，并尝试这种方法：

我在我的环境中复制了同样的东西。 我得到了这个 output。

ddl_query = """CREATE TABLE if not exists test123.emp_file 
                   USING DELTA
                   LOCATION 'dbfs:/user/dem1231'
                   """
spark.sql(ddl_query)

insert_query = f"""
    INSERT INTO TABLE test123.emp_file select * from temp_table
    """

或者

尝试使用这种替代方法将数据插入表中。

我有一个带有预定义模式的数据框

from pyspark.sql.types import StructType,StructField, StringType, IntegerType

#sample datafram
data = [
            ("vamsi","1","M",2000),
            ("saideep","2","M",3000),
            ("rakesh","3","M",4000)
          ]

schema = StructType([ \
    StructField("firstname",StringType(),True), \
    StructField("id", StringType(), True), \
    StructField("gender", StringType(), True), \
    StructField("salary", IntegerType(), True) \
  ])

df = spark.createDataFrame(data=data,schema=schema)

直接用append方式写命令后，可以插入到SQL表中。

df.write.mode("append").format("delta").saveAsTable("DB.TBL")