从多个 parquet 路径创建 Spark SQL 表

Question

我使用数据块。 我正在尝试创建如下表

        target_table_name = 'test_table_1'
        spark.sql("""
          drop table if exists %s
          """ % target_table_name)
        
        spark.sql("""
          create table if not exists {0}
          USING org.apache.spark.sql.parquet
          OPTIONS (
          path ("/mnt/sparktables/ds=*/name=xyz/")
          )
          """.format(target_table_name))

尽管使用“*”让我可以灵活地加载不同的文件（模式匹配）并最终创建一个表，但我希望基于两个完全不同的路径创建一个表（没有模式匹配）。

path1 = /mnt/sparktables/ds=*/name=xyz/ path2 = /mnt/sparktables/new_path/name=123fo/

Answer 1

Spark使用Hive Metastore创建这些永久表。 这些表实质上是Hive中的外部表。

通常，您尝试的操作是不可能的，因为Hive外部表的位置在创建时必须是唯一的。

但是，如果您在配置单元元存储中合并了分区策略，则仍然可以使用不同的位置实现配置单元表。

在Hive Metastore中，您可以具有指向不同位置的分区。

但是，没有现成的方法可以实现这一目标。 首先，您需要为数据集指定一个分区键，并从第一个位置创建一个表，在该位置，整个数据都属于一个分区。 然后更改表以添加新分区。

样品：

create external table tableName(<schema>) partitioned by ('name') location '/mnt/sparktables/ds=*/name=xyz/'

然后您可以添加分区

alter table tableName add partition(name='123fo') location '/mnt/sparktables/new_path/name=123fo/'

此过程的替代方法是在2个位置之外创建2个数据saveAsaTable ，然后将它们组合起来，然后saveAsaTable

Answer 2

我会做这样的事情：

create or replace view 'mytable' as
select * from parquet.`path1`
union all
select * from parquet.`path2`

该视图了解如何从这两个位置进行查询。 我假设您不会附加/覆盖表格，因为它会导致更多的歧义。

Answer 3

您可以分别为两个或多个木地板文件创建数据框架，然后合并它们（假设它们具有相同的架构）

df1.union(df2)