使用 Pyspark Notebook 在 Azure Data Lake Gen 2 中写入表需要很长时间

Question

我在使用 PySpark 笔记本在 Azure Synapse 中使用 Spark 进行并行处理编程方面非常陌生。 我需要对存储在 Cosmos DB 中的数据进行一些转换，然后将结果保存在 Azure Data Lake Gen2 中的 Parquet 文件中。 这些数据来自名为 Mixpanel（事件）的跟踪工具。 这是代码：

# libraries
from pyspark.sql import functions as F
import re
from pyspark.sql.types import *
from pyspark.sql import *
from pyspark.sql.functions import *

# Load data from Cosmos DB
df_Mixpanel = spark.read\
    .format("cosmos.olap")\
    .option("spark.synapse.linkedService", "<linked-service>")\
    .option("spark.cosmos.container", "events-mixpanel")\
    .load() 

数据是我需要转换为 JSON 对象的 json 字符串

df_Mixpanel.printSchema()

# Infer schema of Mixpanel data and parse json column to return a new dataframe
mixpanel_json_schema = spark.read.json(df_Mixpanel.rdd.map(lambda row: row.data)).schema
df_Mixpanel2 = df_Mixpanel\
    .withColumn("data", from_json(col("data"), mixpanel_json_schema)).select("id", "data.*")\
    .withColumn("time", to_timestamp(col("time")))\
    .withColumn("Year", year(col("time")))\
    .withColumn("Month", month(col("time")))

某些字段包含存储为带有方括号的字符串的值列表（例如，“['a', 'b', 'c']”）。 这些必须分解成几行：

list_Mixpanel_col = df_Mixpanel2.columns
regex = re.compile(r"(^id|distinct_id|mp_+)")
list_Mixpanel_col_filtered = [i for i in list_Mixpanel_col if not regex.search(i)]
df_Mixpanel3 = df_Mixpanel2
for my_col in list_Mixpanel_col_filtered:
    df_Mixpanel3 = df_Mixpanel3.withColumn(my_col, F.expr("regexp_extract_all(" + my_col + r", '((\\w+\\s?-?\\.?\'?)+)', 0)"))\
        .withColumn(my_col, explode_outer(my_col))

所有这些步骤都运行良好，直到我必须以 parquet 格式将结果保存在 Azure Data Lake Gen 2 中：

df_Mixpanel3.write\
    .option("header", True)\
    .partitionBy("Year", "Month")\
    .mode("overwrite")\
    .parquet(path_staging)

我不得不取消工作，因为处理时间太长。 原因之一是我有数据倾斜（所以，Spark 不使用并行处理）

我怎么解决这个问题？ 我试图找到最好的分区键，但对我来说，基本上具有最佳数据分布的唯一分区键似乎是“年/月”组合。 我的“混合面板”字段（事件名称、页面类型……）都没有良好的数据分布。

在 Spark Web UI 中，我还有一些带有 stdout/stderr 的日志：

仔细看，有消息：

Request for https://XXX.dev.azuresynapse.net/sparkhistory/api/v1/sparkpools/customerportal/livyid/68/hs/applications/application_1656687049284_0001/executorlogs/containers/container_1656687049284_0001_01_000003/files/stdout?feature.enableStandaloneHS=true failed, activityId:1134e452-48d7-42ac-971a-f7db85c0b8dc, status code:404.
Response:
{
    "TraceId": "f9f41914-660b-4211-9816-454543544279 | client-request-id : 1134e452-48d7-42ac-971a-f7db85c0b8dc",
    "Message": "The HTTP status code of the response was not expected (404).\n\nStatus: 404\nResponse: \n{\n  \"message\" : \"Can not find the log file:[stdout] for the container:container_1656687049284_0001_01_000003 in NodeManager:vm-6c067982:39163\",\n  \"traceId\" : \"f9f41914-660b-4211-9816-454543544279 | client-request-id : 1134e452-48d7-42ac-971a-f7db85c0b8dc.45632bf3-c43e-47cb-a455-71856d634756\"\n}"
}

它会影响我的 Spark 作业的性能吗？