使用 OAuth 的 Spark Snowflake 連接器的身份驗證問題

Question

我正在嘗試設置 Spark Snowflake 連接器並遇到此錯誤： "IllegalArgumentException: A snowflake passsword or private key path must be provided with 'sfpassword or pem_private_key' parameter, eg 'password'"

我不是嘗試使用密碼進行身份驗證，而是使用 OAuth 令牌進行身份驗證。 使用 PySpark 並設置以下選項：

SNOWFLAKE_SOURCE_NAME = "net.snowflake.spark.snowflake"
SNOWFLAKE_OPTIONS = {
    'sfURL': os.environ.get("SNOWFLAKE_URL", sf_url),
    'sfUser': os.environ.get("SNOWFLAKE_USER", user_id),
    'sfAuthenticator': os.environ.get("SNOWFLAKE_AUTH_METHOD", "oauth"),
    'sfToken': os.environ.get("SNOWFLAKE_TOKEN", oauth_token),
    'sfDatabase': os.environ.get("SNOWFLAKE_DATABASE", sf_db),
    'sfSchema': os.environ.get("SNOWFLAKE_SCHEMA", sf_schema),
    'sfWarehouse': os.environ.get("SNOWFLAKE_WAREHOUSE", sf_warehouse),
    'sfRole':  os.environ.get("SNOWFLAKE_ROLE", sf_role)
    }

版本：

• 火花：spark-3.0.1-bin-hadoop3.2
• 雪花連接器：spark-snowflake_2.12-2.8.2-spark_3.0.jar
• 雪花JDBC：snowflake-jdbc-3.12.14.jar

Answer 1

在將 OAuth 與 Spark Snowflake Connector 一起使用時，我遇到了與您相同的錯誤。 然而，我是在 Databricks 中做的。

為我修復它的解決方案是更新 Spark 版本。 我使用的是過時且不受支持的 Spark (2.4.5) 版本，我將其更新為 3.1.1 版。