聚合 function 和 PySpark 3.0.3 中的 Expr

[英]Aggregate function with Expr in PySpark 3.0.3

以下代碼適用於PySpark 3.2.1df.withColumn( "total_amount", f.aggregate(f.col("taxes"), f.lit(0.00), lambda acc, x: acc + x["amount"]), ) 我已經降級到 PySp ...

如何在集群模式下設置驅動程序 python 路徑（pyspark）

[英]How to set driver python path in cluster mode (pyspark)

我的程序在客戶端模式下運行良好，但是當我嘗試在集群模式下運行時如果失敗，原因是集群節點上的 python 版本不同當我的應用程序在集群模式下運行時，我正在嘗試設置 python 驅動程序路徑下面是我在集群模式下的 spark 提交命令 下面是錯誤 在查看控制台日志和應用程序日志時我們沒有找到錯誤原 ...

Spark 無法使用內置連接提供程序連接到數據庫

[英]Spark can't connect to DB with built-in connection providers

我正在嘗試連接到 Postgres 遵循此文檔 並且文件說內置連接提供程序。 誰能幫我解決這個問題，好嗎？ ` 有以下數據庫的內置連接提供程序： DB2 瑪麗亞數據庫 微軟 SQL 甲骨文 PostgreSQL ` val spark = SparkSession.buil ...

如何在 Spark 3.0+ 中獲取月份的星期幾？

[英]How to get week of month in Spark 3.0+?

我在 spark 3.0+ 中找不到任何日期時間格式模式來獲取月份的星期幾 由於不推薦使用“W”，是否有解決方案可以在不使用舊選項的情況下獲得每月的一周？ 以下代碼不適用於 spark 3.2.1 ...

如何在 Spark 3.0 中將時間戳舍入到 10 分鍾？

[英]How to round timestamp to 10 minutes in Spark 3.0?

我在$"my_col"中有一個類似的時間戳：2022-01-21 22:11:11 與date_trunc("minute",($"my_col"))2022-01-21 22:11:00 與date_trunc("hour",($"my_col"))2022-01-21 22:00:00 ...

運行火花3.2的ServiceConfigurationError

[英]ServiceConfigurationError running spark 3.2

我正在嘗試更新使用 spark 2.4 編寫的代碼並使用 spark 3.2 進行一些測試。 我能夠創建火花 session： 但是當我嘗試用 我收到以下錯誤： 我知道這是一個配置問題，但我不確定是哪一個。 我真的很感激一些幫助編輯：我嘗試在 Jupyter Notebook 中使用 pyspar ...

Star Schema（數據建模）是否仍然與使用 Databricks 的 Lake House 模式相關？

[英]Is Star Schema (data modelling) still relevant with the Lake House pattern using Databricks?

我對 Lake House 架構模式的了解越多，並且遵循 Databricks 的演示，我幾乎看不到任何關於維度建模的討論，就像在傳統數據倉庫（Kimball 方法）中那樣。 我知道計算和存儲要便宜得多，但是在沒有數據建模的情況下對查詢性能有更大的影響嗎？ 從 spark 3.0 開始，我看到了所 ...