堆棧內存溢出
cost 95 ms
Dataproc CPU 使用率太低，即使所有內核都已使用

[英]Dataproc CPU usage too low even though all the cores got used

問題：我運行的 spark 作業用盡了所有節點上的所有內核，但在 Dataproc CPU 監控圖中，CPU 使用率最高達到 12% 我有一個包含 2 個節點的虛擬集群。 每個節點都有： 16 GiB memory 16芯我使用以下配置啟動 spark session 並運行以下簡單代碼： 而且 ...

通過Pyspark寫入Mainframe格式文件

[英]Writing Mainframe format file through Pyspark

我需要讀取 hive 數據庫表並以 EBCDIC 編碼的文本格式寫入該信息，因為它將用作大型機進程的輸入。 我們正在使用 cp037 編碼。 為此，我將 hive 表讀入 df，然后調用自定義 udf 將數值轉換為 COMP3 格式（用於在大型機中存儲數值），然后使用大型機 EBCDIC 字符集的 ...

鍵值對修改上的 Python/PySpark 字符串拆分索引

[英]Python/PySpark String Split Index on key:value pair modification

以下拆分/索引將從中檢索以下 output 'accountv2' 拆分/索引代碼如下： 有人可以幫助修改拆分/索引，以便它去掉最后兩個字符，即 v2。 所以 output 將是account而不是accountv2 謝謝 ...

如何使用 pandas 擴展 groupby 表以重復行

[英]How to use pandas to expand a groupby table to have the rows repeated

我有按以下方式分組的數據： 前我想將 dataframe 展開以取消分組，形成如下圖所示的表格： 后重復這些項目以獲得更簡單的表格的最佳方法是什么？ 我曾嘗試使用 unstack，但我希望列保持與當前相同。 ...

從鑲木地板文件中查詢值小於特定數量的排序列的最后一行

[英]Querying last row of sorted column where value is less than specific amount from parquet file

我有一個大型鑲木地板文件，其中一列中的數據已排序。 下面是一個非常簡化的示例。 我有興趣查詢 Y 列的最后一個值，因為 X 以最有效的方式使用 python 小於某個數量。 我保證 X 列按升序排序。 例如，假設 X 小於 11，我希望 Y 值為“綠色”。 我嘗試了以下方法： 上面的代碼“有效”，但 ...

映射列時如何解析傳遞給 UDF 的行的列值？

[英]How can I parse a row's column value passed to a UDF when mapping a column?

我有一個像這樣的 dataframe，為了簡單起見，我只顯示 2 列，兩列都是string ，但在現實生活中，除了string之外，它還有更多不同類型的列： SQL文本表名 select * 來自源表； 新表 select * 來自 sourceTable1； 新表1 我還有一個自定義 Fun ...

如何將字符串列轉換為日期列 PySpark DataFrame

[英]How to Convert string column to Date column in PySpark DataFrame

我有一個如下所示的字符串列 (DOB)： 出生日期 1973-6-28 1978-5-02 我想將其轉換為Date類型。 我嘗試了以下但它在 output 中顯示null值。我嘗試了 stackoverflow 的其他答案但無濟於事。 ...

2023-02-01 18:44:39   1   17    date / pyspark  
Spark 是否適合在許多節點中自動運行統計分析腳本以加快速度？

[英]Is Spark good for automatically running statistical analysis script in many nodes for a speedup?

我有一個 Python 腳本，它運行統計分析並對輸入數據訓練深度學習模型。 數據量相當小 (~5Mb)，但由於分析腳本的復雜性，速度很慢。 我想知道是否可以使用 Spark 在集群的不同節點上運行我的腳本，以便我可以獲得加速。 基本上，我想將輸入數據分成許多子集並並行運行分析腳本。 Spark ...

如何將 PySpark 中的祖魯時間格式轉換為日期時間格式？

[英]How to convert Zulu time format to datetime format in PySpark?

我正在嘗試將包含祖魯格式時間戳的列轉換為典型的日期時間格式。 這是日期格式的示例：1533953335000。 到目前為止，我一直在使用這個： 我用上面代碼時的output是：50579-01-17 我希望能夠以典型的可讀格式查看這些日期。 誰能幫我解決這個問題？ ...

檢查spark中Dataframes中的匹配數據

[英]Check matching data in Dataframes in spark

如果按照我的方式生成的兩個 RDD 包含相同的數據（包括行數），我該如何匹配？ 我正在使用 scala 測試來運行測試並使用 scala 2.12.12 啟動版本 3 在創建我的兩個 rdd 模式的代碼下方，包括預期的一個和創建所有 3 個 rdd 數據。 assertData function ...

在同一列中用另一組基於其他列組的組覆蓋一組值

[英]Overwriting group of values with in same column another set of group based on other column group

輸入： 下面的查詢在 sql 服務器中工作，由於相關的子查詢在 spark sql 中不起作用。是否有 spark sql 或 pyspark dataframe 的替代方案。 SELECT Name,groupid,IsProcessed,ngid, CASE WHEN WHEN IS NULL ...

Spark Dataframe - 為主表的每個單元格創建 12 行

[英]Spark Dataframe - Create 12 rows for each cell of a master table

我有一個包含員工 ID 的表，我想為包含 12 個值（每個月 1 個）的月份添加一個附加列。 我想創建一個新表，其中列表中的每個 ID 有 12 行。 舉個例子： 我想要的 output 大概是這樣的 等等。 我正在使用 pyspark，我當前的語法如下：data = [["1"], ["2"], ...

如何減去兩個PySpark dataframe的所有列值？

[英]How to subtract all column values of two PySpark dataframe?

嗨，我遇到過這種情況，我需要像這樣減去兩個 PySpark dataframe 之間的所有列值：df1： df2: 我想用 df1 - df2: new df: 得到最終的 dataframe 我檢查了可能的解決方案是減去兩列，如： 但是我有101個列，如何簡單的遍歷整個東西，避免寫出101個類 ...

當字符串以“d”結尾時，Spark 錯誤地將數據類型從 csv 解釋為 Double

[英]Spark incorrectly interpret data type from csv to Double when string ending with 'd'

有一個帶有列 ID 的 CSV（格式：8 位數字和末尾的“D”）。 使用.option("inferSchema", "true") 讀取 csv 時，它返回數據類型為 double 並修剪“D”。 ACADEMIC_YEAR_SEM ID 2013/1 12345678D 2013/1 ...

在 PySpark Dataframe 中新建一列，其中包含另一列的 Substring

[英]Create a New Column in PySpark Dataframe that Contains Substring of Another Column

我有一個 dataframe，在該 dataframe 中有一列包含字符串值。 每當存在一組特定字符時，我需要從該列中提取 substring 並將其轉換為新列。 我希望能夠做到這一點，同時也不過濾，以免丟失所有其他行。 對於不包含該特定字符串值的任何行，我希望相應的新列讀作“null”。 例如， ...

如何從現有 dataframe 中的列之一創建火花 dataframe

[英]How to create a spark dataframe from one of the column in the existing dataframe

要求： 我想從一列（現有的 dataframe ）中創建一個 dataframe 。 該列值是多個 json 列表。 問題： 由於 json 沒有固定的架構，我無法使用from_json function，因為它在解析列之前需要架構。 例子 預計 output： 對此有什么想法嗎？ ...

加入 ( | ) 后刪除前導零 pyspark

[英]Removing leading zeros after joining with ( | ) pyspark

加入后如何刪除前導零，例如， 我希望這個數據是 先感謝您！！ ...

2023-02-01 03:29:13   1   42    pyspark  

排序:
質量:
 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM