difference between pyspark.pandas.frame.DataFrame and pyspark.sql.dataframe.DataFrame and their conversion
[英]difference between pyspark.pandas.frame.DataFrame and pyspark.sql.dataframe.DataFrame and their conversion
問題描述
I could not find any detailed documentation on this point, so what is the difference between a pyspark.pandas.frame.DataFrame and pyspark.sql.dataframe.DataFrame , and where to find the documentation of their methods?
還有如何投射，或將一個轉換為另一個，反之亦然？ 轉換它們是否總是無縫的，或者某些數據類型無法識別？
1 個解決方案
解決方案1
3 已采納 2022-09-13 05:16:02
here is the doc for pyspark-pandas (AKA pandas API on pyspark) which generates (or uses) the pyspark.pandas.DataFrame . 您可以查看spark 文檔以了解其原生 dataframe 方法。
它們都具有可用於將一種轉換為另一種的轉換方法。
- 將 pyspark dataframe 轉換為 pyspark-pandas dataframe 可以使用
to_pandas_on_spark - 可以使用 to_spark 將 pyspark-pandas dataframe 轉換為 pyspark
to_spark
Pyspark：依靠 pyspark.sql.dataframe.DataFrame 需要很長時間
[英]Pyspark: count on pyspark.sql.dataframe.DataFrame takes long time
將pyspark.sql.dataframe.DataFrame類型轉換為Dictionary
[英]Convert pyspark.sql.dataframe.DataFrame type Dataframe to Dictionary
如何在不使用 pandas on spark API 的情況下為 pyspark.sql.dataframe.DataFrame 編寫這個 pandas 邏輯？
[英]How to write this pandas logic for pyspark.sql.dataframe.DataFrame without using pandas on spark API?
寫一個pyspark.sql.dataframe.DataFrame不丟失信息
[英]Write a pyspark.sql.dataframe.DataFrame without losing information
Pyspark：如何從 pyspark.sql.dataframe.DataFrame 中選擇唯一的 ID 數據？
[英]Pyspark: how to select unique ID data from a pyspark.sql.dataframe.DataFrame?
Pyspark：如何將在線.gz日志文件加載到pyspark.sql.dataframe.DataFrame中
[英]Pyspark: how to load online .gz log file into pyspark.sql.dataframe.DataFrame
如何將pyspark.sql.dataframe.DataFrame轉換回databricks筆記本中的sql表
[英]How can I convert a pyspark.sql.dataframe.DataFrame back to a sql table in databricks notebook
嘗試在 Databricks 環境中合並或連接兩個 pyspark.sql.dataframe.DataFrame
[英]Trying to Merge or Concat two pyspark.sql.dataframe.DataFrame in Databricks Environment
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
pyspark.pandas.frame.DataFrame 的餅圖
Pyspark：依靠 pyspark.sql.dataframe.DataFrame 需要很長時間
將pyspark.sql.dataframe.DataFrame類型轉換為Dictionary
如何在不使用 pandas on spark API 的情況下為 pyspark.sql.dataframe.DataFrame 編寫這個 pandas 邏輯？
寫一個pyspark.sql.dataframe.DataFrame不丟失信息
Pyspark：如何從 pyspark.sql.dataframe.DataFrame 中選擇唯一的 ID 數據？
Pyspark：如何將在線.gz日志文件加載到pyspark.sql.dataframe.DataFrame中
如何將pyspark.sql.dataframe.DataFrame轉換回databricks筆記本中的sql表
嘗試在 Databricks 環境中合並或連接兩個 pyspark.sql.dataframe.DataFrame
Pyspark Dataframe 中的日期轉換
相關標簽