簡體   English   中英

從 pyspark dataframe 中提取模式標簽

[英]Extract schema labels from pyspark dataframe

從 pyspark dataframe 我想創建一個 python 列表,其中包含特定模式“級別”的模式標簽。

架構是:

root
 |-- DISPLAY: struct (nullable = true)
 |    |-- 1WO: struct (nullable = true)
 |    |    |-- JPY: struct (nullable = true)
 |    |    |    |-- CHANGE24HOUR: string (nullable = true)
 |    |    |    |-- CHANGEDAY: string (nullable = true)
 |    |-- AAVE: struct (nullable = true)
 |    |    |-- JPY: struct (nullable = true)
 |    |    |    |-- CHANGE24HOUR: string (nullable = true)
 |    |    |    |-- CHANGEDAY: string (nullable = true)

預期的 output 為:

list = 1WO, AAVE

以下代碼打印架構中的所有內容:

df.schema.jsonValue()

有沒有一種簡單的方法來提取這些標簽?

Select 第一層使用星號表示法,n 列出列:

df.select('DISPLAY.*').columns

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM