簡體 English 中英

PyArrow / Dask to_parquet分區所有空列

[英]PyArrow / Dask to_parquet partition all null columns

原文 2019-09-16 19:38:46 0 1 python/ dask/ parquet/ pyarrow

當將Dask數據幀分區寫入Parquet時，我注意到在沖突的元數據/模式上read_parquet失敗。 這是因為在某些分區中的列完全為null / np.nan，而在其他分區中，則使用值填充。

之前，我已經轉換了分區的數據類型：

df = df.astype(dtypes)

PyArrow無法讀取我的分區實木復合地板文件，因為只有空值的列被重新分配了數據類型'null'。 我該如何解決這個問題？ 有些分區的列全為空，而另一些分區並不完全為空。

列的數據類型可以是整數，浮點數或字符串（對象）。

1 個解決方案

我建議在Dask或Arrow問題追蹤器上提出問題

Pyarrow 上帶有 null 列的鑲木地板

[英]Parquet with null columns on Pyarrow

python dask to_parquet占用大量內存

[英]python dask to_parquet taking a lot of memory

強制 dask to_parquet 寫入單個文件

[英]Force dask to_parquet to write single file

Pyarrow 在使用 Pandas to_parquet() 時應用模式

[英]Pyarrow apply schema when using pandas to_parquet()

dask.dataframe的to_parquet支持服務器端加密？

[英]dask.dataframe's to_parquet support server side encryption?

使用 pyarrow 將結構列寫入鑲木地板

[英]Write struct columns to parquet with pyarrow

在 pandas 中使用 pyarrow 忽略鑲木地板中不存在的列

[英]ignore columns not present in parquet with pyarrow in pandas

通過pyarrow和（或）Python中的pandas Struct parquet的列

[英]Columns to Struct parquet by pyarrow and (or) pandas in Python

在 pyarrow.dataset parquet 中選擇深列

[英]Selecting deep columns in pyarrow.dataset parquet

Dask df.to_parquet 找不到 pyarrow。 RuntimeError: `pyarrow` 未安裝

[英]Dask df.to_parquet can't find pyarrow. RuntimeError: `pyarrow` not installed

暫無

暫無

聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

相關問題 Pyarrow 上帶有 null 列的鑲木地板 python dask to_parquet占用大量內存強制 dask to_parquet 寫入單個文件 Pyarrow 在使用 Pandas to_parquet() 時應用模式 dask.dataframe的to_parquet支持服務器端加密？使用 pyarrow 將結構列寫入鑲木地板在 pandas 中使用 pyarrow 忽略鑲木地板中不存在的列通過pyarrow和（或）Python中的pandas Struct parquet的列在 pyarrow.dataset parquet 中選擇深列 Dask df.to_parquet 找不到 pyarrow。 RuntimeError: `pyarrow` 未安裝

相關標簽

粵ICP備18138465號 © 2020-2024 STACKOOM.COM