Python - 讀取沒有熊貓的鑲木地板文件

Question

目前我在Python 3.5, Windows上使用下面的代碼來讀取parquet文件。

import pandas as pd

parquetfilename = 'File1.parquet'
parquetFile = pd.read_parquet(parquetfilename, columns=['column1', 'column2'])  

但是，我想在不使用熊貓的情況下這樣做。 如何最好地做到這一點？ 我在Windows上同時使用Python 2.7 and 3.6 。

Answer 1

您可以為此使用duckdb 。 它是一個類似於 SQLite 但考慮到 OLAP 的嵌入式 RDBMS。 有一個很好的 Python API 和一個 SQL 函數來導入 Parquet 文件：

import duckdb

conn = duckdb.connect(":memory:") # or a file name to persist the DB

# Keep in mind this doesn't support partitioned datasets,
# so you can only read one partition at a time
conn.execute("CREATE TABLE mydata AS SELECT * FROM parquet_scan('/path/to/mydata.parquet')")

# Export a query as CSV
conn.execute("COPY (SELECT * FROM mydata WHERE col = 'val') TO 'col_val.csv' WITH (HEADER 1, DELIMITER ',')")