Parquet-MR Java庫的文檔

Question

我需要使用Parquet-mr庫以Java編程方式讀取Parquet文件。 我需要有選擇地閱讀幾列，並跳過其他列（例如，從500列中讀取3列）。 我似乎找不到有關如何執行此操作的任何文檔。 有人可以指點我嗎？

Answer 1

不幸的是，這沒有得到很好的記錄。 您可以在此處查看一些示例。 這些使用了Parquet的ExampleParquetWriter類，但這僅用作示例。 盡管如此，它仍然有效。

使用Parquet的正確方法是通過一種受支持的對象模型（例如Avro，Thrift或Protobuf）或實現自己的對象模型（這將導致最佳性能）。 您可以在此處閱讀有關對象模型的更多信息。