使用 Apache 箭头读取 Parquet 文件

Question

我有一些使用 PyArrow（Apache Arrow）在 Python 中编写的 Parquet 文件：

pyarrow.parquet.write_table(table, "example.parquet")

现在我想使用 Java 程序读取这些文件（最好是获取箭头表）。

在 Python 中，我可以简单地使用以下命令从我的 Parquet 文件中获取箭头表：

table = pyarrow.parquet.read_table("example.parquet")

Java 中是否有等效且简单的解决方案？

对于 Java（仅适用于 Python），我真的找不到任何好的/工作示例或任何有用的文档。 或者某些示例没有提供所有需要的 Maven 依赖项。 我也不想使用 Hadoop 文件系统，我只想使用本地文件。

注意：我还发现我不能使用“Apache Avro”，因为我的 Parquet 文件包含带有符号[ 、 ]和$的列名，这些符号在 Apache Avro 中是无效字符。

另外，如果您的解决方案使用 Maven，您能否提供 Maven 依赖项。

我在 Windows 并使用 Eclipse。

更新（2020 年 11 月）：我从来没有找到合适的解决方案，只是在我的用例中坚持使用 Python。

Answer 1

这有点矫枉过正，但您可以使用 Spark。