如何在架構中使用 Parquet UUID 邏輯類型

Question

最近，鑲木地板格式項目添加了一個 UUID 邏輯類型。 具體來說，這是在鑲木地板格式的修訂版 2.4中添加的。 我對在 Java 中使用parquet-mr庫來創建一些鑲木地板文件很感興趣，但我似乎無法弄清楚如何在鑲木地板模式中使用 UUID 邏輯類型。 像這樣的簡單模式似乎並不像我希望的那樣工作：

message SimpleSchema {
  required int32 value1;
  required fixed_len_byte_array(16) value2 ( UUID );
}

我已經在這個架構上嘗試了很多變體，但到目前為止還沒有設法用MessageTypeParser.parseMessageType方法解析它。 這是 parquet-mr 庫的錯誤或限制嗎？ 或者我只是錯誤地格式化了我的架構？ 謝謝！

Answer 1

parquet-mr 庫目前不支持 UUID 邏輯類型。 在此處跟蹤實施此功能的進度有一個問題。

Answer 2

它最近實施：
https://issues.apache.org/jira/browse/PARQUET-1827
但尚未包含在官方1.11.1版本中。
請使用來自 github 源的1.12.0-SNAPHOT以利用最新功能：
https://github.com/apache/parquet-mr