[英]from java objects to parquet file
我有一個json文件,想將其轉換為鑲木地板文件。 我知道如何從json文件轉換為java對象,但是仍然需要從java對象轉換為parquet文件。 我不想使用AVRO / Protocol Buffers / Thrift / etc ..等進行轉換,也不想使用Apache演練-僅使用Java代碼。
我在Maven中使用Java項目,我的pom.xml看起來像這樣:
<dependencies>
<dependency>
<groupId>org.apache.parquet</groupId>
<artifactId>parquet-common</artifactId>
<version>1.8.1</version>
</dependency>
<dependency>
<groupId>org.apache.parquet</groupId>
<artifactId>parquet-encoding</artifactId>
<version>1.8.1</version>
</dependency>
<dependency>
<groupId>org.apache.parquet</groupId>
<artifactId>parquet-column</artifactId>
<version>1.8.1</version>
</dependency>
<dependency>
<groupId>org.apache.parquet</groupId>
<artifactId>parquet-hadoop</artifactId>
<version>1.8.1</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.2.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-core</artifactId>
<version>0.20.2</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.2.0</version>
</dependency>
</dependencies>
意味着我沒有使用hadoop的問題。
因此,我找到了此鏈接(最后一條評論):
https://groups.google.com/forum/#!topic/parquet-dev/lfWanFOc040
上面的鏈接是我想要的,但是我在那里有2個導入的問題,無法為它們找到正確的依賴項。
這些是我找不到的2種進口商品:
import org.apache.hadoop.hive.ql.io.parquet.writable.BinaryWritable;
import org.apache.hadoop.hive.ql.io.parquet.write.DataWritableWriteSupport;
將感謝您對查找依賴項的幫助。
謝謝:)
好的,我找到了答案:
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-exec</artifactId>
<version>0.13.0</version>
</dependency>
請享用!
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.