簡體   English   中英

從Java對象到鑲木地板文件

[英]from java objects to parquet file

我有一個json文件,想將其轉換為鑲木地板文件。 我知道如何從json文件轉換為java對象,但是仍然需要從java對象轉換為parquet文件。 我不想使用AVRO / Protocol Buffers / Thrift / etc ..等進行轉換,也不想使用Apache演練-僅使用Java代碼。

我在Maven中使用Java項目,我的pom.xml看起來像這樣:

<dependencies>
        <dependency>
            <groupId>org.apache.parquet</groupId>
            <artifactId>parquet-common</artifactId>
            <version>1.8.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.parquet</groupId>
            <artifactId>parquet-encoding</artifactId>
            <version>1.8.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.parquet</groupId>
            <artifactId>parquet-column</artifactId>
            <version>1.8.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.parquet</groupId>
            <artifactId>parquet-hadoop</artifactId>
            <version>1.8.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.2.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-core</artifactId>
            <version>0.20.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.2.0</version>
        </dependency>
    </dependencies>

意味着我沒有使用hadoop的問題。

因此,我找到了此鏈接(最后一條評論):

https://groups.google.com/forum/#!topic/parquet-dev/lfWanFOc040

上面的鏈接是我想要的,但是我在那里有2個導入的問題,無法為它們找到正確的依賴項。

這些是我找不到的2種進口商品:

import org.apache.hadoop.hive.ql.io.parquet.writable.BinaryWritable;
import org.apache.hadoop.hive.ql.io.parquet.write.DataWritableWriteSupport;

將感謝您對查找依賴項的幫助。

謝謝:)

好的,我找到了答案:

<dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>0.13.0</version>
        </dependency>

請享用!

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM