我需要哪个“JAR”文件才能在 Scala 中导入“org.apache.parquet”？

Question

当我尝试这个时：

scala> import org.apache.parquet

它出错了：

<console>:23: error: object parquet is not a member of package org.apache
       import org.apache.parquet

问题- 我需要在 spark conf 中包含哪个 jar 才能使此导入工作？

请注意，这工作正常：

scala> import org.apache.hadoop
import org.apache.hadoop

CDH jars 我可以访问：

$ ls /opt/cloudera/parcels/CDH-5.14.4-1.cdh5.14.4.p3503.3712/jars -al|grep parq
-rw-r--r--.  1 root root     12717 Jun 24  2019 kite-morphlines-hadoop-parquet-avro-1.0.0-cdh5.14.4.jar
-rw-r--r--.  1 root root    106448 Jun 24  2019 parquet-avro-1.5.0-cdh5.14.4.jar
-rw-r--r--.  1 root root     25490 Jun 24  2019 parquet-cascading-1.5.0-cdh5.14.4.jar
-rw-r--r--.  1 root root    956035 Jun 24  2019 parquet-column-1.5.0-cdh5.14.4.jar
-rw-r--r--.  1 root root     41084 Jun 24  2019 parquet-common-1.5.0-cdh5.14.4.jar
-rw-r--r--.  1 root root    278926 Jun 24  2019 parquet-encoding-1.5.0-cdh5.14.4.jar
-rw-r--r--.  1 root root    384620 Jun 24  2019 parquet-format-2.1.0-cdh5.14.4.jar
-rw-r--r--.  1 root root    132777 Jun 24  2019 parquet-format-2.1.0-cdh5.14.4-javadoc.jar
-rw-r--r--.  1 root root      6474 Jun 24  2019 parquet-format-2.1.0-cdh5.14.4-sources.jar
-rw-r--r--.  1 root root     23679 Jun 24  2019 parquet-generator-1.5.0-cdh5.14.4.jar
-rw-r--r--.  1 root root    212644 Jun 24  2019 parquet-hadoop-1.5.0-cdh5.14.4.jar
-rw-r--r--.  1 root root   2776911 Jun 24  2019 parquet-hadoop-bundle-1.5.0-cdh5.14.4.jar
-rw-r--r--.  1 root root    927867 Jun 24  2019 parquet-jackson-1.5.0-cdh5.14.4.jar
-rw-r--r--.  1 root root     84853 Jun 24  2019 parquet-pig-1.5.0-cdh5.14.4.jar
-rw-r--r--.  1 root root   2855960 Jun 24  2019 parquet-pig-bundle-1.5.0-cdh5.14.4.jar
-rw-r--r--.  1 root root     49233 Jun 24  2019 parquet-protobuf-1.5.0-cdh5.14.4.jar
-rw-r--r--.  1 root root     33088 Jun 24  2019 parquet-scala_2.10-1.5.0-cdh5.14.4.jar
-rw-r--r--.  1 root root     22932 Jun 24  2019 parquet-scrooge_2.10-1.5.0-cdh5.14.4.jar
-rw-r--r--.  1 root root      6287 Jun 24  2019 parquet-test-hadoop2-1.5.0-cdh5.14.4.jar
-rw-r--r--.  1 root root    207188 Jun 24  2019 parquet-thrift-1.5.0-cdh5.14.4.jar
-rw-r--r--.  1 root root     67029 Jun 24  2019 parquet-tools-1.5.0-cdh5.14.4.jar

Answer 1

看起来parquet是一个base package

scala> import parquet.hadoop
import parquet.hadoop

scala> import parquet.hadoop.metadata
import parquet.hadoop.metadata

scala> import parquet.hadoop.metadata.ParquetMetadata
import parquet.hadoop.metadata.ParquetMetadata

scala> val nof = parquet.format.converter.ParquetMetadataConverter.NO_FILTER
nof: parquet.format.converter.ParquetMetadataConverter.MetadataFilter = NO_FILTER

scala> nof
res1: parquet.format.converter.ParquetMetadataConverter.MetadataFilter = NO_FILTER

scala> print(nof)
NO_FILTER
scala> import parquet.hadoop.ParquetFileReader
import parquet.hadoop.ParquetFileReader

在 Pyspark：

>>> pfr = sc._gateway.jvm.parquet.hadoop.ParquetFileReader
>>> pfr
<py4j.java_gateway.JavaClass object at 0x7f6fca6d1c90>


>>> nof =  sc._gateway.jvm.parquet.format.converter.ParquetMetadataConverter.NO_FILTER
>>> nof
JavaObject id=o64
>>> str(nof)
'NO_FILTER'