无法通过火花读取 VCF 文件

Question

我正在尝试使用 spark 读取 vcf 文件。

火花3.0

spark.read.format("com.databricks.vcf").load("vcfFilePath")

错误：

java.lang.ClassNotFoundException: Failed to find data source: com.databricks.vcf. Please find packages at http://spark.apache.org/third-party-projects.html
  at org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSource(DataSource.scala:674)
  at org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSourceV2(DataSource.scala:728)
  at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:230)
  at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:214)
  ... 49 elided
Caused by: java.lang.ClassNotFoundException: com.databricks.vcf.DefaultSource
  at scala.reflect.internal.util.AbstractFileClassLoader.findClass(AbstractFileClassLoader.scala:72)
  at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
  at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
  at org.apache.spark.sql.execution.datasources.DataSource$.$anonfun$lookupDataSource$5(DataSource.scala:648)
  at scala.util.Try$.apply(Try.scala:213)
  at org.apache.spark.sql.execution.datasources.DataSource$.$anonfun$lookupDataSource$4(DataSource.scala:648)
  at scala.util.Failure.orElse(Try.scala:224)
  at org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSource(DataSource.scala:648)
  ... 52 more

我在本地 ubuntu 中尝试过 spark，并且在 databricks 环境中也尝试过。 你们能帮我解决这个问题吗？

Answer 1

在 Databricks（正如 Alex 提到的）上，您必须使用 Databricks Genomics Runtime（见下图）。

如果您想在本地计算机上使用 Spark 处理 VCF 文件，则必须手动添加 Glow package。 此 package 包含 VCF 阅读器。 此处的官方文档详细描述了您必须执行的步骤。

对于 PySpark 本地，指令是这样的：

# Install pyspark
pip install pyspark==3.0.1
# Install Glow
pip install glow.py
# Start PySpark with the Glow Maven package
psypark --packages io.projectglow:glow-spark3_2.12:0.6.0

在 Python shell 中：

import glow
glow.register(spark)
df = spark.read.format('vcf').load(path)

要从您提到的 PDF 文档中加载示例，您必须确保用制表符替换空格，否则您将收到格式错误的 header 异常。 VCF 格式要求每条记录和 header 用制表符分隔。