無法讓 Spark NLP 在 Databricks 上工作

Question

我做了以下事情：

import pyspark
from pyspark.sql import SparkSession

from pyspark import SparkContext, SparkConf, SQLContext

spark = SparkSession \
    .builder \
    .appName('Amazon ETL') \
    .config('spark.jars.packages', 'com.johnsnowlabs.nlp:spark-nlp_2.11:2.4.5') \
    .getOrCreate()

加...

import sparknlp
from sparknlp.annotator import *

我收到此錯誤消息：錯誤消息

任何幫助將非常感激！

謝謝， 開爾文

Answer 1

我通過使用 maven 安裝sparknlp庫來預安裝 JAVA 依賴項解決了這個問題。

在您的 Cluster-Libraries 部分中，選擇install new ，然后選擇maven ，然后輸入com.johnsnowlabs.nlp:spark-nlp_2.11:2.5.0