无法在 Jupyter 笔记本上使用 pyspark 从 Apache Spark 连接到 MS SQL

Question

我正在尝试使用 Jupyter Notebook 中的 pyspark 从 MS SQL 服务器加载数据。 Spark 已经过测试并且工作正常。 我正在使用以下内容：

from pyspark import SparkContext, SparkConf, SQLContext

appName = "PySpark SQL Server Example - via JDBC"
master = "local"
conf = SparkConf() \
    .setAppName(appName) \
    .setMaster(master) \
    .set("spark.driver.extraClassPath","mssql-jdbc-7.4.1.jre8.jar")
sc = SparkContext.getOrCreate(conf=conf)
sqlContext = SQLContext(sc)
spark = sqlContext.sparkSession

# Loading data from a JDBC source
jdbcDF = spark.read \
    .format("jdbc") \
    .option("url", "jdbc:postgresql:dbserver") \
    .option("url", "jdbc:sqlserver://188.188.188.188:10004;databaseName=dbnme") \
    .option("dbtable", "dbo.tablename") \
    .option("user", "usernmame") \
    .option("password", "pawwrod") \
    .load()

My MS SQL driver ( mssql-jdbc-7.4.1.jre8.jar ) jar is in the same location where my python script is.

我得到的错误：

和：

Answer 1

编辑：

请检查此链接： sql 服务器中的表名和列名中不允许的字符？

第一个字符必须是以下之一：

• 由 Unicode 标准 3.2 定义的字母。 Unicode 对字母的定义包括从 a 到 z、从 A 到 Z 的拉丁字符以及来自其他语言的字母字符。

• 下划线 (_)、at 符号 (@) 或数字符号 (#)。

后续字符可以包括以下内容：

• Unicode 标准 3.2 中定义的字母。

• 来自基本拉丁文或其他国家文字的十进制数字。

• at 符号、美元符号 ($)、数字符号或下划线。

请尝试使用我为连接到 SQL 数据库而制作的 function （它具有驱动程序作为连接属性的一部分，并在运行时下载驱动程序）：

def connect_to_sql(
    spark, jdbc_hostname, jdbc_port, database, data_table, username, password
):
    jdbc_url = "jdbc:sqlserver://{0}:{1}/{2}".format(jdbc_hostname, jdbc_port, database)

    connection_details = {
        "user": username,
        "password": password,
        "driver": "com.microsoft.sqlserver.jdbc.SQLServerDriver",
    }

    df = spark.read.jdbc(url=jdbc_url, table=data_table, properties=connection_details)
    return df

只需通过必要的 arguments，它就会开始工作。 如果没有，请告诉我，我会进行必要的更改。

Answer 2

我使用 Apache Spark 2.4.4 和 Hadoop 2.7 及更高版本。 这是最后对我有用的代码：

from pyspark import SparkContext, SparkConf, SQLContext

appName = "PySpark SQL Server Example - via JDBC"
master = "local"
conf = SparkConf() \
    .setAppName(appName) \
    .setMaster(master) \
    .set("spark.driver.extraClassPath","mssql-jdbc-7.4.1.jre8.jar")
sc = SparkContext.getOrCreate(conf=conf)
sqlContext = SQLContext(sc)
spark = sqlContext.sparkSession

hostname = "localhost"
database = "HumanResources"
port = "1433"
table = "dbo.Employee"
user = "sa"
password  = "Dedo9090"

jdbcDF = spark.read.format("jdbc") \
    .option("url", f"jdbc:sqlserver://ILI-LAB-HRVOJE;databaseName={database}") \
    .option("dbtable", table) \
    .option("user", user) \
    .option("password", password) \
    .load()

jdbcDF.head(50)

如果您在访问 SQL 服务器时仍然遇到问题，请参阅此处建议的 TCP/IP 已启用，并确保您的防火墙未阻止访问 MS SQL 服务器正在侦听的 1433 端口。 最后，密码中不支持的字符无关紧要。