如何实现 Pyspark 的 ODBC 连接？

Question

我正在使用以下代码将 PySpark 与Teradata服务器连接：

import pyodbc
from pyspark.sql import SparkSession
import pandas as pd

appName = "PySpark Teradata Example"
master = "local"

# Create Spark session
spark = SparkSession.builder \
    .appName(appName) \
    .master(master) \
    .getOrCreate()


link = 'DRIVER={DRIVERNAME};DBCNAME={hostname};UID={uid};PWD={pwd}'.format(DRIVERNAME='Teradata Database ODBC Driver 17.10',\
                                                                       hostname='192.168.xx.xxx',uid='dbc', Database='AdventureWorksDW'\
                                                                       ,pwd='dbc')
conn = pyodbc.connect(link)
cus=conn.cursor()
sql = "SELECT * from AdventureWorksDW.DimAccount"
df = pd.read_sql_query(sql, conn)
print(df)
cus.close()
conn.close()

这可行，但我需要用Pyspark.Pandas ZDB974238714CA8DE634A7CE1D083A 替换普通的 Pandas。

当我将import pandas as pd替换为import pyspark.pandas as pd时，

我得到错误 -

java.sql.SQLException：没有合适的驱动程序

我还需要对代码进行哪些其他更改？

注意- 我知道我可以使用 JDBC 连接，但要求是 ODBC。