Databricks 中的 Python

Question

如何使用 python 在數據塊中啟動基本查詢？

我需要的數據在數據塊中，到目前為止，我一直在使用 Juypterhub 來提取數據並修改一些東西。 但現在我想消除在 Jupyterhub 中提取數據的步驟，並直接將我的 python 代碼移動到數據塊中，然后安排作業。

我開始像下面

%python
import pandas as pd
df = pd.read_sql('select * from databasename.tablename')

並得到以下錯誤

類型錯誤：read_sql() 缺少 1 個必需的位置參數：'con'

所以我嘗試更新

%python
import pandas as pd
import pyodbc

odbc_driver = pyodbc.drivers()[0]
conn = pyodbc.connect(odbc_driver) 

df = pd.read_sql('select * databasename.tablename', con=conn)

我得到了以下錯誤

ModuleNotFoundError：沒有名為“pyodbc”的模塊

有人可以幫忙嗎？ 我可以使用 sql 來提取數據，但我在 python 中已經有很多代碼，我不知道要在 sql 中進行轉換。所以我現在只想讓我的 python 代碼在數據塊中工作。

Answer 1

你應該直接使用 spark 的 SQL 設施：

my_df = spark.sql('select * FROM databasename.tablename')