Databricks 中的 Python

Question

如何使用 python 在数据块中启动基本查询？

我需要的数据在数据块中，到目前为止，我一直在使用 Juypterhub 来提取数据并修改一些东西。 但现在我想消除在 Jupyterhub 中提取数据的步骤，并直接将我的 python 代码移动到数据块中，然后安排作业。

我开始像下面

%python
import pandas as pd
df = pd.read_sql('select * from databasename.tablename')

并得到以下错误

类型错误：read_sql() 缺少 1 个必需的位置参数：'con'

所以我尝试更新

%python
import pandas as pd
import pyodbc

odbc_driver = pyodbc.drivers()[0]
conn = pyodbc.connect(odbc_driver) 

df = pd.read_sql('select * databasename.tablename', con=conn)

我得到了以下错误

ModuleNotFoundError：没有名为“pyodbc”的模块

有人可以帮忙吗？ 我可以使用 sql 来提取数据，但我在 python 中已经有很多代码，我不知道要在 sql 中进行转换。所以我现在只想让我的 python 代码在数据块中工作。

Answer 1

你应该直接使用 spark 的 SQL 设施：

my_df = spark.sql('select * FROM databasename.tablename')