[英]converting python code to python spark code
下面的代码在 Python 中,我想将此代码转换为 pyspark,基本上我不确定语句的代码是什么 - pd.read_sql(query,connect_to_hive) 转换为 Z77BB59DCD8956C10768
需要从 EDL 中提取数据,因此使用 PYODBC 连接到 EDL,然后使用 sql 查询提取数据。
pyodbc 与企业数据湖的连接:
connect_to_hive = pyodbc.connect("DSN=Hive", autocommit=True)
transaction=pd.read_sql(query, connect_to_hive)
connect_to_hive.close()
#Query function:下面只是一个基本的 sql 查询来复制这个问题。
query=f'''
with trans as (
SELECT
a.employee_name,
a.employee_id
FROM EMP
'''
上述代码可以转换为 SparkSQL 代码如下:
spark = SparkSession.builder.enableHiveSupport().getOrCreate()
query=f'''
with trans as (
SELECT
a.employee_name,
a.employee_id
FROM EMP
'''
employeeDF = spark.sql(query)
employeeDF.show(truncate=False)
查询将在 Hive 上按原样运行,结果将作为 Spark DataFrame 提供给您
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.