[英]How to Connect Relational Database in Glue ETL / Spark using ODBC connector
我需要在AWS生态系统中使用ODBC Connector从RDBMS中提取数据。 AWS Glue不提供ODBC连接。 如何使用spark中的ODBC驱动程序将我的spark代码与Relational DB连接起来。
我尝试使用EMR进行sqoop。 但它也不提供ODBC连接。 然后我尝试了火花。 但我仍然无法找到解决方案。
需要使用ODBC Driver在spark中连接关系数据库
我使用pymysql作为zip文件,将其添加到我的AWS Glue作业中。 然后我在我的AWS Glue中导入了pymysql库。 希望您也可以按照相应的RDBMS进行操作。 由于信息不完全可用,我假设你想读/写rdbms。 以下是我连接到AWS RDS的示例代码。
import pymysql
rds_host = "rds.url.aaa.us-west-2.rds.amazonaws.com"
name = "username"
password = "userpwd"
db_name = "dbname"
conn = pymysql.connect(rds_host, user=name, passwd=password, db=db_name, connect_timeout=5)
with conn.cursor() as cur:
cur.execute("select * from your table query)
result = cur.fetchall()
for row in result:
print("Column1 value=>: ", row[0])
conn.commit()
cur.close()
如果您需要任何进一步的指示,请告诉我,如果这是您正在寻找的。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.