Pandas - CSV 到 SQL 数据库

Question

我对这一切真的很陌生，我目前正在做一些可以扩展我的技能和理解的事情，所以我很感激一些帮助。

我有一个大型 csv 文件，我想将其读入 pandas 数据框，然后将内容推送到已创建的由多个实体组成的 mariadb 数据库。 目前，我正在尝试使用 to_sql() function。 运行该脚本似乎实际上并未将任何数据从 dataframe 推送到数据库中的实体，因为它在运行后仍然为空。

仅供参考，dataframe 包含多个列，我只想将其中一些列推送到相关实体。

任何指针都非常感谢！

conn = sqlalchemy .create_engine("mysql://root:@127.0.0.1:3306")  
cur = conn.cursor()

cur.execute(databse = "pollution")

sites= """CREATE TABLE IF NOT EXISTS `sites`
  (`siteID` INT(20) NOT NULL,
  `Location` VARCHAR(48) NULL,
  `geo_point_2d` VARCHAR(150) NULL,
  PRIMARY KEY (`siteID`))"""

cur.execute(sites)

df = pd.read_csv("data.csv", sep=",", parse_dates ["DateTime","DateStart","DateEnd"],low_memory=False)

df.to_sql('sites', conn, if_exists='append',index=False)
conn.commit()

Answer 1

创建表后尝试提交执行。

cur.execute(sites)

conn.commit

Answer 2

看起来它可能会失败，因为您正在尝试插入不属于站点->“DateTime”、“DateStart”、“DateEnd”中描述的架构的列。

如果你不能让它与 pd.to_sql() 命令一起工作，这里有一个解决方法。 您需要创建一个表 object。 如果它是一个已经存在的数据库表，请确保将 'autoload_with' = 设置为您的引擎（我认为这对您来说是 'conn'）。

将 dataframe 转换为以记录列表（字典列表）为导向的字典，每一行都是自己的字典。 每个键都是列名，值是与列对应的特定行值。

然后，您只需将字典列表插入数据库即可。

engine = sqlalchemy .create_engine("mysql://root:@127.0.0.1:3306")  
cur = engine.cursor()

cur.execute(databse = "pollution")

sites= """CREATE TABLE IF NOT EXISTS `sites`
  (`siteID` INT(20) NOT NULL,
  `Location` VARCHAR(48) NULL,
  `geo_point_2d` VARCHAR(150) NULL,
  PRIMARY KEY (`siteID`))"""

cur.execute(sites)


df = pd.read_csv("data.csv", sep=",", parse_dates ["DateTime","DateStart","DateEnd"],low_memory=False)

metadata_obj = MetaData()
records = df.to_dict(orient='records')
#note rather than creating a sql string you can also create the Table as a table object
sites = Table('sites', metadata_obj, autoload_with =conn)


with engine.connect() as conn:
   conn.execute(sites.insert(),records)

我还认为，如果您通读 sqlalchemy-core文档会有所帮助。