Pandas寫表到MySQL：“無法回滾”

Question

我需要幫助才能使這個工作。 我有一個pd.DataFrame (df) ，我需要加載到MySQL數據庫。 我不明白錯誤消息的含義以及如何解決它。

任何幫助將受到高度贊賞。

這是我試過的：

    import MySQLdb
    from pandas.io import sql

    #METHOD 1 
    db=MySQLdb.connect(host="***",port=***,user="***",passwd="***",db="***")
    df.to_sql(con=db, name='forecast', if_exists='replace', flavor='mysql')
    ##Also tried
    sql.write_frame(df, con=db, name='forecast', if_exists='replace', flavor='mysql')

   **DatabaseError**: Execution failed on sql: SHOW TABLES LIKE %s
   (2006, 'MySQL server has gone away')
   unable to rollback


   #METHOD 2: using sqlalchemy
   from sqlalchemy import create_engine

   engine =   create_engine("mysql+mysqldb://**username***:**passwd**@***host***:3306/**dbname**")
   conn = engine.raw_connection()
   df.to_sql(name='demand_forecast_t', con=conn,if_exists='replace',    flavor='mysql',index=False, index_label='rowID')
   conn.close()

錯誤消息是：

**OperationalError**: DatabaseError: Execution failed on sql: SHOW TABLES LIKE %s
(2006, 'MySQL server has gone away') unable to rollback

Answer 1

使用sqlalchemy時，您應該傳遞引擎而不是原始連接：

engine = create_engine("mysql+mysqldb://...")
df.to_sql('demand_forecast_t', engine, if_exists='replace', index=False)

不使用sqlalchemy寫入MySQL（因此指定flavor='mysql' ）已棄用。

當問題是你有一個太大的框架可以立即寫入時，你可以使用chunksize關鍵字（參見docstring ）。 例如：

df.to_sql('demand_forecast_t', engine, if_exists='replace', chunksize=10000)

Answer 2

我能夠解決這個問題。 我試圖將一個大表加載到MySQL中，結果導致錯誤。 一個簡單的for循環以塊的形式上傳數據解決了這個問題！ 非常感謝所有回復的人。

Answer 3

對我來說這是固定使用

MySQLdb.connect("127.0.0.1","root","","db" )

代替

MySQLdb.connect("localhost","root","","db" )

然后

df.to_sql('df',sql_cnxn,flavor='mysql',if_exists='replace', chunksize=100)

Answer 4

您可以使用mysql flavor（使用DBAPI連接）以下列方式在mysql表中編寫pandas數據幀

step1：安裝mysqldb模塊 - $ sudo apt-get install python-dev libmysqlclient-dev然后$ pip install MySQL-python

step2：與mysql import MySQLdb連接import MySQLdb con = MySQLdb.connect("hostname","username","password","databasename")

step3：使用df.to_sql df.to_sql('TableName',con = con,flavor='mysql',if_exists='replace', chunksize=100)在mysql表中編寫pandas數據幀