[英]Write Pandas Dataframe to MYSQL database with SSH
我想使用pandas to_sql將數據幀寫入MYSQL表。 但是,我的連接需要SSH 。
我有一個成功的連接用pymysql執行查詢,但是能夠直接使用像to_sql這樣的函數會讓我的生活更容易直接推送這樣的數據。 請參閱下面的我正在使用的代碼。
from sshtunnel import SSHTunnelForwarder
import pymysql as db
import pandas as pd
import numpy as np
host = 'host'
localhost = 'localhost'
ssh_username = 'ssh_username'
private_key = '/path/'
# database variables
user='user'
password='password'
database='database'
#query function that works for pulling from database
def query(q):
with SSHTunnelForwarder(
(host, 22),
ssh_username=ssh_username,
ssh_private_key=private_key,
ssh_private_key_password="password",
remote_bind_address=(localhost, port)
) as server:
conn = db.connect(host=localhost,
port=server.local_bind_port,
user=user,
passwd=password,
db=database)
return pd.read_sql_query(q, conn)
# What you need to for to_sql
conn = db.connect(host=host,
port=port,
user=user,
password=password,
db=database)
# test df
np.random.seed(0)
number_of_samples = 10
frame = pd.DataFrame({
'feature1': np.random.random(number_of_samples),
'feature2': np.random.random(number_of_samples),
'class': np.random.binomial(2, 0.1, size=number_of_samples),
},columns=['feature1','feature2','class'])
# to_sql
frame.to_sql(con=conn, name='test_table', if_exists='replace', flavor='mysql')
我正在考慮將數據幀轉換為CSV文件,然后將其導入數據庫 。 如果你有任何線索如何使用像SSH的to_sql,請告訴我。
我最終使用本地端口轉發來解決這個問題。
這是我在終端中用於本地端口轉發的內容:
ssh -N -v SSH_user@SSH_host -L3306:127.0.0.1:3306
我使用sqlalchemy進行連接:
from sqlalchemy import create_engine
engine = create_engine("mysql://user:password@127.0.0.1:3306/db?charset=utf8"
df.to_sql(con=engine, name='test_table', if_exists='replace')
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.