[英]remote mysql inseting tables in loop very slow
我試圖在循環中插入文本文件中的大量項目。 循環顯然是一個while循環發送一個命令sendtodb文本文件的每一行。 使用本地數據庫這是非常快的(190萬個插件需要大約4個小時),但是當在遠程mysql服務器上執行此操作時,它會像每秒一次插入一樣,這需要數天或數周! 有什么想法嗎?
private void sendtodb(string image, string title, string content, int cat)
{
string cs = @"the connection string";
MySqlConnection conn = null;
conn = new MySqlConnection(cs);
conn.Open();
try
{
MySqlCommand cmd = new MySqlCommand("", conn);
cmd.CommandText = "INSERT INTO wp_posts (post_author, post_date, post_date_gmt, post_content, post_title, post_excerpt,post_status,comment_status,ping_status,post_password,post_name,to_ping,pinged,post_modified,post_modified_gmt,post_content_filtered,post_parent, guid,menu_order,post_type,post_mime_type,comment_count) "
+ "VALUES (@post_author, @post_date, @post_date_gmt, @post_content, @post_title, @post_excerpt,@post_status,@comment_status,@ping_status,@post_password,@post_name,@to_ping,@pinged,@post_modified,@post_modified_gmt,@post_content_filtered,@post_parent, @guid, @menu_order, @post_type, @post_mime_type, @comment_count)";
// cmd.Parameters.Add("?ID", MySqlDbType.VarChar).Value = "1";
cmd.Parameters.Add("@post_author", MySqlDbType.Int32).Value = 1;
cmd.Parameters.Add("@post_date", MySqlDbType.DateTime).Value = DateTime.Now;
cmd.Parameters.Add("@post_date_gmt", MySqlDbType.DateTime).Value = DateTime.Now;
cmd.Parameters.Add("@post_content", MySqlDbType.Text).Value = content;
cmd.Parameters.Add("@post_title", MySqlDbType.Text).Value = title;
cmd.Parameters.Add("@post_excerpt", MySqlDbType.VarChar).Value = "";
cmd.Parameters.Add("@post_status", MySqlDbType.VarChar).Value = "publish";
cmd.Parameters.Add("@comment_status", MySqlDbType.VarChar).Value = "open";
cmd.Parameters.Add("@ping_status", MySqlDbType.VarChar).Value = "open";
cmd.Parameters.Add("@post_password", MySqlDbType.VarChar).Value = "";
cmd.Parameters.Add("@post_name", MySqlDbType.VarChar).Value = "";
cmd.Parameters.Add("@to_ping", MySqlDbType.Text).Value = "";
cmd.Parameters.Add("@pinged", MySqlDbType.Text).Value = "";
cmd.Parameters.Add("@post_modified", MySqlDbType.DateTime).Value = DateTime.Now;
cmd.Parameters.Add("@post_modified_gmt", MySqlDbType.DateTime).Value = DateTime.Now;
cmd.Parameters.Add("@post_content_filtered", MySqlDbType.LongText).Value = "";
cmd.Parameters.Add("@post_parent", MySqlDbType.Int32).Value = 0;
cmd.Parameters.Add("@guid", MySqlDbType.VarChar).Value = "";
cmd.Parameters.Add("@menu_order", MySqlDbType.Int32).Value = 0;
cmd.Parameters.Add("@post_type", MySqlDbType.VarChar).Value = "post";
cmd.Parameters.Add("@post_mime_type", MySqlDbType.VarChar).Value = "";
cmd.Parameters.Add("@comment_count", MySqlDbType.Int32).Value = 0;
cmd.ExecuteNonQuery();
cmd.CommandText = "select * from wp_posts order by ID desc LIMIT 1";
MySqlDataReader dataReader = cmd.ExecuteReader();
int idcolumn = 0;
while (dataReader.Read())
{
idcolumn = Convert.ToInt32(dataReader["ID"]);
}
dataReader.Close();
cmd.CommandText = "INSERT INTO wp_postmeta (post_id,meta_key,meta_value)" + "VALUES (@post_id,@meta_key,@meta_value)";
cmd.Parameters.Add("@post_id", MySqlDbType.Int32).Value = idcolumn;
cmd.Parameters.Add("@meta_key", MySqlDbType.VarChar).Value = "Image";
cmd.Parameters.Add("@meta_value", MySqlDbType.LongText).Value = image;
cmd.ExecuteNonQuery();
cmd.CommandText = "INSERT INTO wp_term_relationships (object_id,term_taxonomy_id,term_order)" + "VALUES (@object_id,@term_taxonomy_id,@term_order)";
cmd.Parameters.Add("@object_id", MySqlDbType.Int32).Value = idcolumn;
cmd.Parameters.Add("@term_taxonomy_id", MySqlDbType.Int32).Value = cat;
cmd.Parameters.Add("@term_order", MySqlDbType.Int32).Value = 0;
cmd.ExecuteNonQuery();
textBox4.Text = idcolumn.ToString();
textBox2.Text = "MySQL version : " + conn.ServerVersion;
}
catch (MySqlException ex)
{
textBox2.Text = ex.ToString();
}
finally
{
if (conn != null)
{
conn.Close();
}
}
}
這是一個龐大的wordpress數據庫
您應該連接到代碼之外的數據庫。 現在你正在進行一次連接 - 每次插入,這是非常低效的。
步驟應該是:
connection to database
while(have data) {
use connection to insert data
}
disconnect from database
您是否嘗試在一個mysql請求中插入多行?
INSERT INTO example
(example_id, name, value, other_value)
VALUES
(100, 'Name 1', 'Value 1', 'Other 1'),
(101, 'Name 2', 'Value 2', 'Other 2'),
(102, 'Name 3', 'Value 3', 'Other 3'),
(103, 'Name 4', 'Value 4', 'Other 4');
由於您使用服務器端代碼插入查詢,您在連接上浪費了太多時間,來回發送數據,因此您需要一個本地的SQL端解決方案。
只需創建一個sql文件,其中填寫了需要插入的查詢;
並使用此處記錄的SOURCE
語法將其加載到mysql服務器上。 這將確保以最快的方式插入這些行,因為您不會浪費任何寶貴的時間在服務器端代碼上。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.