[英]How to improve performance of a mysql LOAD XML LOCAL INFILE table import?
對於mysql數據庫,我有一些XML轉儲文件。
pricing
表的一個表導入文件如下所示:
<database>
<table>
<row>
<id>5954017</id>
<foo>narf</foo>
<bar_id>1377</bar_id>
<price_single>800.00</price_single>
<price_double>1500.00</price_double>
<price_triple>2000.00</price_triple>
<price_quad>1900.00</price_quad>
<currency>USD</currency>
</row>
...
</table>
</database>
它有
$ xmllint --xpath "count(//row)" import.xml
223198
行,其大小為:
du -h import.xml
69M import.xml
我想通過mysql的LOAD XML
功能導入。 該表將始終被事先截斷。
MySQL [my_database]> LOAD XML LOCAL INFILE 'import.xml' INTO TABLE pricing ROWS IDENTIFIED BY '<row>' \G
它成功了,但是表導入似乎花費了很長時間:
Query OK, 223198 rows affected (1 hour 44 min 48.40 sec)
Records: 223198 Deleted: 0 Skipped: 0 Warnings: 0
我讀到人們正在使用LOAD INFILE功能導入千兆字節的數據,並且我希望它的性能要快得多,在幾分鍾之內,而不是幾小時。 我的期望錯了嗎? 對於這樣的200,000個條目的數據集來說,這是正常時間嗎?
(我還將這種速度與自定義的php導入腳本進行了比較,該腳本手動解析XML並逐行插入每一行;該任務需要45分鍾才能處理所有表。我期望LOAD XML LOCAL INFILE
的性能優於該任務。)
我的桌子看起來像這樣:
MySQL [my_database]> DESCRIBE pricing;
+----------------+--------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+----------------+--------------+------+-----+---------+-------+
| id | int(11) | NO | PRI | NULL | |
| foo | varchar(256) | YES | | NULL | |
| bar_id | int(11) | YES | | NULL | |
| price_single | float | YES | | NULL | |
| price_double | float | YES | | NULL | |
| price_triple | float | YES | | NULL | |
| price_quad | float | YES | | NULL | |
| currency | varchar(3) | YES | | NULL | |
+----------------+--------------+------+-----+---------+-------+
並通過以下方式創建:
DROP TABLE IF EXISTS `pricing`;
CREATE TABLE `pricing` (
`id` int(11) NOT NULL,
`foo` varchar(256) DEFAULT NULL,
`bar_id` int(11) DEFAULT NULL,
`price_single` float DEFAULT NULL,
`price_double` float DEFAULT NULL,
`price_triple` float DEFAULT NULL,
`price_quad` float DEFAULT NULL,
`currency` varchar(3) CHARACTER SET utf8 COLLATE utf8_bin DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8;
我該如何提高LOAD XML LOCAL INFILE
的性能?
將您的XML轉換為CSV文件,使導入幾乎立即完成。
您可以使用xsltproc
通過xslt轉換XML:
$ xsltproc transformToCsv.xsl price.xml > price.csv
"5954017"╡"narf"╡"1377"╡"800.00"╡"1500.00"╡"2000.00"╡"1900.00"╡"USD"
適當的xslt transformToCsv.xsl
如下所示:
<xsl:stylesheet version="1.0"
xmlns:xsl="http://www.w3.org/1999/XSL/Transform">
<xsl:output method="text"
encoding="utf-8"/>
<xsl:param name="delim"
select="'╡'"/>
<xsl:param name="quote"
select="'"'"/>
<xsl:param name="break"
select="' '"/>
<xsl:template match="/">
<xsl:apply-templates select="database/table/row"/>
</xsl:template>
<xsl:template match="row">
<xsl:apply-templates/>
<xsl:if test="following-sibling::*">
<xsl:value-of select="$break"/>
</xsl:if>
</xsl:template>
<xsl:template match="*">
<xsl:value-of select="concat($quote, normalize-space(), $quote)"/>
<xsl:if test="following-sibling::*">
<xsl:value-of select="$delim"/>
</xsl:if>
</xsl:template>
<xsl:template match="text()"/>
</xsl:stylesheet>
導入語法然后更改為:
$ mysql \
-h YOUR_MYSQL_HOST \
-P YOUR_PORT \
-uYOUR_USER \
-pYOUR_PASSWORD \
YOUR_DATABASE \
-e "LOAD DATA LOCAL INFILE 'pricing.csv' INTO TABLE pricing FIELDS TERMINATED BY '╡' ENCLOSED BY '\"' \G"
導入200,000個條目僅需幾毫秒。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.