在命令行中流式传输文件

Question

我想将一个非常大的sql文件导入到我的测试数据库服务器中，该文件约为50GB。 问题是如果我执行mysql -uuser -p < sqlfile.sql ，由于文件加载时间本身会花费很长的时间。

因此，我想使用split -bytes=100M将文件分割成100MB左右的很小的块，但问题是SQL语句将对齐（拆分的插入语句跨越文件边界），所以拆分不会。

现在我的问题是，有什么办法可以在命令行中流式传输多个文件？ 就像是

mysql -user -p <1.sql < 2.sql < 3.sql等，如果可能的话，我将能够执行一些shell脚本操作-fu以使用xargs并使用for循环对a中的所有文件执行此操作目录？

编辑：我试图拆分文件由此文章， 如何将大sql文件导入mysql表中 。 看来问题和我的一样。 好吧，测试服务器为8 GB Xeon Quadcore，我在另一台服务器上使用20 Core 144GB尝试了相同的测试，并在11小时运行时间上完美完成（共享一个服务器并进行大量CPU / RAM密集型工作... ）。 测试服务器，该过程尚未完成但尚未完成。 所以我想这是RAM + File加载的开销。 如果我错了，请纠正我。

Answer 1

问题是如果我执行mysql -uuser -p < sqlfile.sql ，由于文件加载时间本身会花费很长的时间。

像这样重定向文件时，没有“加载时间”。 MySQL可以根据需要快速读取文件。 没有开销。 拆分文件不会给您带来任何形式的加速。 这是最快的。

现在我的问题是，有什么办法可以在命令行中流式传输多个文件？

这比将文件分成一大块要慢，但是如果您确实想要，可以这样做：

cat 1.sql 2.sql 3.sql | mysql -uuser -p

或者，您也可以为每个文件分别运行mysql：

for file in *.sql; do mysql -uuser -p < "$file"; done