优化现有MySQL数据的批量更新性能

Question

我正在尝试执行大约200,000个现有MySQL行的批量更新。 更具体地说，我需要更新这些行中的八个空LONG BLOB字段，每个字段都有一个〜0.5 Mb的文件（使用LONG BLOB的原因是，在某些特殊情况下，存储的文件很大；但是，在批量处理中不考虑这些文件）更新）。 需要插入的文件存储在本地磁盘上。

我正在使用编写的MATLAB脚本来遍历存储这些文件的每个文件夹，读取文件并将它们转换为十六进制表示，然后执行UPDATE查询以用每一行的八个文件更新八列。

最初，一切运行得很快。 但是，我注意到在完成几千次查询后，事情真的开始放慢了速度。 我做了一些有关优化MySQL和InnoDB系统变量的研究，并将innodb_buffer_pool_size增加到25G，将innodb_buffer_pool_instances增加到25。

进行此修改后，情况再次加速，但在又进行了数千次查询后速度下降了。 我做了更多的研究，并试图弄乱其他一些变量，例如innodb_log_buffer_size和innodb_log_file_size都增加到100M只是为了看看会发生什么。 我还将innodb_write_io_threads和innodb_read_io_threads设置为16，因为我正在具有32 GB RAM的相当高端的服务器上运行所有这些程序。 不幸的是，这些修改没有多大帮助，现在我陷入了每次查询都需要花费几分钟才能完成的问题。

有人对我如何优化此过程并使其尽快运行有任何建议或想法吗？

谢谢，

乔

Answer 1

innodb_buffer_pool_instances = 8可能会以较少的开销满足您的需求。

innodb_log_buffer_size = 10M在内存中已累积10M之后写入innodb_log_file之前会“缓冲”。 缓冲区* 10 =日志文件大小的比率是合理的。

当innodb_log_buffer_size与innodb_log_file_size相同时，实际上没有缓冲。 使buffer_size小于日志文件的大小。