数亿数据后MySQL / MariaDB的插入速度缓慢

Question

我正在做一个项目，要求我生成数十亿个唯一代码。 目前，我将MariaDB与InnoDB引擎和python结合使用，以生成随机的唯一代码，每个生成周期插入一批5000个唯一的代码。

我的表结构：

row_id int              --primary key + autoincrement
unique_code varchar(10) --unique

问题：当我碰到5000亿个独特的代码时，插入变得非常缓慢，我仍然需要生成多达30亿个代码。 在达到如此高的记录之前，我可以在几个小时内插入300-400百万个唯一代码。

任何帮助将不胜感激，谢谢！

更新（19年1月22日）回答里克·詹姆斯的解决方案。 以下是生成代码的一些示例：

RLXT$CPS1Y
Y4P$9K70WO
PKSTY9M$FR
T$0VEFL2B1
RX4$MEKVQL

我的服务器具有32GB的RAM和相对较快的SAS硬盘，我认为它足以满足我的需要（不是吗？）。

以我的经验，TokuDB的插入速度较慢，并且在达到100m记录之前会遇到困难，因此我去了InnoDB。

至于我之前提到的事务：是的，一次插入5000条记录。 直到150m的代码，它是如此之快，之后我注意到速度随着记录的增长而逐渐下降。 现在我达到800m的代码，插入周期（5000个记录）需要10到15秒。

我使用自动增量ID来对记录进行排序和标记，因为这些代码将被传输到另一个数据库进行打印（生产）。 因此，我需要知道哪些代码已传输而哪些代码尚未传输。

我将等待进一步的答复，与此同时，我将尝试里克的建议 。 谢谢！

Answer 1

尝试使用MySQL INDEXES（如果您的服务器配置不是很好，则必须升级内存大小等）

Answer 2

给我们看一下前10个值的样本。

这就是为什么您可能会“碰壁”的原因...索引可以（在一个级别上）分为两种类型：

• 连续的，例如AUTO_INCREMENT值或TIMESTAMPs ，您可以按时间顺序甚至近似按时间顺序插入行。 这些值插入到表或索引的“末尾”，并且仅命中BTree的最后一个块（或几个块）。 通过仅将几个活动包含在所有块中，几乎不需要执行任何I / O。

• 随机值，例如UUID，MD5和其他“随机”值，大概包括您的值。 在这种情况下，要插入表/索引的“下一个”值不太可能仍会缓存在RAM中。 因此需要I / O。 虽然表不是太大，但是所有索引块都可以保存在RAM中，因此几乎不需要I / O。 但是，当索引大于缓存之后，添加“下一个”值的操作通常需要执行I / O。 您的过程将越来越慢。

该怎么办？

计划A：插入所有行后，添加“随机”索引。 添加索引将非常缓慢，但从长远来看可能会更快，因为它可以使用其他算法。

计划B：不要预先创建所有值。 而是在需要时创建下一个。

方案C：购买足够的RAM以将“随机”索引完全保留在RAM中。 （计划将索引大小设为原来的两倍。）

计划D：您尝试过TokuDB吗？ 我希望它在陷入严重麻烦之前能够生存更长的时间。 你的经验是什么？

您提到交易。 请详细说明。 您的意思是每5000码被INSERTed在一个事务？ 那可能是最佳的。

您使用什么字符集和排序规则作为唯一编号？ 您可能应该使用ascii和ascii_bin －为了提高速度并避免大小写折叠问题。

还有...关于如何生成它们的另一种想法。 由于您将生成唯一的代码，因此您无需再检查其唯一性：

将10个字符的字符串视为以整数的base-95编码形式编码的数字。 （或者您允许使用许多不同的字符）。 我们将顺序生成数字，将其转换为字符串，然后将其随机化。

“下一个”值被计算为超出“当前”值的随机值。 随机值必须介于1到某个增量之间，该增量可能约为10亿（这取决于您最终想要多少个数字，字符集等）。

将5K（或任何其他大小）的INSERT批次INSERT没有索引的MyISAM表中。

完成后，请执行以下操作：

CREATE TABLE real (
    id ... AUTO_INCREMENT, -- do you really need this??
    random CHAR(10), NOT NULL CHARSET ascii COLLATE ascii_bin,
    PRIMARY KEY(id),   -- what for?
    INDEX(random)   -- uniqueness has been checked
INSERT INTO real (random)
    SELECT random FROM myisam_table
        ORDER BY RAND();

这是如何执行的：

1. 从本质上是一个平面文件（MyISAM表）中获取所有“随机”字符串。
2. 使用Unix排序对其进行加扰。
3. INSERT它们插入到real表中，并按顺序创建顺序ids 。

注意：这将创建一个巨大的撤消表，因此请确保具有大量磁盘空间。

至于我对保留id ， UNIQUE等的评论，请提供有关您打算如何使用real ，以便我可以同意或反对他们的需求。

另一个计划

不要预先生成值。 取而代之的是，从大约14T的可能值中生成一个新值，检查是否存在重复，并在必要时生成另一个。 在该计划中，表格会根据需要逐渐增长，而不必为最初构建表格而费力。 取而代之的是，每当需要一个新的值时，就会花费一点努力（毫秒）。 可以将其包装在“存储的函数”中，以方便用户使用。

该表只有一列， unique_code CHAR(10) CHARSET ascii PRIMARY KEY 。