MySQL：UNION和许多ORDER BY RANDOM

Question

我试图为MySQL创建有效的SQL代码来获取一些值，但是以随机顺序和不同的数量。 问题是表格很大（约4米的行，约400 MB），我没有太多时间去做（现在每次尝试大约需要1-2分钟）。 此外，每列都有索引，但不是UNIQUE，它是字符串值，而不是auto-inc val。

我生成长SQL查询：

(SELECT fieldA,'id1' AS id FROM myTable WHERE (fieldB LIKE 'xxxx:%') ORDER BY RAND() LIMIT 7)
UNION ALL
(SELECT fieldA,'id2' AS id FROM myTable WHERE (fieldB ='123123') ORDER BY RAND() LIMIT 5)
etc...

我想只订购一次这个表（这需要花费很多时间）。 我已经尝试过了：

• 甚至临时表（没有成功，复制完整的表需要很长时间），
• MySQL UNION 2查询包含ORDER BY ，
• 如何通过其中一列快速重新排序MySQL表？ ，
• 如何通过单个查询快速从一个30k的MySQL表中选择3个随机记录？

我只有幸运的最后一个（III。来自OP的建议），但“魔术”数字16不会做一个技巧 - 这适用于较小的表，而不适用于约4000000行的表。

这是示例EXPLAIN的输出：

id  select_type     table   type    possible_keys   key     key_len     ref     rows    Extra   
1   PRIMARY     myTable     range   fieldB      fieldB      143     NULL    64198   Using where; Using temporary; Using filesort
2   UNION   myTable     ALL     NULL    NULL    NULL    NULL    4386943     Using where; Using temporary; Using filesort
3   UNION   myTable     range   fieldB      fieldB      143     NULL    34374   Using where; Using temporary; Using filesort
4   UNION   myTable     ref     fieldB      fieldB      143     const   1999    Using where; Using temporary; Using filesort
5   UNION   myTable     range   fieldB      fieldB      143     NULL    1   Using where; Using temporary; Using filesort    NULL
UNION RESULT    <union1,2,3,4,5>    ALL     NULL    NULL    NULL    NULL    NULL    

所以我的猜测是ORDER BY RAND是主要问题 - 它为每个UNION部件制作“使用临时;使用filesort”。

表定义：

CREATE TABLE IF NOT EXISTS `myTable` (
  `fieldA` varchar(42) NOT NULL,
  `XYZ` varchar(36) NOT NULL,
  `fieldB` varchar(47) NOT NULL,
  KEY `fieldA` (`fieldA`),
  KEY `XYZ` (`XYZ`),
  KEY `fieldB` (`fieldB`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8;

它只存储简单的短字符串，但存在很多字符串。

有什么建议，meaby有不同的方法吗？

@edit，现在我使用MySQL和PHP来实现它：

1. 我通过制作UNION来获取fieldB的所需值列表

    SELECT fieldB, "xxxx:%" AS orygLike FROM myTable WHERE fieldB LIKE "xxxx:%" GROUP BY fieldB 

   每个UNIONed查询的等等 - 仅适用于LIKE模式的那些，如果这是'='我已经知道哪个fieldB有效:)

2. 然后我能够制作fieldBVal => orygLIKE的映射数组（例如"xxxx:yyyy"=>"xxxx:%" ）

3. 我列出了可以使用的fieldA的所有ID，使用WHERE id IN (id1,id2,id3...) ID - 这样我就可以使用所有ID。 就在这里我将数组组合在一起，并使用array_rand选择随机ID。

4. 简单：

    SELECT * FROM myTable WHERE id IN (RndID1, RndID2, RndID3 etc...) 

它非常快，并给出了良好的结果:)

感谢fancyPants指向ID auto-inc字段

Answer 1

你有查询在那里扫描表的所有行。

从解释中查看此行

2   UNION   myTable     ALL     NULL    NULL    NULL    NULL    4386943     Using where; Using temporary; Using filesort

这也是一个巨大的性能杀手。 使用表别名可以确切地查看它是哪个查询，并查看是否可以通过调整索引来执行某些操作。

也许你也可以重写你的查询只对表进行一次排序，然后复合索引甚至比拥有这3个单独的索引更好。

尝试使用此查询（ 但请注意 ，它不保证您获得7行，其中fieldB像'xxx：％'和5行，fieldB ='123123'等等）：

SELECT 
fieldA, 
CASE WHEN fieldB LIKE 'xxxx:%' THEN 'id1'
     WHEN fieldB ='123123' THEN 'id2'
END AS id 
FROM myTable 
WHERE 
(fieldB LIKE 'xxxx:%') 
OR fieldB ='123123'
ORDER BY RAND() 
LIMIT 12 /*7 + 5*/

编辑：

“LIKE'％'”当然没用，因为它选择每一行。 它文学上说“给我任何东西”。 如果你想让它超快，这是一个想法：

添加如下列：

ALTER TABLE yourTableName ADD COLUMN id INT AUTO_INCREMENT PRIMARY KEY;

然后，您可以获得表格中最大的ID并预先计算您的randoms：

SET @my_max := (SELECT MAX(id) FROM yourTableName);
SET @r := RAND() * @my_max;
SELECT * FROM yourTable WHERE id >= @r LIMIT 1;

如果您需要更多，请再次执行此操作。 我做了>=和LIMIT 1而不是简单的id = @r ，以防你删除一些行。

至少这部分查询是快速的。