MySQL：选择随机条目，但对某些条目加权

Question

我有一个 MySQL 表，里面有一堆条目，还有一个名为“乘数”的列。 此列的默认（也是最常见的）值为 0，但它可以是任何数字。

我需要做的是从该表中随机选择一个条目。 但是，根据“乘数”列中的数字对行进行加权。 值为 0 意味着它根本没有加权。 值为 1 意味着它的权重是原来的两倍，就好像条目在表中出现了两次一样。 值 2 表示它的权重是其三倍，就好像条目在表中的三倍一样。

我正在尝试修改我的开发人员已经给我的内容，如果设置没有多大意义，那么抱歉。 我可能会更改它，但希望尽可能多地保留现有的表设置。

我一直试图弄清楚如何使用 SELECT 和 RAND() 来做到这一点，但不知道如何进行加权。 是否可以？

Answer 1

这个人问了同样的问题。 他和弗兰克说的一样，但权重不正确，在评论中有人建议使用ORDER BY -LOG(1.0 - RAND()) / Multiplier ，这在我的测试中给出了非常完美的结果。

（如果有任何数学家想解释为什么这是正确的，请启发我！但它有效。）

缺点是您无法将权重设置为 0 以暂时禁用选项，因为您最终会被零除。 但是你总是可以用WHERE Multiplier > 0过滤掉它。

Answer 2

为了获得更好的性能（特别是在大表上），首先索引权重列并使用以下查询：

SELECT * FROM tbl AS t1 JOIN (SELECT id FROM tbl ORDER BY -LOG(1-RAND())/weight LIMIT 10) AS t2 ON t1.id = t2.id

在 40MB 表上，通常的查询在我的 i7 机器上需要 1s ，而这个需要 0.04s 。

有关为什么这更快的解释，请参阅MySQL 从 600K 行中快速选择 10 个随机行

Answer 3

不要使用 0、1 和 2，而是使用 1、2 和 3。然后您可以将此值用作乘数：

SELECT * FROM tablename ORDER BY (RAND() * Multiplier);

Answer 4

好吧，我会把权重的逻辑放在 PHP 中：

<?php
    $weight_array = array(0, 1, 1, 2, 2, 2);
    $multiplier = $weight_array[array_rand($weight_array)];
?>

和查询：

SELECT *
FROM `table`
WHERE Multiplier = $multiplier
ORDER BY RAND()
LIMIT 1

我认为它会起作用:)

Answer 5

虽然我意识到这是一个关于 MySQL 的问题，但以下内容可能对使用SQLite3 的人有用， SQLite3的 RANDOM 和 LOG 实现略有不同。

SELECT * FROM table ORDER BY (-LOG(abs(RANDOM() % 10000))/weight) LIMIT 1;

weight 是表中包含整数的列（我使用 1-100 作为我表中的范围）。

SQLite 中的 RANDOM() 生成介于 -9.2E18 和 +9.2E18 之间的数字（有关更多信息，请参阅SQLite 文档）。 我使用模运算符来缩小数字范围。

abs() 将删除负数以避免 LOG 仅处理非零正数的问题。

LOG() 实际上并不存在于 SQLite3 的默认安装中。 我使用 php SQLite3 CreateFunction 调用在 SQL 中使用 php 函数。 有关这方面的信息，请参阅PHP 文档。

Answer 6

<?php
/**
 * Demonstration of weighted random selection of MySQL database.
 */
$conn = mysql_connect('localhost', 'root', '');

// prepare table and data.
mysql_select_db('test', $conn);
mysql_query("drop table if exists temp_wrs", $conn);
mysql_query("create table temp_wrs (
    id int not null auto_increment,
    val varchar(16),
    weight tinyint,
    upto smallint,
    primary key (id)
)", $conn);
$base_data = array(    // value-weight pair array.
    'A' => 5,
    'B' => 3,
    'C' => 2,
    'D' => 7,
    'E' => 6,
    'F' => 3,
    'G' => 5,
    'H' => 4
);
foreach($base_data as $val => $weight) {
    mysql_query("insert into temp_wrs (val, weight) values ('".$val."', ".$weight.")", $conn);
}

// calculate the sum of weight.
$rs = mysql_query('select sum(weight) as s from temp_wrs', $conn);
$row = mysql_fetch_assoc($rs);
$sum = $row['s'];
mysql_free_result($rs);

// update range based on their weight.
// each "upto" columns will set by sub-sum of weight.
mysql_query("update temp_wrs a, (
    select id, (select sum(weight) from temp_wrs where id <= i.id) as subsum from temp_wrs i 
) b
set a.upto = b.subsum
where a.id = b.id", $conn);

$result = array();
foreach($base_data as $val => $weight) {
    $result[$val] = 0;
}
// do weighted random select ($sum * $times) times.
$times = 100;
$loop_count = $sum * $times;
for($i = 0; $i < $loop_count; $i++) {
    $rand = rand(0, $sum-1);
    // select the row which $rand pointing.
    $rs = mysql_query('select * from temp_wrs where upto > '.$rand.' order by id limit 1', $conn);
    $row = mysql_fetch_assoc($rs);
    $result[$row['val']] += 1;
    mysql_free_result($rs);
}

// clean up.
mysql_query("drop table if exists temp_wrs");
mysql_close($conn);
?>
<table>
    <thead>
        <th>DATA</th>
        <th>WEIGHT</th>
        <th>ACTUALLY SELECTED<br />BY <?php echo $loop_count; ?> TIMES</th>
    </thead>
    <tbody>
    <?php foreach($base_data as $val => $weight) : ?>
        <tr>
            <th><?php echo $val; ?></th>
            <td><?php echo $weight; ?></td>
            <td><?php echo $result[$val]; ?></td>
        </tr>
    <?php endforeach; ?>
    <tbody>
</table>

如果要选择 N 行...

1. 重新计算总和。
2. 重置范围（“最多”列）。
3. 选择$rand指向的行。

在每个选择循环中都应排除先前选择的行。 where ... id not in (3, 5);

Answer 7

SELECT * FROM tablename ORDER BY -LOG(RAND()) / Multiplier;

是给你正确分布的那个。

SELECT * FROM tablename ORDER BY (RAND() * Multiplier);

给你错误的分布。

例如，表中有两个条目 A 和 B。 A 的权重为 100，而 B 的权重为 200。对于第一个（指数随机变量），它给您 Pr(A 获胜) = 1/3，而第二个给您 1/4，这是不正确的。 我希望我能向你展示数学。 但是我没有足够的代表来发布相关链接。

Answer 8

对于谷歌搜索这个主题的其他人，我相信你也可以这样做：

SELECT strategy_id
FROM weighted_strategies AS t1 
WHERE (
   SELECT SUM(weight) 
   FROM weighted_strategies AS t2 
   WHERE t2.strategy_id<=t1.strategy_id
)>@RAND AND 
weight>0
LIMIT 1

所有记录的权重总和必须是 n-1，@RAND 应该是一个介于 0 和 n-1 之间的随机值。

@RAND 可以在 SQL 中设置或从调用代码插入为整数值。

子选择将总结所有前面记录的权重，检查它是否超过了提供的随机值。

Answer 9

无论你做什么，都会很糟糕，因为它会涉及： * 将所有列的总“权重”作为一个数字（包括应用乘数）。 * 获得一个介于 0 和总数之间的随机数。 * 获取所有条目并运行它们，从随机数中减去权重并在项目用完时选择一个条目。

平均而言，您将沿着桌子的一半奔跑。 性能 - 除非表很小，然后在内存中的 mySQL 之外执行它 - 会很慢。

Answer 10

伪代码的结果(rand(1, num) % rand(1, num))将更多地趋向于 0，而趋向于 num 则更少。 从 num 中减去结果得到相反的结果。

所以如果我的应用程序语言是 PHP，它应该是这样的：

$arr = mysql_fetch_array(mysql_query(
    'SELECT MAX(`Multiplier`) AS `max_mul` FROM tbl'
));
$MaxMul = $arr['max_mul']; // Holds the maximum value of the Multiplier column

$mul = $MaxMul - ( rand(1, $MaxMul) % rand(1, $MaxMul) );

mysql_query("SELECT * FROM tbl WHERE Multiplier=$mul ORDER BY RAND() LIMIT 1");

对上面代码的解释：

1. 获取乘数列中的最大值
2. 计算随机乘数值（加权到乘数列中的最大值）
3. 获取具有该 Multiplier 值的随机行

也可以仅通过使用 MySQL 来实现。

证明伪代码(rand(1, num) % rand(1, num))权重为 0：执行以下 PHP 代码以了解原因（在此示例中，16 是最高数字）：

$v = array();

for($i=1; $i<=16; ++$i)
    for($k=1; $k<=16; ++$k)
        isset($v[$i % $k]) ? ++$v[$i % $k] : ($v[$i % $k] = 1);

foreach($v as $num => $times)
        echo '<div style="margin-left:', $times  ,'px">
              times: ',$times,' @ num = ', $num ,'</div>';

Answer 11

@ali 的答案效果很好，但您无法控制结果向更高或更低的权重倾斜的程度，您可以更改乘数，但这不是一种非常动态的方法。

我通过添加POWER(weight,skewIndex)而不是weight来优化代码，这使得更高的权重在 skewIndex 的值大于 1 时出现更多，而在 0 和 1 之间的值时出现更少。

SELECT * FROM tbl AS t1 JOIN (SELECT id FROM tbl ORDER BY -LOG(1-RAND())/POWER(weight,skewIndex) LIMIT 10) AS t2 ON t1.id = t2.id

您可以分析查询结果

SELECT AVG(weight) FROM tbl AS t1 JOIN (SELECT id FROM tbl ORDER BY -LOG(1-RAND())/POWER(weight,skewIndex) LIMIT 10) AS t2 ON t1.id = t2.id

例如，将 skewIndex 设置为 3 的平均值为 78%，而 skewIndex 为 1 的平均值为 65%