在mysql中获取未读文章的数据库设计（超过100M行表）

Question

这些信息非常简洁。

有2个表。

文章

-----------------------------------
|id | weight | text               |
-----------------------------------
|1  | 10     | blah               |
|2  | 100    | blah               |
|3  | 50     | blah               |
|4  | 1000   | blah               |
-----------------------------------

读

-----------------------------------
| user_id | article_id            |
-----------------------------------
| 1       | 4                     |
| 1       | 2                     |
| 1       | 3                     |
| 2       | 3                     |
| 2       | 4                     |
-----------------------------------

我想使用以下查询获取未读文章（非常精简）

SELECT 
    a.* 
FROM 
    article a LEFT OUTER JOIN read r ON r.article_id = a.id and r.user_id = 1
WHERE 
    r.id IS NULL
ORDER BY
    a.weight DESC
LIMIT 10

重要信息

1. 每个用户read table行数保持在1000以下。 （删除旧数据）
2. 文章表中的权重列经常更改。 （这意味着订单没有修复）

问题是..（当用户数量：超过1M）

1. 使用read表获取未读文章的方法（不在，外连接并不重要）
   • read table行数将超过1G

到目前为止它工作得很好（当前读取表行数：100M）。 但我必须准备下一步，因为用户数量正在迅速增加。

在这种情况下，大型服务的最佳方式是什么？

（分片？分区表？或重新设计架构？）

提前致谢

Answer 1

• 在article添加一列。 这将是一个标志，说明文章是否已读/未读。 （不要将其设置为用户数或时间戳;这将减慢后续步骤。）
• 每当用户阅读文章时，检查标志并在需要时进行更改。
• 有'INDEX（标志，重量，ID） - 这将让您的查询几乎立即运行。 这个百万行表应该没问题。

一个问题：由于你正在清除（1000之后），一些“阅读”文章可能会变成“未读”。 要处理此问题，请批量清除，并收集清除的文章列表。 然后做重新计算旗帜的繁琐任务，但仅适用于那些文章。 INDEX(article_id)会有所帮助; 使用EXISTS ( SELECT * FROM read WHERE article_id = $aid ) 。 （这可能会变成批处理操作，而不是一次一个援助。）

另一个问题：亿行表上的二级密钥成本很高 - 它们可能导致大量I / O. 在尝试解决此问题之前，请为两个表以及任何其他常见SELECTs提供SHOW CREATE TABLE 。 选择正确的索引和数据类型对于十亿行表中的性能非常重要。

Answer 2

要点是，尽可能使用索引。

SELECT a.* 
FROM  a
LEFT JOIN read r 
  ON r.article_id = a.id and r.user_id =1 
WHERE r.id IS NULL 
ORDER BY a.weight DESC
LIMIT 10

编辑：您关心的是read表的数据大小，我们必须减少数据大小。 为此我们有多种选择：

• MySQL分区：在user_id范围内创建分区（每个分区可能是100K用户）
• 创建多个表：与分区类似，但您将拥有不同数据库中的数据（即使在不同的数据库服务器中）。 根据user_id，您将决定要加入的表/数据库。

此外，您可以考虑定期存档旧数据，并且应用程序应足够智能，以确定是否需要查询存档表或实时表。