MySQL性能-500万行

Question

我在Mamp上有一个本地数据库，用于性能测试。 我的问题表有大约500万行。

这是我遇到的问题表：

 1  User_ID     int(11)                                     
 2  Skill_ID    int(11)                                         
 3  Matching    int(11)                                         
 4  Grade       int(11)     

索引是User_ID和Skill_ID。

这是我使用的查询：

  SELECT User_ID,COUNT(Matching),SUM(Matching)
   FROM Matching
   WHERE Skill_ID = 3 OR Skill_ID 5 OR Skill_ID = 18 ............
   GROUP BY User_ID
   ORDER BY SUM(Matching) DESC

我在测试站点上选择的技能越多，查询所花的时间就越多。 目前大约需要 第一技能提高1秒钟 ，并提高约1秒钟 。 每项选定技能0.25秒 。 因此，对于5种技能，我已经需要2秒钟以上的时间。

我已经创建了索引，并尝试在MySQL的my.cnf中进行许多不同的修改（增加key_buffer_size，启用query_cache，sort_buffer_size ......）

WAMP在我的Mac Book AIR 2012、4GB RAM，1.8 GHz双核Intel Core i5 Prozessor上运行。

该表是MyISAM。 我无法避免使用ORDER BY和COUNT和SUM函数，它们对于查询来说太重要了。

该表估计将增长到超过5000万个条目。

编辑：这是EXPLAIN命令的结果

• 1号
• select_type简单
• 表匹配
• 输入ALL
• Possible_Keys NULL
• 键为空
• key_len NULL
• 引用NULL
• 行5285936
• 在其他地方使用；使用临时； 使用文件排序

如何提高数据库的性能？我是否只需要更好的硬件？ 提前致谢！

编辑：现在与分区相同的表

Create table Matching2 (User_ID int,Skill_ID int,Matching int,Note int)
Partition by Range (Skill_ID) (
Partition S0 VALUES LESS THAN (10),
Partition S1 VALUES LESS THAN (20),
Partition S2 VALUES LESS THAN (30),
Partition S3 VALUES LESS THAN (40),
Partition S4 VALUES LESS THAN (50),
Partition S5 VALUES LESS THAN (60),
Partition S6 VALUES LESS THAN (70),
Partition S7 VALUES LESS THAN (80)
);  

->没有明显的性能改善！

Answer 1

实际上，您所能做的就是为查询添加覆盖索引，即您需要添加复合索引（Skill_Id，User_Id，Matching），并将WHERE条件更改为“ Skill_Id IN（3，5，18）” 。

Answer 2

如果您认为在接下来的几个月中该数据将增长到5000万，并且您已经完成了索引优化，则建议对该表进行分区。

您可以查看http://dev.mysql.com/doc/refman/5.5/en/partitioning-overview.html

从链接报价

由于满足给定WHERE子句的数据只能存储在一个或多个分区上，因此可以大大优化某些查询，该分区会自动从搜索中排除任何剩余的分区。

Answer 3

有一个非常强大但鲜为人知的技巧。 尝试执行以下操作以确保使用Skill_ID索引：

SELECT User_ID,COUNT(Matching),SUM(Matching)
FROM Matching
inner join (           select 3 as sid
             union all select 5 as sid
             union all select 18 as sid
           ) skills
on skills.sid = Matching.Skill_ID
GROUP BY User_ID
ORDER BY SUM(Matching) DESC