[英]MySQL query with limit and large offset taking forever
我有一个使用下面的 PHP 脚本构建的目录,它使用分页来获得每页 1002 个结果。 问题是您进入页面越远,加载时间就越长。 例如,第 1 页的加载速度明显快于第 10,000 页。
我猜我的查询做错了,而不是只选择它应该被限制的 1002 个结果,它还循环遍历它之前的所有结果。 如果有人可以发布需要修复的代码,那就太好了!
感谢您的时间和帮助!
<?php include("websites/header.html"); ?>
<center>
<?php
/*
Place code to connect to your DB here.
*/
include('websites/database.php'); // include your code to connect to DB.
$tbl_name="list"; //your table name
// How many adjacent pages should be shown on each side?
$adjacents = 5;
/*
First get total number of rows in data table.
If you have a WHERE clause in your query, make sure you mirror it here.
*/
$query = "SELECT COUNT(*) as num FROM $tbl_name";
$total_pages = mysql_fetch_array(mysql_query($query));
$total_pages = $total_pages[num];
/* Setup vars for query. */
$targetpage = "websites.php"; //your file name (the name of this file)
$limit = 1002; //how many items to show per page
$page = $_GET['page'];
if($page)
$start = ($page - 1) * $limit; //first item to display on this page
else
$start = 0; //if no page var is given, set start to 0
/* Get data. */
$sql = "SELECT website FROM $tbl_name LIMIT $start, $limit";
$result = mysql_query($sql);
/* Setup page vars for display. */
if ($page == 0) $page = 1; //if no page var is given, default to 1.
$prev = $page - 1; //previous page is page - 1
$next = $page + 1; //next page is page + 1
$lastpage = ceil($total_pages/$limit); //lastpage is = total pages / items per page, rounded up.
$lpm1 = $lastpage - 1; //last page minus 1
/*
Now we apply our rules and draw the pagination object.
We're actually saving the code to a variable in case we want to draw it more than once.
*/
$pagination = "";
if($lastpage > 1)
{
$pagination .= "<div class=\"pagination2\">";
//previous button
if ($page > 1)
$pagination.= "<a href=\"$targetpage?page=$prev\">< previous</a>";
else
$pagination.= "<span class=\"disabled\">< previous</span>";
//pages
if ($lastpage < 7 + ($adjacents * 2)) //not enough pages to bother breaking it up
{
for ($counter = 1; $counter <= $lastpage; $counter++)
{
if ($counter == $page)
$pagination.= "<span class=\"current\">$counter</span>";
else
$pagination.= "<a href=\"$targetpage?page=$counter\">$counter</a>";
}
}
elseif($lastpage > 5 + ($adjacents * 2)) //enough pages to hide some
{
//close to beginning; only hide later pages
if($page < 1 + ($adjacents * 2))
{
for ($counter = 1; $counter < 4 + ($adjacents * 2); $counter++)
{
if ($counter == $page)
$pagination.= "<span class=\"current\">$counter</span>";
else
$pagination.= "<a href=\"$targetpage?page=$counter\">$counter</a>";
}
$pagination.= "...";
$pagination.= "<a href=\"$targetpage?page=$lpm1\">$lpm1</a>";
$pagination.= "<a href=\"$targetpage?page=$lastpage\">$lastpage</a>";
}
//in middle; hide some front and some back
elseif($lastpage - ($adjacents * 2) > $page && $page > ($adjacents * 2))
{
$pagination.= "<a href=\"$targetpage?page=1\">1</a>";
$pagination.= "<a href=\"$targetpage?page=2\">2</a>";
$pagination.= "...";
for ($counter = $page - $adjacents; $counter <= $page + $adjacents; $counter++)
{
if ($counter == $page)
$pagination.= "<span class=\"current\">$counter</span>";
else
$pagination.= "<a href=\"$targetpage?page=$counter\">$counter</a>";
}
$pagination.= "...";
$pagination.= "<a href=\"$targetpage?page=$lpm1\">$lpm1</a>";
$pagination.= "<a href=\"$targetpage?page=$lastpage\">$lastpage</a>";
}
//close to end; only hide early pages
else
{
$pagination.= "<a href=\"$targetpage?page=1\">1</a>";
$pagination.= "<a href=\"$targetpage?page=2\">2</a>";
$pagination.= "...";
for ($counter = $lastpage - (2 + ($adjacents * 2)); $counter <= $lastpage; $counter++)
{
if ($counter == $page)
$pagination.= "<span class=\"current\">$counter</span>";
else
$pagination.= "<a href=\"$targetpage?page=$counter\">$counter</a>";
}
}
}
//next button
if ($page < $counter - 1)
$pagination.= "<a href=\"$targetpage?page=$next\">next ></a>";
else
$pagination.= "<span class=\"disabled\">next ></span>";
$pagination.= "</div>\n";
}
?>
<?php
$i = 0;
echo '<table style="table-layout:fixed; width:1050px;"><tr>';
while($row = mysql_fetch_array($result))
{
$i ++;
if ($i<=3)
{
echo '<td style="word-wrap: break-word;">
<div><a href="http://www.mywebsite.com/check.php?site='.strtolower($row[website]).'">'.strtolower($row[website]).'</a></div>
</td>';
}
else
{
echo '</tr><tr>';
echo '<td style="word-wrap: break-word;"><div><a href="http://www.mywebsite.com/check.php?site='.strtolower($row[website]).'">'.strtolower($row[website]).'</a></div></td>';
$i = 0;
$i++;
}
}
echo '</tr></table>';
?>
<?=$pagination?>
</center>
<?php include("websites/footer.html"); ?>
在大多数数据库中,带偏移量的 LIMIT 非常慢(我已经找到了 一些关于 MySQL 的文档,我正在尝试找到一篇我前段时间阅读的非常好的文章,为 SQLite 解释了这一点)。 原因是它通常是这样实现的:
LIMIT
子句不存在一样这意味着如果您执行LIMIT 10000, 10
,它将被解释为:
有一个微不足道的优化,您至少可以对前 10,000 个结果使用索引,因为您不关心它们的值,但即使在这种情况下,数据库仍然需要遍历 10,000 个索引值,然后才能为您提供 10 个结果。 可能有进一步的优化可以改善这一点,但在一般情况下,您不希望将LIMIT
与大值的偏移量一起使用。
我所知道的处理分页的最有效方法是跟踪最后一个索引,因此如果第一页以id = 5
结束,则使您的下一个链接具有WHERE id > 5
(当然有LIMIT x
) .
编辑:找到了SQLite的文章。 我强烈建议您阅读本文,因为它解释了在 SQL 中做事的正确方法™。 由于 SQLite 的人真的很聪明,而其他数据库也有同样的问题,我假设 MySQL 以类似的方式实现了这一点。
另一个经常出现的错误是程序员试图使用 LIMIT 和 OFFSET 来实现滚动窗口。 这里的想法是,您首先只记住显示中顶部条目的索引并运行如下查询:
SELECT title FROM tracks WHERE singer='Madonna' ORDER BY title LIMIT 5 OFFSET :index
索引初始化为 0。要向下滚动,只需将索引增加 5 并重新运行查询。 要向上滚动,请将索引减少 5 并重新运行。
以上将实际工作。 问题是当索引变大时它会变慢。 OFFSET 在 SQLite 中的工作方式是它导致 sqlite3_step() 函数忽略它看到的第一个 :index 断点。 因此,例如,如果 :index 是 1000,那么您实际上是在读取 1005 个条目,而忽略了除最后 5 个之外的所有条目。最终效果是随着您在列表中越来越低,滚动开始变得缓慢。
充其量,您的表t_limit
具有唯一的索引主键id
。 然后检查这个
SELECT l.*
FROM (
SELECT id
FROM t_limit
ORDER BY
id
LIMIT 10000, 10
) o
JOIN t_limit l
ON l.id = o.id
ORDER BY
l.id
如果您相信MySQL ORDER BY / LIMIT 性能:EXPLAIN EXTENDED 处的延迟行查找,这个技巧可以将限制 + 偏移查询速度提高 100 倍以上。
主要技巧是尽可能早地在查询中限制数据,理想情况下使用最快的(主)键。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.