生成大型XML提要时，PHP脚本占用大量CPU

Question

我有一个nginx + PHP + MySQL服务器。 MySQL有一个很大的数据库，里面有工作。 我正在运行的PHP脚本应该从数据库中检索所有作业，并输出包含所有作业的XML feed。 该脚本当前以这种方式组织

$arr = get_all_job_ids(); //returns 18k PHP array that is fueled by SELECT `id` FROM `jobs`;
foreach ($arr as $i=>$id){
    if ($i>9700){break;} //for debugging
    $job = get_job_by_id($id); //PHP array generated by SELECT `title`, desc, ... FROM `jobs` WHERE `id`=$id;
    $job_xml = replace_job_tags($job, $xml_template); //regular expressions
    echo $job_xml;
    flush();
}

该服务器上没有任何人，它仅用于实验，没有其他东西在运行。 首先，即使我做了一些工作，例如释放sql结果并明确清除PHP可能无法清除的所有内容，但整个内存消耗在循环中仍在不断增长。 它在flush（）之后下降，但没有回到迭代开始时的水平。

其次，更重要的是-运行时间和CPU负载完全不一致。 有时，可以在17秒内很好地生成9.7k作业供稿。 在这些情况下，请根据“顶部”和“显示完整的程序列表”； 在get_all_job_ids（）步骤期间，CPU短暂地飙升至100％，但随后趋于平静，并花费时间来逐个检索和flush（）作业。

但是在其他时候，php5-fpm和mysqld在初始id检索步骤和对单个作业的循环查询中都自己获取了所有CPU。 另外，即使按照“ SHOW FULL PROCESSLIST;”， 正在查询单个作业，http客户端永远不会获得任何输出，而是最终收到“ 504网关超时”。 经过相对较长的时间（分钟）后，mysqld和php5-fpm恢复正常。 另外，当我排除get_job_by_id（）步骤并在那里对数组进行硬编码时，一切都将顺利且顺利地运行。

我完全不知道是什么原因造成的，以及我可以尝试进一步揭示该问题的其他方式。 如果您有任何想法，我将很高兴听到它们！

Answer 1

为什么您需要先执行“ SELECT id from foo”，然后执行“ SELECT ... FROM foo where id = ...”-这里的大问题是，必须在一个查询中完成