使用PHP curl_multi的异步/并行HTTP请求

Question

我最近研究了用curl发出多个请求的可能性。 我可能没有完全理解它，所以我只是希望澄清一些概念。

如果您从多个来源获取内容，这绝对是一个不错的选择。 这样，您可以从更快的服务器开始处理结果，同时仍然等待较慢的服务器。 如果您从同一台服务器请求多个页面，是否仍然有意义使用它？ 服务器当时是否仍然为同一个客户端提供多个页面？

Answer 1

您不能在PHP中执行多线程，因此您将无法开始处理一个页面而其他页面仍在检索中。 在检索到所有页面或超时之前，多卷曲不会返回控制。 因此，需要花费尽可能长的时间来检索最慢的页面。 您将从串行（curl）转为并行（multi_curl），这仍然会给您带来很大的提升。

服务器将为同一客户端提供多个页面，直至达到某个配置限制。 从服务器请求5-10页是没问题的。

Answer 2

看看这个 ，这家伙制作了一个与curl_multi异步的脚本。 我用它玩了几个小时，它工作正常。

Answer 3

认为大多数或所有服务器一次向同一客户端提供多个页面。 您可以为连接设置合理的超时，然后如果连接失败，将其推送到连接阵列，以便在所有其他连接完成后重试。 这样你就可以一次至少获得一个，即使它总是试图得到几个。 那有意义吗？ :)

Answer 4

如果有太多的连接或请求来自它认为是同一客户端的某些服务器，则可能会将某些服务器配置为具有防御性。 它可能会执行诸如放弃/拒绝连接，将带宽限制为所有连接之间的某些总计或其他内容。

无论如何，要考虑到您希望将网络爬虫考虑到您的网站，并尽量不要同时轰炸单个服务器。

如果你需要从5个不同的服务器获取5个页面，那么如果你使用1个连接到每个服务器直到完成，你就更有可能完成比你完成5个连接到1个服务器。