从网站（在php中）抓取数据的最有效方法是什么？

Question

我试图从IMDB抓取数据，但是自然会有很多页面，并且以串行方式完成它花费的时间太长。 即使我使用多线程CURL。

有更快的方法吗？

是的，我知道IMDb提供文本文件，但它们不以任何理智的方式提供所有内容。

Answer 1

我已经用PHP进行了很多蛮力的抓取，并且顺序处理似乎很好。 我不确定对您有多长时间，但是在刮擦时我经常做其他事情。

通常情况下，没有什么东西依赖于我实时的抓取，而抓取的数据才是重要的，我通常会同时抓取并按摩它。

其他时候，我将使用狡猾的wget命令下拉站点并保存在本地。 然后，使用带有正则表达式魔术的PHP脚本提取数据。

我在PHP中使用curl_ *，效果很好。

您可能有一个父级工作，该工作分叉了子进程，为它们提供了要抓取的URL，这些子进程将在本地处理并保存数据（db，fs等）。 父级负责确保同一网址不会被处理两次，子级不会挂起。

在Linux上很容易做到（pcntl_，fork等），而在Windows上则很难。

您还可以添加一些逻辑以查看上次修改时间和（以前存储的），如果内容没有更改或已经拥有，则跳过抓取页面。 您可能会执行许多优化技巧。

Answer 2

如果您正确地将cURL与curl_multi_add_handle和curl_multi_select结合使用，则无能为力。 您可以进行测试以找到为系统处理的最佳句柄数。 太少了，您将使带宽闲置，太多，并且您将浪费太多时间切换句柄。

您可以尝试使用master-worker多进程模式来使许多脚本实例并行运行，每个脚本实例都使用cURL来获取并稍后处理页面块。 像http://gearman.org/?id=gearman_php_extension之类的框架可以帮助创建优雅的解决方案，但是在Unix上使用过程控制功能或在后台调用脚本（通过系统外壳或通过非阻塞HTTP）也可以正常工作。