[英]How do I make parallel HTTP requests in Perl, and receive them back in order?
使用Perl,我正在寻找一种简单的方法来并行执行少量HTTP请求,在这里我得到的响应与我们在完成后发送的顺序相同,例如:
my ($google, $perl) = foobar(GET => 'http://www.google.com/',
GET => 'http://www.perl.org/');
我应该看一个模块吗?
我知道我可以做手工记账,但我能做到这一点使用后感觉被宠坏的jQuery的when
方法 ,我很想有使用Perl一样简单的解决方案。
谢谢你的帮助。
use threads;
use LWP::UserAgent qw( );
my $ua = LWP::UserAgent->new();
my @threads;
for my $url ('http://www.google.com/', 'http://www.perl.org/') {
push @threads, async { $ua->get($url) };
}
for my $thread (@threads) {
my $response = $thread->join;
...
}
最好的部分是父母不等待所有请求完成。 一旦正确的请求完成,父母将解锁以处理它。
如果您使用Parallel :: ForkManager或其他您无法等待特定子项的其他内容,则可以使用以下代码对结果进行排序:
for my $id (0..$#urls) {
create_task($id, $urls[$id]);
}
my %responses;
for my $id (0..$#urls) {
if (!exists($responses{$id})) {
my ($id, $response) = wait_for_a_child_to_complete();
$responses{$id} = $response;
redo;
}
my $response = delete($responses{$id});
...
}
我是Mojo的粉丝! 从Mojo :: UserAgent文档:
use Mojo;
use Mojo::UserAgent;
# Parallel requests
my $ua = Mojo::UserAgent->new;
$ua->max_redirects(5);
my $delay = Mojo::IOLoop->delay;
for my $url ('http://www.google.com/', 'http://www.perl.org/') {
$delay->begin;
$ua->get($url => sub {
my ($ua, $tx) = @_;
$delay->end($tx->res->dom);
});
}
my @responses = $delay->wait;
print join "\n", @responses
请享用!
编辑
顺便说一句。 你不必在最后处理答案,你可以在两者之间进行:
# ...
$ua->get($url => sub {
my ($ua, $tx) = @_;
$delay->end(1);
# process $tx->res here
});
# ...
$delay->wait;
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.