使用WWW :: Mechanize :: Firefox下载网页

Question

我正在尝试使用WWW::Mechanize::Firefox抓取一个网站，但是每当我尝试获取数据时，它就会显示JavaScript代码，而我所需的数据不在那儿。 如果我检查Mozilla上的元素，则需要的数据就在那里。

这是我当前的代码：

#!/usr/bin/perl

use 5.010;
use strict;
use warnings;

use WWW::Mechanize::Firefox;

my $mech = WWW::Mechanize::Firefox->new();

$mech->get('link_goes_here');
$mech->allow( javascript => 0 );
$mech->content_encoding();
$mech->save_content('source.html');

Answer 1

好。 因此，您拥有一个使用Javascript构建其内容的页面。 大概是因为您选择使用WWW :: Mechanize :: Firefox而不是WWW :: Mechanize，因为它支持使用Javascript构建的渲染页面。

但是，在创建Mechanize对象时，您明确关闭了Javascript支持。

$mech->allow( javascript => 0 );

我无法检验该理论，因为您没有告诉我们您使用的是哪个URL，但是我敢打赌，如果将该行更改为：

$mech->allow( javascript => 1 );