在Perl中，如何将URL列表从文件流式传输到数组中，然后以递归方式在单个文件中获取其所有HTML数据？

Question

另一个麻烦的标题...对不起...总之，我有一个名为mash.txt的文件， mash.txt包含许多这样的URL：

http://www...

http://www...

http://www...

.

.

.

因此，在这一点上，我想将这些（URL）馈入一个数组中（可能不必沿途声明任何内容），然后递归地从每个数组中吸取HTML数据并将其全部附加到相同的位置文件-我想必须创建该文件...总之，谢谢。

---

实际上，要完全实现，我希望通过设计将每个HTML标记中option标记下的值（ value ）与该文档进行匹配，因此我没有所有的垃圾...也就是说，每个

http://www...

会产生这样的东西

<!DOCTYPE html>
<HTML>
   <HEAD>
      <TITLE>
         DATA! 
      </TITLE>
   </HEAD>
<BODY>
.
.
.

我想要的只是这些mash.txt中每个HTML中的option标记下的value名称。

Answer 1

以下内容为mash.txt中每个URL提取HTML内容，检索所有选项中的所有值，并将它们推入单个数组中。 然后将结果数组传递到input.template，并将处理后的输出写入到output.html：

#!/usr/bin/perl
use strict;
use warnings;
use LWP::UserAgent;
use HTML::TreeBuilder;
use Template;

my %values;
my $input_file     = 'mash.txt';
my $input_template = 'input.template';
my $output_file    = 'output.html';

# create a new lwp user agent object (our browser).
my $ua = LWP::UserAgent->new( );

# open the input file (mash.txt) for reading.
open my $fh, '<', $input_file or die "cannot open '$input_file': $!";

# iterate through each line (url) in the input file.
while ( my $url = <$fh> )
{
    # get the html contents from url. It returns a handy response object.
    my $response = $ua->get( $url );

    # if we successfully got the html contents from url.
    if ( $response->is_success ) 
    {
        # create a new html tree builder object (our html parser) from the html content.
        my $tb = HTML::TreeBuilder->new_from_content( $response->decoded_content );

        # fetch values across options and push them into the values array.
        # look_down returns an array of option node objects, which we translate to the value of the value attribute via attr upon map.
        $values{$_} = undef for ( map { $_->attr( 'value' ) } $tb->look_down( _tag => 'option' ) );
    }
    # else we failed to get the html contents from url.
    else 
    {
        # warn of failure before next iteration (next url).
        warn "could not get '$url': " . $response->status_line;
    }
}

# close the input file since we have finished with it.
close $fh;

# create a new template object (our output processor).
my $tp = Template->new( ) || die Template->error( );

# process the input template (input.template), passing in the values array, and write the result to the output file (output.html).
$tp->process( $input_template, { values => [ keys %values ] }, $output_file ) || die $tp->error( );

__END__

input.template可能类似于：

<ul>
[% FOREACH value IN values %]
    <li>[% value %]</li>
[% END %]
</ul>