如何為LWP :: RobotUA指定自己的robots.txt規則

Question

我編寫了一個腳本，使用LWP :: RobotUA檢查我自己的網站。 我希望避免經常請求我的robots.txt。

LWP :: RobotUA的rules參數應該允許我指定這些參數，但是我不理解如何為“允許所有頁面”傳遞什么。

my $ua = LWP::RobotUA->new(agent=>'my-robot/0.1', from=>'me@foo.com', rules=> ??? );

Answer 1

LWP :: RobotUA是添加了robots.txt支持的LWP :: UserAgent。 如果您不想請求robots.txt ，則只需使用LWP :: UserAgent。

或者，將LWP :: RobotUA子類化，並覆蓋simple_request方法，並simple_request robots.txt和規則處理。

Answer 2

經過更多研究，我認為提供機器人規則的預期方法是將WWW :: RobotRules子類化。

{
    package WWW::NoRules;
    use vars qw(@ISA);
    use WWW::RobotRules;
    @ISA = qw(WWW::RobotRules::InCore);

    sub allowed {
        return 1;
    }
}

my $ua = LWP::RobotUA->new(agent=>'my-robot/0.1', from=>'me@foo.com', rules=>WWW::NoRules->new);