如何使用WWW :: Mechanize進行分頁？

Question

我在64位計算機上使用Windows Perl 5.16.3。

當我通過以下網址使用Mechanize時

http://www.utsavfashion.in/indowestern

一切正常。

但是，當我嘗試使用分頁選項時

將最后一個字符串更改為indowestern＃pg = 2

我無法獲得第二頁的內容。 我仍然從第一頁獲得內容。

請參見下面的代碼段：

my $url = "http://www.utsavfashion.in/indowestern#pg=2";

$m = WWW::Mechanize->new();
$m->get($url);
print "$url\n";

my $c = $m->content;

print "$c\n";

預先感謝您的建議！

Answer 1

Web瀏覽器甚至不會將#pg=2發送到Web服務器。 我不知道WWW :: Mechanize是否可以，但是不可以。 因此，您獲得相同的頁面也就不足為奇了

http://www.utsavfashion.in/indowestern

和為

http://www.utsavfashion.in/indowestern#pg=2

區別不在於獲取的內容 ，而在於渲染的內容 。

使用Web瀏覽器進行呈現時，頁面中的JavaScript會檢查錨點並相應地更新內容。

當您使用print $content呈現它時，它看起來完全不同。 您不會得到格式正確的文本或JavaScript的效果。

有一些選項可用於處理下載內容中的JavaScript。 但是，如果您正在進行數據挖掘，那么復制JavaScript可能會更高效，更可靠，因為如果在下載的文檔中找不到數據，它大概只會執行另一個Web請求來獲取數據。