配置Perl脚本以自动为一个非常大的网站生成XML网站地图

Question

我是一家机票预订公司的SEO。 我们正在尝试为我们的网站安装XML网站地图。 我曾要求我公司的开发团队安装一个Perl脚本，该脚本将有助于为我们的大型站点（超过15万页）生成XML站点地图。

我们出于同样的原因使用了Google Perl Sitemaps Generator ，因为某些原因，我们只能使用Perl。 输出文件有很多废话，因为它主要通过静态页面和服务器文件夹中的其他内容进行爬网（它基本上不遵循首页和站点下方的URL，而是对服务器上的每个文件进行爬网）。 我不确定该术语是否正确，但我认为您会明白我的意思。

上面的链接中提到了配置选项，但是如果没有不必要的URL，我们将无法确定要使用哪些参数来获得理想的XML网站地图。

任何人都可以帮助Perl脚本或如何配置它。

Answer 1

使用“ wget”（镜像选项）制作该站点的副本，然后从中构建站点地图。

Answer 2

在这里看，它具有以下代码： http ://www.isrcomputing.com/knowledge-base/linux-tips/240-how-to-create-google-sitemap- using-perl.html

Answer 3

也许我很天真，但是您不能从根开始对所有链接进行BFS'http :: get'解析每个a href吗？

Perl很好地支持了这一点。