如何使用Perl创建网站摘要？

Question

当您在Facebook或Digg上共享内容时，它会生成页面的一些摘要。 我将如何在Perl中做到这一点？ 有什么算法？

例如：

如果我去Facebook并尝试通过链接分享此问题： 如何使用Perl创建网站摘要？

它检索“ Facebook / Digg获取网站摘要？-堆栈溢出”作为标题（仅是页面标题）和[...不完整的问题？]

Answer 1

CPAN是您的朋友。

一些有前途的模块：

• HTML ::摘要
• HTML :: SummaryBasic
• Lingua :: EN ::总结

Answer 2

假设您的意思是共享链接...

通常，摘要是由提交URL的用户编写的。 如果您必须自动编写摘要，可以通过以下方法实现：

• 使用文档正文的前100个左右的字符（本身并不容易）
• 使用描述或关键字之类的元数据（通常为空或垃圾邮件）
• 与上下文相关的摘要，例如重新创建Google代码段 （对不起PHP，但很简单）
• 使用Yahoo Keyword Extractor API或您自己的关键字密度函数之类的文档中的标签/关键字

最好的选择是询问用户！

希望能有所帮助:)

Answer 3

基本上，您想抓取URL并找到“最重要的段落”，它可能是第一个<h2>或<h1>之后的第一个<div>或<p>元素，具体取决于页面的布局。

Answer 4

您可以检查并查看页面上是否有元描述，但这使您不受编写元描述的任何人的影响。