使用jsoup忽略网址中的垃圾邮件/广告

Question

我正在使用jsoup解析器加载某些网站的内容。 通常，某些网站的页面上有广告和其他不相关的内容。 解析网址时可以忽略这些吗？

Answer 1

不，Jsoup中没有内置的避免广告链接功能。 您必须手动执行此操作（通过检查每个页面的广告网址，并将其与正则表达式进行匹配）。

Answer 2

这不是您问题的直接答案，但是您可以使用AlchemyAPI。 他们有一个免费的1,000个API调用程序（如果出于学术目的，则有30,000个）：

http://www.alchemyapi.com/api/text/