使用jsoup忽略網址中的垃圾郵件/廣告

Question

我正在使用jsoup解析器加載某些網站的內容。 通常，某些網站的頁面上有廣告和其他不相關的內容。 解析網址時可以忽略這些嗎？

Answer 1

不，Jsoup中沒有內置的避免廣告鏈接功能。 您必須手動執行此操作（通過檢查每個頁面的廣告網址，並將其與正則表達式進行匹配）。

Answer 2

這不是您問題的直接答案，但是您可以使用AlchemyAPI。 他們有一個免費的1,000個API調用程序（如果出於學術目的，則有30,000個）：

http://www.alchemyapi.com/api/text/