如何从网站中提取主要文本并使用JSOUP排除存档和链接到其他网页

Question

我只知道如何提取主要文本并排除注释，但无法排除存档并链接到其他网页。

这是我的代码：

package CrawlerMain;

import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Node;

public class MainFour {

    public static void main(String[] args) throws IOException {
        Document doc = Jsoup.connect("http://www.papagomo.com").get();
        //get text only
        removeComments(doc); 
        String text = doc.body().text();
        System.out.println(text);
    }

    private static void removeComments(Node node) {
        int i = 0;
        while (i < node.childNodes().size()) {
            Node child = node.childNode(i);
            if (child.nodeName().equals("#comment"))
                child.remove();
            else {
                removeComments(child);
                i++;
            }
        } //To change body of generated methods, choose Tools | Templates.
    }

}

Answer 1

这是一个例子，但还没有完成。 你必须添加一些过滤来删除你不想要的一切：

Document doc = Jsoup.connect("http://www.papagomo.com").get();


for( Element element : doc.select("div") ) // Select only 'div' tags
{
    final String ownText = element.ownText(); // Own text of this element

    if( ownText.isEmpty() )
    {
        continue; // Skip empty tags
    }
    else
    {
        System.out.println(ownText); // Output to see the result
    }
}