jsoup在element.remove（）上抛出IndexOutOfBoundsException

Question

我正在写一个清理网页的脚本。 这包括遍历所有标签（元素）并根据某些规则进行检查：

    for (Element element :  document.select("*") ) {
        if (element == null) { 
            continue;
        }


        if ( RULE1) ) {
            element.remove();
        }


        else if( RULE2){
            element.remove();
        }


        else if ( RULE3 ) {
            element.remove();
        }

        else if (  RULE4 ) {
            element.remove();
        }

    }   

我已经在数十页上对此进行了测试，没有任何问题。 今天，我刚刚在网页上抛出java.lang.IndexOutOfBoundsException ：

Exception in thread "main" java.lang.IndexOutOfBoundsException: Index: 3, Size: 1
    at java.util.ArrayList.rangeCheck(ArrayList.java:653)
    at java.util.ArrayList.remove(ArrayList.java:492)
    at org.jsoup.nodes.Node.removeChild(Node.java:423)
    at org.jsoup.nodes.Node.remove(Node.java:266)

我的猜测是，代码有时会尝试删除已经删除的元素。 但是无法确定为什么/为什么会这样。

任何想法？

谢谢。

编辑1：导致中断的规则

我发现了导致代码失败的规则。 规则之一实际上不会删除element而是会重置其文本：

        else if ( matches junk text ) {
            String match = getMatchingJunk ( element.ownText() );
            if ( match.length()  < JUNK_TEXT_ELEMENT_REMOVAL_THRESH ) {
                element.text( removeSmallest(element.ownText(), match) ); // <= causing error
                continue;
            }

            element.remove();

        }

如果我删除了element.text( removeSmallest(element.ownText(), match) ) ，错误就会消失。

Answer 1

如果我分两个阶段清除垃圾文本，该代码似乎可以正常工作。 该代码看起来有些重复和骇人听闻。 也许有更好的方法可以做到这一点：

第一阶段：收集所有垃圾

        Map <String, Element> junks = new HashMap <String, Element>();
        for (Element element :  document.select("*") ) {
            ...

            if () {
                ...
            }

            else if ( matches junk text ) {
                String match = getMatchingJunk ( element.ownText() );
                if ( match.length()  < JUNK_TEXT_ELEMENT_REMOVAL_THRESH ) {
                    //element.text( removeSmallest(element.ownText(), match) ); // <= causing error
                    junks.put(elOwnText,element);
                    continue;
                }

                element.remove();

            }
        }

第二阶段：清除垃圾

    if ( size(junks) > 0 ) {
        for(Map.Entry<String,Element> ent : junks.entrySet()){

            String match = getMatchingJunk (ent.getKey()); // this looks repetitive. probably there's a better way to do it
            if ( match.length()  < JUNK_TEXT_ELEMENT_REMOVAL_THRESH ) {
                ent.getValue().text( removeSmallest(ent.getKey(), match) ); // purge junk

            }
        } // end for
    } // end if