讀取多個xml文件java

Question

我有 ~25000 個 XML 文件需要用 Java 讀取。 這是我的代碼：

private static void ProcessFile() {
    try {


        File fXmlFile = new File("C:/Users/Emolk/Desktop/000010.xml");
        DocumentBuilderFactory dbFactory = DocumentBuilderFactory.newInstance();
        DocumentBuilder dBuilder = dbFactory.newDocumentBuilder();
        Document doc = dBuilder.parse(fXmlFile);


        doc.getDocumentElement().normalize();

        System.out.println("Root element :" + doc.getDocumentElement().getNodeName());

        NodeList nList = doc.getElementsByTagName("sindex");

        System.out.println("----------------------------");

        for (int temp = 0; temp < nList.getLength(); temp++) {

            Node nNode = nList.item(temp);

            System.out.println("");

            if (nNode.getNodeType() == Node.ELEMENT_NODE) {

                Element eElement = (Element) nNode;

                System.out.println("Name : " + eElement.getElementsByTagName("name").item(0).getTextContent());
                System.out.println("Count : " + eElement.getElementsByTagName("count").item(0).getTextContent());

                Entity CE = new Entity(eElement.getElementsByTagName("name").item(0).getTextContent(), Integer.parseInt(eElement.getElementsByTagName("count").item(0).getTextContent()));
                Entities.add(CE);
                System.out.println("Entity added! ");
            }
        }
        System.out.println(Entities);
        } catch (Exception e) {
        e.printStackTrace();
        }
}

我如何讀取 25000 個文件而不是一個？

我嘗試使用以下方法將所有 xml 文件連接在一起： https : //www.sobolsoft.com/howtouse/combine-xml-files.htm

但這給了我這個錯誤：

[Fatal Error] joined.xml:130:2: The markup in the document following the 
root element must be well-formed.

Answer 1

如果性能不是問題，那么您可以執行以下操作，

    import java.io.File;
    import java.util.List;

    import javax.xml.parsers.DocumentBuilder;
    import javax.xml.parsers.DocumentBuilderFactory;

    import org.w3c.dom.Document;
    import org.w3c.dom.NodeList;

    public class ReadFiles {
        public static void main(String[] args) {

            File dir = new File("D:/Work"); //Directory where your file exists

            File [] files = dir.listFiles();

            for(File file : files) {
                if(file.isFile() && file.getName().endsWith(".xml")) { //You can validate file name with extension if needed
                    ProcessFile(file, Entities);  // Assumed you have declared Entities, may be list of other collection
                }
            }

            System.out.println(Entities);
        }

        private static void ProcessFile(File fXmlFile, List<E> Entities) {
            try {

                DocumentBuilderFactory dbFactory = DocumentBuilderFactory.newInstance();
                DocumentBuilder dBuilder = dbFactory.newDocumentBuilder();
                Document doc = dBuilder.parse(fXmlFile);

                doc.getDocumentElement().normalize();

                System.out.println("Root element :" + doc.getDocumentElement().getNodeName());

                NodeList nList = doc.getElementsByTagName("sindex");

                System.out.println("----------------------------");

                for (int temp = 0; temp < nList.getLength(); temp++) {

                    Node nNode = nList.item(temp);

                    System.out.println("");

                    if (nNode.getNodeType() == Node.ELEMENT_NODE) {

                        Element eElement = (Element) nNode;

                        System.out.println("Name : " + eElement.getElementsByTagName("name").item(0).getTextContent());
                        System.out.println("Count : " + eElement.getElementsByTagName("count").item(0).getTextContent());

                        Entity CE = new Entity(eElement.getElementsByTagName("name").item(0).getTextContent(), Integer.parseInt(eElement.getElementsByTagName("count").item(0).getTextContent()));
                        Entities.add(CE);
                        System.out.println("Entity added! ");
                    }
                }           
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    }

Answer 2

要讀取多個文件，您應該使用某種循環進行迭代。 您可以掃描目錄中的所有有效文件。

File folder = new File("path/to/directory");
File[] files = folder.listFiles();

for (int i = 0; i < files.length; i++) {
    // you can also filter for .xml if needed
    if (files[i].isFile()) {
        // parse the file
    }
}

接下來，您需要決定如何解析文件：順序或並行。 由於您使用多個線程來解析文件，因此 Parallel 會快很多。

一根線

您可以重用您已經編寫的代碼，並遍歷文件：

for (File file : files) {
    processFile(file, yourListOfEntities);
}

多線程：

獲取一個ScheduledExecutorService並提交多個任務。

ExecutorService service = Executors.newFixedThreadPool(5);

for (File file : files) {
    service.execute(() -> processFile(file, yourListOfEntities));
}

這里有一個重要的注意事項： ArrayList的默認實現不是線程安全的，所以你應該（因為List被多個線程使用）同步對它的訪問：

List<Entity> synchronizedList = Collections.synchronizedList(yourListOfEntities);

此外， DocumentBuilder不是線程安全的，應該為每個線程創建一次（如果你只是調用你的方法，你就對了）。 如果您考慮優化它，則此注釋僅適用於這種情況。