[英]Java Apache POI
我正在努力從excel文檔中讀取數據,該文檔每兩周更新一次,大約有50,000行數據,在開始新工作表之前可能會達到大約120,000。 我正在使用Apache POI來獲取數據。 我在下面得到了這個例外,但我認為最重要的一個例外是由於:java.lang.OutOfMemoryError:Java堆空間。 我已經在不同的excel表上測試了我的代碼,數據量更少,並且能夠讀取數據。
如果您對如何閱讀大型Excel文檔有任何方法或建議,請分享。
org.apache.poi.POIXMLException: java.lang.reflect.InvocationTargetException
at org.apache.poi.xssf.usermodel.XSSFFactory.createDocumentPart(XSSFFactory.java:62)
at org.apache.poi.POIXMLDocumentPart.read(POIXMLDocumentPart.java:456)
at org.apache.poi.POIXMLDocumentPart.read(POIXMLDocumentPart.java:461)
at org.apache.poi.POIXMLDocumentPart.read(POIXMLDocumentPart.java:461)
at org.apache.poi.POIXMLDocumentPart.read(POIXMLDocumentPart.java:461)
at org.apache.poi.POIXMLDocument.load(POIXMLDocument.java:162)
at org.apache.poi.xssf.usermodel.XSSFWorkbook.<init>(XSSFWorkbook.java:271)
at excelreader.readExcelFile(excelreader.java:28)
at excelreader.main(excelreader.java:18)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:497)
at com.intellij.rt.execution.application.AppMain.main(AppMain.java:140)
Caused by: java.lang.reflect.InvocationTargetException
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:422)
at org.apache.poi.xssf.usermodel.XSSFFactory.createDocumentPart(XSSFFactory.java:60)
... 13 more
Caused by: java.lang.OutOfMemoryError: Java heap space
at org.apache.xmlbeans.impl.store.Cur.createElementXobj(Cur.java:260)
at org.apache.xmlbeans.impl.store.Cur$CurLoadContext.startElement(Cur.java:2995)
at org.apache.xmlbeans.impl.store.Locale$SaxHandler.startElement(Locale.java:3207)
at org.apache.xmlbeans.impl.piccolo.xml.Piccolo.reportStartTag(Piccolo.java:1082)
at org.apache.xmlbeans.impl.piccolo.xml.PiccoloLexer.parseAttributesNS(PiccoloLexer.java:1822)
at org.apache.xmlbeans.impl.piccolo.xml.PiccoloLexer.parseOpenTagNS(PiccoloLexer.java:1521)
at org.apache.xmlbeans.impl.piccolo.xml.PiccoloLexer.parseTagNS(PiccoloLexer.java:1362)
at org.apache.xmlbeans.impl.piccolo.xml.PiccoloLexer.yylex(PiccoloLexer.java:4678)
at org.apache.xmlbeans.impl.piccolo.xml.Piccolo.yylex(Piccolo.java:1290)
at org.apache.xmlbeans.impl.piccolo.xml.Piccolo.yyparse(Piccolo.java:1400)
at org.apache.xmlbeans.impl.piccolo.xml.Piccolo.parse(Piccolo.java:714)
at org.apache.xmlbeans.impl.store.Locale$SaxLoader.load(Locale.java:3454)
at org.apache.xmlbeans.impl.store.Locale.parseToXmlObject(Locale.java:1276)
at org.apache.xmlbeans.impl.store.Locale.parseToXmlObject(Locale.java:1263)
at org.apache.xmlbeans.impl.schema.SchemaTypeLoaderBase.parse(SchemaTypeLoaderBase.java:345)
at org.openxmlformats.schemas.spreadsheetml.x2006.main.CTPivotCacheRecords$Factory.parse(Unknown Source)
at org.apache.poi.xssf.usermodel.XSSFPivotCacheRecords.readFrom(XSSFPivotCacheRecords.java:62)
at org.apache.poi.xssf.usermodel.XSSFPivotCacheRecords.<init>(XSSFPivotCacheRecords.java:53)
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:422)
at org.apache.poi.xssf.usermodel.XSSFFactory.createDocumentPart(XSSFFactory.java:60)
at org.apache.poi.POIXMLDocumentPart.read(POIXMLDocumentPart.java:456)
at org.apache.poi.POIXMLDocumentPart.read(POIXMLDocumentPart.java:461)
at org.apache.poi.POIXMLDocumentPart.read(POIXMLDocumentPart.java:461)
at org.apache.poi.POIXMLDocumentPart.read(POIXMLDocumentPart.java:461)
at org.apache.poi.POIXMLDocument.load(POIXMLDocument.java:162)
at org.apache.poi.xssf.usermodel.XSSFWorkbook.<init>(XSSFWorkbook.java:271)
at excelreader.readExcelFile(excelreader.java:28)
at excelreader.main(excelreader.java:18)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
1.在java中解決OutOfMemoryError的簡單方法是使用JVM選項"-Xmx512M"
來增加最大堆大小,這將立即解決你的OutOfMemoryError。
Java虛擬機(JVM)以固定的內存上限運行,您可以對其進行修改:
-Xms<size> - Set initial Java heap size
-Xmx<size> - Set maximum Java heap size
$ java -Xms512m -Xmx1024m JavaApp
2.解決Java中的OutOfMemoryError的第二種方法相當困難,當你沒有太多內存時,即使增加了最大堆大小,你仍然得到java.lang.OutOfMemoryError,在這種情況下你可能想要分析你的應用程序和尋找任何內存泄漏。
所以要檢查內存leask你可以使用一些工具。沒有它就很難。 一些流行的是:
Jmap是JDK6附帶的命令行實用程序,允許您在文件中獲取堆的內存轉儲。 它很容易用作下面的shwon:
jmap -dump:format = b,file = heapdump 6054
Eclipse內存分析器(MAT)
是一個來自eclipse基礎的工具來分析java堆轉儲。 它有助於查找類加載器泄漏和內存泄漏,並有助於最小化內存消耗。您可以使用MAT來分析承載數百萬個對象的堆轉儲,它還可以幫助您提取內存泄漏的可疑內容。
它確實與堆大小有關。 我把它設置為2g並且仍然沒有記憶錯誤。 我正在使用的excel文檔位於數據透視表中,Apache POI對此有限制。 這導致第一個例外
嘗試java.exe -Xmx512m -jar yourjar.jar
它將最大堆大小設置為512 MB。 或者如果512不夠,則嘗試更大的值。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.