用於流解析器的Java或Scala庫
[英]Java or Scala libraries for stream parsers
問題描述
據我了解，Scala解析器組合器要求整個文件都在內存中，而對於數十GB的文件來說，這不太實用。 無論如何，解析器組合器庫比手頭任務所需的功能強大得多，因此我正在考慮推出簡單的FSA解析器。 是否有一些用於此的庫，或者除了帶有多個switch的文本牆外沒有其他方法？
1 個解決方案
解決方案1
0 2015-06-13 18:32:48
據我了解，Scala解析器組合器要求整個文件都在內存中，並且對於數十GB大小的文件來說並不實用
如果需要解析巨大的文件，則可以使用BufferedReader並使用該閱讀器調用parseAll 。 像這樣：
val bufferedReader: BufferedReader = ???
val myResult = MyParser.parseAll(MyParser.rootParser, bufferedReader)
這樣，文件將被分塊讀取，因此您不必費心用盡內存。
另外，如果需要特定於解析器組合器API的閱讀器，則可以從bufferedSource創建PagedSeqReader 。
val rdr = new PagedSeqReader(PagedSeq.fromReader(Source.fromFile(new File("huge_file")).bufferedReader()))
在 Scala 中使用 Java 庫
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.