Storm 2.0.0內存不足

Question

我將代碼庫升級為從1.1.1開始使用Storm 2.0.0。 現在，我觀察到，如果我在本地模式下運行拓撲，幾分鍾后它將耗盡內存。

[THREAD ID = AsyncLocalizer執行程序-2-EventThread] Dev-APC180-local oassoazClientCnxn調用監視程序java.lang.OutOfMemoryError時出錯：無法在java.lang的java.lang.Thread.start0（本機方法）處創建新的本機線程。 org.apache.storm.shade.org.apache.zookeeper.ClientCnxn.start（ClientCnxn.java:421）的org.apache.storm.shade.org.apache.zookeeper的Thread.start（Thread.java:717）。 org.apache.storm.shade.org.apache.curator.utils.DefaultZookeeperFactory.newZooKeeper（DefaultZookeeperFactory.java:29）的ZooKeeper。（ZooKeeper.java:454）在org.apache.storm.shade.org.apache.curator處org.apache.storm.shade.org.apache.curator.HandleHolder $ 1.getZooKeeper（HandleHolder.java:101）的.framework.imps.CuratorFrameworkImpl $ 2.newZooKeeper（CuratorFrameworkImpl.java:213）在org.apache.storm.shade .org.apache.curator.HandleHolder.getZooKeeper（HandleHolder.java:57）位於org.apache.storm.shade.org.apache.curator.ConnectionState.reset（ConnectionState.java:204）位於org.apache.storm.shade .org.apache.curator org.apache.storm.shade.org.apache.curator.ConnectionState.handleExpiredSession（ConnectionState.java:380）org.apache.storm.shade.org.apache.curator的.ConnectionState.handleExpiredSession（ConnectionState.java:380） org.apache.storm.shade.org.apache.zookeeper.ClientCnxn $ EventThread.processEvent（ClientCnxn.java:533）上的.ConnectionState.process（ConnectionState.java:169）在org.apache.storm.shade.org.apache上.zookeeper.ClientCnxn $ EventThread.run（ClientCnxn.java:508）

上面是錯誤的堆棧跟蹤。 在更深入的分析中，我發現“ AsyncLocalizer EventThread”和“ AsyncLocalizer SendThread”大約有5000個線程。 它由AsyncLocalizer.updateBlobs生成。

AsyncLocalizer.updateBlobs是一個計划任務，每30秒運行一次。 請指出正確的方向。 我對錯過的一切一無所知。

Answer 1

這很可能是由於https://issues.apache.org/jira/browse/STORM-3501造成的 。 在2.0.0中破壞了Blob清理，因此主管一直嘗試下載實際上已刪除的Blob。 我認為這也導致它啟動了大量的Curator實例。