Elasticsearch大批量上傳查詢

Question

我在嘗試使用Elasticsearch api上傳json文件時遇到錯誤，但我一直收到此錯誤：

 Caught exception while handling client http traffic, closing connection [id: 0x0d08b235, /172.17.0.1:33780 => /172.17.0.2:9200]
org.jboss.netty.handler.codec.frame.TooLongFrameException: HTTP content length exceeded 104857600 bytes.
    at org.jboss.netty.handler.codec.http.HttpChunkAggregator.messageReceived(HttpChunkAggregator.java:169)
    at org.jboss.netty.channel.SimpleChannelUpstreamHandler.handleUpstream(SimpleChannelUpstreamHandler.java:70)
    at org.jboss.netty.channel.DefaultChannelPipeline.sendUpstream(DefaultChannelPipeline.java:564)

有沒有一種方法可以輕松地分塊？

Answer 1

您需要將http.max_content_length值增加到大於默認值（100MB）的值： https : http.max_content_length

但是您需要小心使用這些值，而不要增加太多。 到達節點的批量操作將被暫時保留在隊列中（如果同時存在太多）在內存緩沖區中的隊列中，然后將其拆分並發送到適當的節點進行進一步處理。 因此，如果您有太多的並發批量操作並且這些操作足夠大，那么它們可能會占用大量內存。