堆棧內存溢出
cost 393 ms
如何對kafka生產者施加背壓？

[英]How to apply back pressure to kafka producer?

背壓可以通過限制隊列大小來提供幫助，從而為隊列中的作業保持高吞吐率和良好的響應時間。 在 RabbitMQ 中，可以應用設置隊列長度限制。 卡夫卡如何做到這一點？ 這可以通過在 kafka 生產者和代理之間保持 Rate Limiter(TokenBucket) 來完成，其中當前的桶大小和重新填 ...

akka-stream 管道背壓盡管插入了緩沖區

[英]akka-stream pipeline backpressures desipite inserted buffer

我有一個 akka-stream 管道，它扇出通過SourceQueueWithComplete推入 stream 的事件（通過BroadcastHub ）。 盡管所有下游消費者都插入了.buffer() （我希望它確保集線器和隊列的上游緩沖區保持耗盡），但我仍然觀察到在系統運行一段時間后出現背壓。 ...

如何在 gRPC 中做服務端背壓？

[英]How to do server-side backpressure in gRPC?

我只是發現在C++中，在使用AsyncService的時候，即使我沒有請求新的請求，gRPC還是會從網絡中讀取數據。 這導致我的系統中大量使用 memory。 詳細場景： 我有一個客戶端會向服務器發送大量請求。 在服務器端，我沒有請求任何請求。 服務器在cq_->Next(&tag, ...

使用 RestTemplate 發布 InputStream 並處理背壓

[英]POST InputStream with RestTemplate and handling backpresure

我們有 3 層系統（UI、服務器 1、服務器 2） 我們必須將文件從我們的客戶端（Angular）傳輸到某個服務器（java server1，Spring）並且該服務器必須將文件數據傳遞給第二個服務器 UI => 服務器 1 ==> 服務器 2 我們想要stream字節從UI到“Serv ...

Node stream.pipeline 是否也提供反壓保護？

[英]Does Node stream.pipeline also provides back-pressuring prevention?

這個問題的答案或許只有一個詞。 這里的文檔有點令人困惑：一開始它介紹了stream.pipeline()方法作為.pipe方法的更優選版本，但后來它只關注 .pipe 方法作為提供背壓的方法預防機制。 Node 官方文檔也明確提到.pipe具有反壓預防機制，但沒有提及pipeline方法。 那 ...

如何測量 DispatchQueue 背壓

[英]How to measure DispatchQueue back pressure

我的程序有許多並行進程，每個進程都有自己的隊列。 我希望能夠可視化/測量隊列的背壓。 一種方法是計算進入和退出的每個塊，但我確信 GCD 已經有了這些信息。 有沒有更好的方法來測量背壓？ ...

確保訂閱（接收器）只發生一次

[英]Make sure subscribe (sink) happens only once

我正在嘗試編寫一個“類似閉包”的組合觀察者。 假設我有 MyClass 我可以使用一個簡單的 function 來訪問它 現在，我想使用組合 @Published 來做同樣的事情所以我會打電話 但是，我希望它只被觸發一次，所以如果我打電話 我不會得到 5 個打印件，但只有第一個。 我為此找到的一種解 ...

如果客戶端確實讀取數據並且應用程序繼續寫入，Netty 關閉通道策略是什么？

[英]What is Netty closing channel policy if client does read data and application keeps writing?

我的應用程序使用帶有 TCP sockets 的 Netty 4.x 將相同的數據分發給多個客戶端。 我希望我的應用程序能夠容忍一些客戶端在數據接收中的停滯，但如果客戶端太慢，我希望我的應用程序放棄（關閉）連接。 如果我理解正確，我可以通過正確配置來實現： sendBufferSize（在底層操 ...

如何使用 AWS Lambda 和 MSK (Kafka) 事件 stream 應用背壓

[英]How to apply back pressure with AWS Lambda and MSK (Kafka) event stream

是否有可能做到這一點？ 在處理 SQS 事件流時，如果 Lambda function 沒有足夠的預留並發，則 function 將被限制，並且可以通過 SQS 重驅動策略來限制未處理的事件/消息。 我從不喜歡這種限制，因為在任意次數的重試/消息可見性超時后，未處理的消息最終會出現在 DLQ 上。 ...

從 Flux 中讀取<Integer>分塊

[英]Reading from a Flux<Integer> in chunks

是否可以分塊從 webflux 通量中讀取？ （除了使用 delayElements ） 例如在我寫完之后 有沒有辦法繼續讀取接下來的5個整數？ 如果沒有，消費者是否有其他選擇來決定何時請求下一條數據？ 編輯： 為了澄清，我想讀取前 5 個值，然后暫停，然后讀取接下來的 5 個值而不重 ...

微型背壓

[英]Micronaut backpressure

我們正在尋找限制 Micronaut 2.0.1 公開的 HTTP 端點接受的並發連接數的最佳方法。 端點接受圖像文件，將它們寫入磁盤並創建縮略圖。 由於請求太多，我們的內存不足。 到目前為止，我們發現的是Netty 線程池的設置。 我們懷疑這些是否可以讓我們強制執行特定限制。 他們似乎更多地與 ...

可以讓事件處理程序等到異步/基於 Promise 的代碼完成嗎？

[英]Possible to make an event handler wait until async / Promise-based code is done?

我在 nodejs 模式下使用出色的 Papa Parse 庫，將超過 100 萬行的大型（500 MB）CSV 文件流式傳輸到一個緩慢的持久性 API 中，該 API 一次只能接受一個請求。 持久性 API 基於Promise s，但從 Papa Parse，我在同步事件中接收每個解析的 CSV ...

使用apachecamel和Kafka時如何處理背壓？

[英]How to handle backpressure when using apache camel and Kafka?

我正在嘗試編寫一個將使用 Camel 與 Kafka 集成的應用程序。 （版本 - 3.4.2） 我從這個問題的答案中借用了一種方法。 我有一個監聽來自 Kafka 主題的消息的路由。 該消息的處理通過使用一個簡單的執行器與消費解耦。 每個處理都作為一個任務提交給這個執行器。 消息的排序並不重 ...

MQTT 通配符訂閱、背壓和 QOS

[英]MQTT wildcard subscriptions, backpressure and QOS

這更像是一個通用問題，但是在不同的客戶端或協議版本甚至服務器版本中可能會有不同的處理方式。 所以我在這里說的是 QOS 2 級訂閱。 在這種情況下，數據包按順序處理。 並且既然有一個確認協議，這意味着在第一個消息被確認之前無法處理下一個消息？ 或者它的訂購只為接收而維持，而不是為了確認？ 如果通過 ...

ReactiveX 背壓沒有按預期工作

[英]ReactiveX Backpressure doesn't work as expected

我正在嘗試使具有背壓的流動性。 我的想法是，在當前項目之一完成處理之前，不會發出可流動的新項目。 我正在使用 ResourceSubscriber 和 subscribeWith() 方法來實現這一點。 flowable 的每個元素都在單獨的線程池上異步處理。 （我通過使用 flatMap/su ...

進程被阻塞時nodejs服務器請求會發生什么

[英]What happens to nodejs server requests when the process is blocked

當 nodejs 服務器被阻塞時，傳入的請求會發生什么？ 有時服務器會被阻塞，因為它正在處理一些計算成本很高的東西，或者可能正在執行一些同步 IO（例如寫入 sqlite 數據庫）。 最好用一個例子來描述： 給定這樣的服務器：const { execSync } = require('child_p ...

使用 redux-observable 實現背壓

[英]Backpressure implementation with redux-observable

我正在嘗試在我的反應應用程序中實現背壓邏輯。 我在這里找到了一篇關於此的好帖子，並嘗試將其添加到我的應用程序中。 現在我有一些代碼：// epic.ts import { ofType } from 'redux-observable'; import { mapTo, tap, delay, sw ...


排序:
質量:
 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM