如何擴展並發步驟 function 執行並避免任何 maxConcurrent 異常？

[英]How to scale concurrent step function executions and avoid any maxConcurrent exceptions?

問題：我有一個 Lambda 生成一個對象數組，其長度可以是幾千（最壞的情況）。 此數組中的每個 object 都應由一個 stepfunction 處理。 我試圖找出最好的可擴展且容易出錯的解決方案是什么，以便每個 object 都由 stepfunction 處理。 完整的 stepfunct ...

分布式系統 - 如何為分布式系統中的每個節點分配一個節點ID？

[英]Distributed system - How to assign a node ID to each node in distributed system?

我們如何在分布式環境中為應用程序的每個節點/實例分配一個唯一的 ID？ 我們已經在多個主機上部署了我們的應用程序，請求通過負載均衡器分布在它們之間。 我們有一個要求，我們想要存儲一些特定於這些節點的數據，如果其中一台服務器崩潰，那么在重新啟動時我們只想刪除特定於該節點的數據，而不是其他節點。 我們 ...

如果我不擴展我的應用程序或數據庫服務器並增加負載，會發生什么情況？

[英]What will happen if I don't scale my application or database servers and I increase the load?

我了解水平縮放、垂直縮放、分片，我想更多地了解應用程序會發生什么，即不縮放的影響如何通過縮放解決問題。 這是我的疑惑， 如果我不擴展，應用程序可能會發生什么事情。 例如，應用程序會變慢，請求得不到服務，或者應用程序會停止運行。 假設系統會隨着負載的增加而變慢，為什么會這樣？ 如果請求沒有得到滿足， ...

我如何構建一個 web 服務來加載用戶每天從 spotify 收聽的歷史記錄並呈現有趣的分析？

[英]How can i build a web service which loads users daily listening history from spotify and presents interesting analytics?

我有這個項目想法涉及使用 spotify API 加載用戶每日收聽歷史並通過郵件向用戶呈現每周包裝，我需要一些關於架構的建議。 我的計划是使用 Airflow 運行日常任務並將數據加載到 postgres，然后運行每周任務以生成包裝。 這適用於單個用戶，但如何使其可擴展，或者他們是另一種構建我所缺 ...

Google Drive Url 系統設計

[英]Google Drive Url System Design

我在 Google Drive 上注意到了這種行為。 為 Google Drive 上的文件創建鏈接時，該鏈接在文件被刪除之前一直有效。 將文件移動到另一個文件夾不會影響 url 的行為。 我想了解他們是如何大規模實現這一目標的。 ...

Websocket 應用變成無狀態微服務？

[英]Websocket app into stateless microservice?

我想按照所有常規做法將我創建的應用程序轉換為適當的微服務。 但是我無法理解如何實現無狀態和水平擴展。 這個特定的應用程序簡而言之執行以下操作。 用戶 A 啟動共享室並連接到 websocket 用戶 B 加入共享室並連接到 websocket 當第三個服務通過 tcp 將一些二進制數據流式傳輸到此 ...

更優化和可擴展的代碼編寫方式

[英]More optimized and scalable way to write code

我有以下數據框作為輸入： 我想根據他們的 InterestRank（1 表示最感興趣，10 表示最不感興趣）以及兩個條件向每個朋友推薦前 4 家餐廳：不超過 2 家具有相同菜系的餐廳將被推薦給每個朋友他們並首先推薦成本最低的餐廳（即 0，然后 1，然后 2）。 我使用 Pandas 想出了以下代碼來 ...

Azure 邏輯應用程序標准的自動縮放文檔

[英]Autoscale documentation for Azure Logic Apps Standard

我一直在努力尋找一些關於 Azure 邏輯應用程序標准縮放行為的權威文檔。 有很多關於 function 應用程序彈性溢價的事件驅動縮放的文檔，但我在邏輯應用程序標准上找不到？ 雖然在幕后他們有很多相似之處，但我想知道是否有微軟發布的關於 Azure 邏輯應用程序標准可伸縮性/自動縮放的文檔。 謝謝 ...

Drools 的水平可擴展性

[英]Horizontal Scalability with Drools

知道流口水在 memory 數據中起作用。 在對規則、事實類型等執行 CRUD 操作時，有沒有辦法在不同的 drools 實例上水平分布以提高性能？ 我想這些實例需要以某種方式相互同步，因此它們在 memory 中都具有相同的數據或以某種方式共享知識庫。 我對 drools 有點陌生，正在嘗試研究一 ...

程序生成在游戲開發之外的應用

[英]applications of Procedural Generation outside of game developement

在游戲開發和電影之外的領域是否有任何程序生成代碼的實現，作為一個整體的概念是否有任何應用是前端開發甚至系統工程據我所知，這都是游戲開發者 ...

MQTTNet 托管客戶端擴展問題

[英]MQTTNet managed client scaling issue

我有ManagedMqttClient來建立與 Solace 的連接。 它適用於一個服務實例，即 MQTT 客戶端。 但是，當並行啟動另一個服務實例時，我面臨重新連接問題。 它每秒都在這兩個服務上進行連接和斷開連接。 有什么方法可以使用 MQTTnet 並在沒有此類問題的情況下擴展我的服務。 先感 ...

達到 MySQL 中 ID 的最大限制

[英]Reaching the Max Limit for Ids in MySQL

在 mySQL 中，我使用主鍵作為 UINT32。 ID 將很快達到 4,294,967,295 的限制。 我的服務是一個節點應用程序。 有效處理這種情況的解決方案是什么？ 我在我的節點應用程序中使用 schemapack.js 進行 object 序列化。 無法使用 BIGINT 或 UINT6 ...

應該在哪里實施 RBAC？

[英]Where should RBAC be implemented?

為了給你一些背景知識，我經常使用在 SQL 級別上實現的 RBAC，但我在一些文章中讀到它可能不是很可擴展。 如果 RBAC 被實施，比如說： 在數據庫級別（即基於行或列的訪問控制） 在應用程序級別（即代碼中的邏輯）可能具有一些文檔存儲支持在另一個層面上每種方法在可擴展性方面的優缺點是什么？黃金行 ...

如果我按最終用戶/租戶對我的微服務數據進行分片，並且每台服務器都有總數據的一個子集，我如何跨所有服務器查詢數據？

[英]If I shard my microservice data by enduser/tenant and each server has a subset of the total data, how do I query for data across all servers?

想象一個高度可擴展的架構，其中每個租戶都按區域和可用區進行分片和分布，每個服務器都保存總數據的一個子集。 還有冗余，有一些物理分片承載相同的邏輯分片。 這很好用，如果客戶端知道用戶分配到的所有邏輯分片，則在處理返回大量數據的請求時，客戶端可以使用 map/reduce 樣式來檢索所有數據。 如果用 ...

JMeter：尋找有意義的 2 層架構

[英]JMeter: In search of a meaningful 2-tier architecture

對於一個項目，我需要構建兩個客戶端-服務器-架構原型（2 層和 3 層）。 第二步，我想用 JMeter 測試它們的性能和可擴展性。 在第三步中，我想比較兩者的性能並就架構提出建議。 我已經構建了一個 3 層應用程序，如下所示： 我的想法是構建一個 2 層應用程序，如下所示： 但后來我 ...

分布式系統類中的靜態實例

[英]Static instance in the class in distributed system

我正在閱讀有關“代碼呢？為什么代碼必須在多台機器上運行時需要更改？”的博客。 我遇到了一條我不明白的線，任何人都可以通過簡單或任何示例幫助我理解它。 “類中不應該有靜態實例。靜態實例保存應用程序數據，當特定服務器出現故障時，所有靜態數據/狀態都會丟失。應用程序處於不一致狀態。” ...

kubernetes中的應用控制平面和數據平面

[英]Application control plane and data plane in kubernetes

我是 Kubernetes 的新手。 我計划在 EKS 上構建/部署一個應用程序。 這可能會部署在 azure 和 gcp 上。 我想在部署在 EKS 中的應用程序中分離數據平面和控制平面。 無論如何，EKS/kubernetes 允許實現這一點嗎？ 或者我們應該為兩個 EKS 使用 go，一個用於 ...

無論設置的可伸縮性如何，畫布都無法正確伸縮

[英]Canvas not scaling properly regardless to the set scalability

無論屏幕大小如何，我都試圖使我的 Canvas 可擴展。 我使它在屏幕上可縮放，但是當它被隱藏並調用時，由於某種原因它沒有縮放。 我實際上在代碼中調用它，它會在需要時顯示，但它不可擴展，但當我立即顯示它時，它是可擴展的。 預期位置（不隱藏顯示時正常顯示）： 實際位置（當我的顯示器被隱藏並在按下 ...

如何在 Cassandra 中創建具有十億列的模式？

[英]How to create schema with billion columns in Cassandra?

我在 Cassandra 中看到，我們可以為每個行鍵保存數十億個列名/列值對。 此外，我們需要先創建模式，然后才能在 Cassandra 中持久化數據。 所以我想知道我們應該如何創建一個包含數十億列的模式？ 那沒有意義？ 我正在專門研究一個用例，我希望每分鍾間隔生成一次保存事件，並且每分鍾可以 ...

是否有跨多個服務器共享 Oracle 連接池的庫？

[英]Is there a library to share Oracle Connection Pools across multiple servers?

是否有開源解決方案可以跨服務器實例共享 Oracle 連接池，以便應用程序實例不會占用有限的連接？ 例如說我有 100 個連接和 10 個服務器的限制。 我創建了 2 個 50 個池，有沒有辦法在 5 個服務器之間共享這些 50 個池？ ...