堆棧內存溢出
cost 96 ms
測量兩個公共 DNS 服務器之間的延遲（以毫秒為單位）

[英]Measure the latency in milliseconds between two public DNS servers

簡短介紹：我正在嘗試創建 DNS 服務器之間延遲的距離矩陣，以便使用矩陣分解來預測 p2p 延遲。 要使用預測算法，我需要大約 20 台 DNS 服務器以及它們之間的延遲。 服務器 DNS1 DNS2 DNS3 ... 客戶 1 DNS1 0 ？ ？ ... 平 DNS2 ？ ...

跨多個工作節點分布一個 python function

[英]Distributing a python function across multiple worker nodes

我試圖了解什么是一個很好的框架，它可以輕松地與現有的 python 代碼集成，並允許跨多個工作節點分布一個巨大的數據集以對其執行一些轉換或操作。 期望每個工作節點都應根據特定鍵（此處為以下交易數據中給出的國家/地區）分配數據，工作節點執行所需的轉換並將結果返回給領導節點。 最后，領導節點應該對從工 ...

可以將 BigQuery 查詢分配給不同的根節點嗎？

[英]Can BigQuery queries get assigned to a different root nodes?

我一直試圖根據 BigQuery 在后台的工作方式來了解它的局限性，但我很難找到標題中問題的答案：BigQuery queries get assigned to a different root nodes? 我目前使用 Redshift，其中只有一個集群和一個領導節點。 一切都通過並由領導節點 ...

將使用糾刪碼將塊拆分為多個塊，從而提高網絡吞吐量性能

[英]Will split the block into chunks with erasure coding increasing the network throughput performance

假設我們有一個帶有 n 個節點的網絡，並且選出了一個協調器來向節點發送命令。 讓我們進一步假設協調器具有可怕的帶寬（上傳速度）並且他想在 o(n) 假設時間內在節點中發送一個 10 GB 的大文件。 我現在優化性能的想法是使用擦除編碼技術將大文件分成塊並向每個節點發送一個塊，以便稍后節點在 o(n^ ...

關於spark分布式聚合的一個問題

[英]A question about spark distributied aggregation

我正在閱讀這里的火花在某一時刻，博客說： 考慮一個應用程序，它想要計算語料庫中每個單詞的出現次數，並將結果作為 map 拉入驅動程序。可以通過聚合操作完成的一種方法是在每個分區計算本地 map，然后合並司機的地圖。 可以使用 aggregateByKey 實現的替代方法是以完全分布式的方式執行計數， ...

同時發送多個請求並等待收集結果

[英]Sending multiple requests simultaneously and waiting to collect results

我正在從事一個項目，該項目涉及同時發送多個請求並等待收集結果的大量任務。 一個通用的方案可以用下面的代碼來描述： 根據我的研究，有幾種可能的解決方案： 使 rpc 調用異步，當調用完成時它將返回一個未來的 object 並且以下計算將等待直到獲得未來 object 的內容。 而不是循環，執行 map ...

如何在每個任務只能由一台服務器完成的服務器之間分配任務？

[英]How to distribute tasks between servers where each task must be done by only one server?

目標：有 X 台后端服務器。 有 Y 個任務。 每個任務只能由一台服務器完成。 由兩個不同的服務器運行相同的任務不應該發生。 有些任務包括無限期的連續工作，例如輪詢數據。 只要服務器保持活動狀態，同一台服務器就可以繼續執行此類任務。 問題：如果執行任務的服務器死機，如何重新分配任務？ 如果服務器死 ...

使用 bazel，我如何/確保為正確的系統/庫構建了從緩存中獲取的對象？

[英]With bazel how do I be/make sure objects taken from cache have been build for the right system/libraries?

對於在運行不同 Linux 發行版的構建節點上配置分布式構建緩存的構建，我遇到了一些與 glibc 相關的奇怪鏈接器錯誤。 現在我以某種方式懷疑那些具有不同 glibc 版本的機器的構建工件混淆了，但我不知道如何調查這個。 在為某個構建工件構建哈希時，我如何找出 Bazel 考慮的內容？ 我知道我 ...

`kubectl log deployment/name` 是獲取所有 pod 還是只獲取一個 pod？

[英]Does `kubectl log deployment/name` get all pods or just one pod?

我需要查看具有 N 個 worker pod 的部署中所有 pod 的日志當我執行kubectl logs deployment/name --tail=0 --follow命令語法時，我假設它將跟蹤部署中的所有 pod 但是，當我 go 進行處理時，我沒有按預期看到任何 output，直到我手動 ...

實時計算

[英]Real Time computation

我有一個用 python 和 mysql 編寫的算法，它在 csv 文件和一些屬性中輸入，然后運行 20-25 分鍾以生成 output。 我想讓它實時，這樣如果上傳輸入 csv 或更改屬性，則無需運行算法即可更改 output 注意 運行算法的數據可能非常大。 在制作實時計算算法方面需要幫助我正在 ...

NFS 如何處理數據請求？

[英]How does NFS process requests for data?

在使用別人的框架時，發現它會使用NFS技術共享指定的文件夾，然后再進行分布式計算。 例如，此文件夾中有“part1”和“part2”兩部分。 那么如果我的機器1讀取'part1'，機器2讀取'part2'，如果機器1想要獲取'part2'的內容，那么應該直接向機器2發出請求，或者直接讀取本地的'p ...

在Paxos中，為什么我們不能使用隨機退避來避免碰撞呢？

[英]In Paxos, why can't we use random backoff to avoid collision?

我知道 Paxos 共識算法的核心是在任何給定的一組節點中只有一個“多數”，因此如果提議者被多數接受，則不能有另一個多數接受不同的值，因為任何接受者只能接受 1 個單一值。 因此，共識算法最簡單的“快樂路徑”就是讓任何提議者 ping 多數接受者，看看是否能讓他們接受它的價值，如果是的話，我們就完 ...

RuntimeError：方法需要在跨副本上下文中，使用 get_replica_context().merge_call()

[英]RuntimeError: Method requires being in cross-replica context, use get_replica_context().merge_call()

我嘗試將正在運行的 CycleGAN 從 SingleGPU 修改為 tf.distribute.MirroredStrategy。 嘗試了幾種方法，例如自定義訓練循環、 jongsung park的問題、Tensorflow 教程之后的調整以及 strategy.scope() 的幾個地方。 但 ...

您如何確保分布式應用程序按預期工作？

[英]How do you ensure that a distributed app is working as expected?

想象一下在線市場中一個非常簡單的用戶創建流程： 服務 A（用戶服務）接收請求並創建用戶 object 並向服務 B 和 C 發送異步請求（例如通過 Kafka） 服務B（通知服務）收到請求，向新創建的用戶發送一個email 服務 C（推薦服務）接收請求並將一些資金貸記給推薦人雖然此設計可能在設計文 ...

為對等應用程序中的每對節點創建單個 TCP 連接

[英]Create single TCP conection for every pair of nodes in peer-to-peer application

我正在 Rust 中開發一個點對點應用程序，我的目標是只有一個 TCP 連接（1 TcpStream）可以讀取和寫入。 這是示例網絡形狀： 從一個節點到其他節點的每個連接都來自相同的 IP 地址和端口，這一點很重要。 我正在嘗試實施一個初步步驟來創建所有連接並存儲它們，以便以后聽和寫它們。 我使用 ...

刪除未用於計算的列會影響 Spark 的性能嗎？

[英]Does dropping columns that are not used in computation affect performance in spark?

我有一個大型數據集（數億行），我需要使用帶有 Databricks 的 spark 進行大量處理。 該數據集有數十列，通常是 integer、浮點數或整數數組。 我的問題是：如果我在處理數據之前刪除一些不需要的列，會有什么不同嗎？ 就 memory 和/或處理速度而言？ ...

fold@home 之類的項目如何與您的計算機通信以解決蛋白質折疊問題？

[英]How does a project like folding@home communicate with your computer to solve protein folding?

像 fold@home 這樣的程序是如何工作的？ 我的電腦有嗎單獨執行一個“工作”單元，與運行折疊@home 的其他計算機完全分開？ 然后在完成后將答案發回？ 或者 Folding@home 是否將所有連接到它的計算機視為具有 1000 個內核的項目，然后當工作完成時，它相當於說類似make -j ...

將 ApacheBeam 與 Tensorflow (X) 或 pythorch 一起使用

[英]Using ApacheBeam with Tensorflow (X) or pythorch

在觀看了幾次演講並閱讀了一些關於 ApacheBeam 及其 API/SDK 的博客之后，我仍然無法弄清楚它是否也能夠與分布式機器學習訓練范式（例如數據並行）集成。 我在網上找到的內容通常只涉及它如何幫助構建端到端的 ML 管道（從預處理到服務），但如果訓練也可以並行完成，則沒有提及。 所以我的問題 ...


排序:
質量:
 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM