堆棧內存溢出
cost 159 ms
如果調用scheduleWithFixedDelay方法的次數超過池大小，則ScheduledExecutorService的工作方式如何？

[英]How works ScheduledExecutorService if call scheduleWithFixedDelay method more times than pool size?

在此代碼中，我創建了帶有5個線程池的ScheduledExecutorService ，並調用5個tims的scheduleWithFixedDelay方法。 它將創建5個調度程序，每個調度程序將每個secons調用testBean::test ： 但是我有很多問題。 我是否 ...

以編程方式向 Spark 添加/刪除執行程序 Session

[英]Programmatically add/remove executors to a Spark Session

我正在 Spark (v2+) 中尋找一種可靠的方法來以編程方式調整 session 中執行程序的數量。 我知道動態分配以及在創建 session 時配置 spark 執行程序的能力（例如使用--num-executors ），但由於我的 Spark 工作的性質，這些選項對我來說都不是很有用。 我 ...

Spark結構化流執行器的行為異常

[英]Spark Structured Stream Executors weird behavior

使用Spark Structured Stream和Cloudera解決方案，我正在使用3個執行器，但是當我啟動應用程序時，使用的執行器只是一個。 如何使用多個執行器？ 讓我給您更多信息。 這是我的參數： 命令啟動： 編碼： SparkUI中的結果： SparkU ...

在java中使用可調用接口查找階乘

[英]Finding the factorial using callable interface in java

在上面的代碼中，我想要做的是，我想找到用戶輸入的任何數字的階乘數。 返回的結果是當我嘗試對整數對象進行類型轉換時的對象，並且沒有發生獲取值。 我知道這可能是我無法做到的非常基本的事情。對此的任何小提示都會有所幫助。 非常感謝所有可以提供幫助的好心人。 ...

在一次只能運行一個構建的Jenkins奴隸上，一個執行程序與多個執行程序之間有區別嗎？

[英]Is there a difference between one executor vs multiple executors on a Jenkins slave where only one build should run at a time?

我有一個詹金斯設置，其中有1個主服務器和4個從屬服務器。 每個奴隸都致力於構建特定的東西（iOS，Android等）。 其中一名奴隸專門從事幾個工作，每個工作大約要花一個小時。 從站配置有4個執行程序，並且兩個作業的權重均為3。我了解這可以確保一次只有一個作業將在從站上運行。 但是， ...

執行人時間表不同

[英]Executors Schedule in different intervals

我嘗試使用newSingleThreadScheduledExecutor安排執行程序，該執行程序在10天（從系統初始化起），20天（從系統初始化起）之后以及每月的1日之后發送報告。 我嘗試使用每天運行的newSingleThreadScheduledExecutor，並檢查今天是否在10天之 ...

Pyspark執行程序上任務和數據的非均勻分布

[英]Non-Uniform distribution of task and data on Pyspark executors

我在pyspark上運行應用程序。 對於此應用程序，以下是執行程序分布的快照。 看起來不均勻分布。 有人可以看一下並告訴問題出在哪里。 描述和我的問題： 我正在大量數據上運行我的應用程序，在其中過濾並加入3個數據集。 之后，我將緩存加入的數據集，以在不同的時間段內生成和 ...

如何在Spark scala中跨執行程序廣播對象？

[英]How to broadcast Objects across executors in Spark scala?

我確信我們可以廣播變量的值，但我不知道如何在執行程序中廣播驅動程序中創建的對象。 我在Scala程序中為第三方Java類創建了一個對象。 我想將所有類的實例共享給所有執行程序，而不是創建多個對象。 我發現廣播方法可以用來廣播變量的值。 但我不知道是否可以用於廣播對象。 請發表您的建 ...

C ++上下文中的執行程序模式是什么？

[英]What is the executor pattern in a C++ context?

asio的作者Christopher Kohlhoff正在為C ++中的執行者提供庫和提議。 到目前為止，他的工作包括這些回購和文檔 。 不幸的是，理由部分還沒有寫出來。 到目前為止，文檔提供了一些圖書館的例子，但我不覺得我錯過了什么。 不知何故，這不僅僅是一系列花哨的調用函數。 ...

Java8 ForkJoinPool 和 Executors.newWorkStealingPool 的詳細區別？

[英]Detailed difference between Java8 ForkJoinPool and Executors.newWorkStealingPool?

使用之間的低級區別是什么： 和 其中X是所需的並行度級別，即正在運行的線程.. 根據文檔，我發現它們很相似。 還請告訴我在任何正常使用情況下哪種更合適和更安全。 我有1.3億個條目要寫入 BufferedWriter 並使用 Unix 按第一列排序對它們進行排序。 如果可能，還請告訴我要 ...

spark和reduceByKey中的spark執行器內存不足

[英]spark executor out of memory in join and reduceByKey

在spark2.0中，我有兩個數據幀，我需要先加入它們並執行reduceByKey來聚合數據。 我總是在遺囑執行人中獲得OOM。 提前致謝。 數據 d1（1G，5億行，緩存，由col id2分區） d2（160G，200萬行，緩存，由col id2分區，值col包含500 ...

每個使用YARN和Spark的工人有多個執行者？

[英]Multiple executors per worker using YARN and Spark?

在我公司，我們使用舊機器和新機器的組合將非常異構的YARN + Spark集群拼湊在一起。 由於各台計算機的統計信息千差萬別，因此我希望能夠在大型計算機上啟動多個執行程序。 將--num-executors設置--num-executors高於群集中的計算機數不起作用。 我是否需要更改其他 ...

Spark應用程序僅使用1個執行程序

[英]Spark application uses only 1 executor

我正在使用以下代碼運行應用程序。 我不明白為什么即使我有3個執行器也只使用1個執行器。當我嘗試增加范圍時，我的工作失敗，導致任務管理器丟失了執行器。 在摘要中，我看到隨機寫入的值，但是隨機讀取的值為0（可能是因為所有數據都在一個節點上，並且不需要隨機讀取就可以完成工作）。 編輯：我增 ...

Spark - 為我的spark作業分配了多少個執行器和內核

[英]Spark - How many Executors and Cores are allocated to my spark job

Spark架構完全圍繞執行器和核心的概念。 我想看看在集群中運行的spark應用程序運行了多少執行程序和核心。 我試圖在我的應用程序中使用下面的代碼段，但沒有運氣。 有沒有辦法使用SparkContext Object或SparkConf對象等來獲取這些值。 ...

ExecutorService永遠不會停止。在另一個執行任務中執行新任務時

[英]ExecutorService never stops. When execute new task inside another executing task

美好的一天。 我的網絡抓取工具有阻塞問題。 邏輯很簡單。 首先創建一個Runnable ，它下載html文檔，掃描所有鏈接，然后在所有資助的鏈接上創建新的Runnable對象。 每個新創建的Runnable都會為每個鏈接創建新的Runnable對象並執行它們。 問題是Execu ...

在並發框架中使用shutdownNow

[英]Use of shutdownNow in Concurrent framework

如果我像使用Futures 要么 系統等待任務完成。 即使我有executorService.shutdownNow(); 在上述聲明之后，我真的不明白系統何時會如文檔中所述強制終止現有線程，因為在任務完成並返回Future之前 ，系統永遠不會到達終點。 我想念什么嗎？ ...


排序:
質量:
 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM