如何使用 JAVA 獲取在 spark 2.3 中寫入的行數？

Question

我知道我們可以使用使用 count()。 但我正在嘗試使用 sparkListener 捕獲計數。 但我沒能寫出正確的 java 代碼。 我已經嘗試按照如何在 Spark 中實現自定義作業偵聽器/跟蹤器中給出的確切方法？ 但我無法在 JAVA 中重現它。 這是我嘗試過的事情。

sparkContext.sparkContext().addSparkListener(new SparkListener()
                {
                    @Override
                    private void onTaskEnd(SparkListenerTaskEnd taskEnd){
                        taskEnd.taskInfo().accumulables().name
                    }
                });

但它會引發很多與覆蓋和名稱相關的錯誤。感謝任何幫助。 謝謝。

Answer 1

無法降低從 SparkListener 繼承的方法的可見性

更改公共代碼私有的覆蓋方法應該可以工作

sparkContext.sparkContext().addSparkListener(new SparkListener() {
            @Override
            public void onTaskEnd(SparkListenerTaskEnd taskEnd){
                    System.out.println(taskEnd.taskInfo().accumulables());
            }
        });