如何使用 JAVA 获取在 spark 2.3 中写入的行数？

Question

我知道我们可以使用使用 count()。 但我正在尝试使用 sparkListener 捕获计数。 但我没能写出正确的 java 代码。 我已经尝试按照如何在 Spark 中实现自定义作业侦听器/跟踪器中给出的确切方法？ 但我无法在 JAVA 中重现它。 这是我尝试过的事情。

sparkContext.sparkContext().addSparkListener(new SparkListener()
                {
                    @Override
                    private void onTaskEnd(SparkListenerTaskEnd taskEnd){
                        taskEnd.taskInfo().accumulables().name
                    }
                });

但它会引发很多与覆盖和名称相关的错误。感谢任何帮助。 谢谢。

Answer 1

无法降低从 SparkListener 继承的方法的可见性

更改公共代码私有的覆盖方法应该可以工作

sparkContext.sparkContext().addSparkListener(new SparkListener() {
            @Override
            public void onTaskEnd(SparkListenerTaskEnd taskEnd){
                    System.out.println(taskEnd.taskInfo().accumulables());
            }
        });