當我在Apache Flink中僅運行一項作業時，為什么在任務管理器中看到幾項已完成的作業？

Question

在Apache Flink中，我在遠程集群上運行任務。 我有一個包含以下命令的任務。 我想知道，為什么Flink Web客戶端將我的任務視為已完成的工作中的幾個不同的工作？

personRecords =    env.readCsvFile("path to input file/dataset1.csv")
                .lineDelimiter("\n").ignoreFirstLine()
                .fieldDelimiter(",")           
                .includeFields("111")
                .types(Integer.class, String.class, String.class);

pData = personRecords.map(new cleanerMap());
pData = pData.sortPartition(3, Order.ASCENDING).setParallelism(1);
env.setParallelism(4);
MultiKey_List = partitionedData.collect();
...
pData = p.partitionCustom(new MyPartitioner(), 3);
DataSet<Tuple2<Integer, Integer>> dPairs =    pData.mapPartition(new  Calc());
dPairs = dPairs.flatMap(new TC(dPairs.collect())).setParallelism(1);
env.execute();

Answer 1

這是因為collect命令會觸發作業的執行，直到調用它為止。 因此，它與幾乎所有其他經過急切評估的api調用不同。 觸發作業執行的另一種方法是count 。

您在collect之后定義的所有其他接收器將由后續的collect調用或在您調用ExecutionEnvironment.execute時ExecutionEnvironment.execute 。