Spark：应用foreach后我的数据集没有更新

Question

我有一个这样的数据集： Dataset<MyModel> ds ，并且MyModel有一个字段name （以及更多字段）。

我尝试这样做：

ds.foreach(r -> {
  r.setName("name");
});
return ds;

但我发现在返回的ds ， name字段没有更新。

我想知道我该怎么做才能让ds得到更新？

Answer 1

您不能更改数据集，只能创建一个新数据集

所以你需要对数据集应用地图，改变字段，产生一个新的数据集

如果 MyModel 是一个案例类，你会这样做：

ds.map(x => x.copy(myField = "新值"))

作为它的一个类实例，我建议您在地图中制作对象的副本，修改字段并返回副本。