[英]Apply Map Reduce in Java
我非常喜欢流, map
, reduce
和filter
。
我从我的Cassandra表中获取行列表,其中包含三个字段vehicleType
, noOfVehicles
和taxPerParticularVehicleType
。
我想准备一组由这三个组成的三元组,以便不增加任何特定类型的车辆数量,而三元组也应包含特定车辆类型的税额的算术平均值。
我正在应用我的映射,例如:
session.execute(statement).all().stream()
.map(row -> new ImmutablePair<>(row.getString("vehicleType"), new ImmutablePair<>(row.getInt("noOfVehicles"), row.getFloat("tollTaxOfParticularType") * row.getInt("noOfVehicles"))))
.reduce(x->{
});
并且我无法应用reduce,因此应将其添加到以下集合中:
Set<Triple<String,Integer,Double>> set = new HashSet<>();
我正在举一个我想通过Map-Reduce实现的示例:
我正在映射来自我的表的三个字段(vehicleType,noOfVehicle,taxOfParticularVehicle),例如:
(vehicleType,(noOfVehicle,noOfVehicle*taxOfParticularVehicle))
假设映射给了我这样的数组:
[("A",(12,48)),("A",(10,30)),("B",(3,30)),("B",(4,70))]
最后,我想将其简化为以下设置:
[("A",22,39),("B",7,50)]
这样就可以得出noOfVehicle的总和,而税款是该组中车辆税的算术平均值。
如果不进行多次流传输或在外部保持可变状态,这将有些棘手。 这些方法最干净的替代方法似乎是编写一个自定义Collector
。
我Pair
和Triple
不满意,因此为了说明起见,我使用了具体的类: Data
是单个数据点的持有人,并且与您的Triple数据相对应。
static final class Data {
final String type;
final int noOfVehicles;
final double totalTax;
Data(String type, int noOfVehicles, double totalTax) {
this.type = type;
this.noOfVehicles = noOfVehicles;
this.totalTax = totalTax;
}
}
接下来,我们需要一个在可变归约期间保存状态的助手类,我将其称为Stats
:
static final class Stats {
int noOfVehiclesSum;
double totalTaxSum;
int count;
@Override
public String toString() {
return "Stats{" + "noOfVehiclesSum=" + noOfVehiclesSum +
", averageTax=" + (totalTaxSum / count) + '}';
}
}
让我们创建一个测试数据列表
List<Data> l = Arrays.asList(new Data("A", 12, 48.0),
new Data("A", 10, 30.0),
new Data("B", 3 , 30.0),
new Data("B", 4 , 70.0),
new Data("B", 5 , 20.0));
作为减少的最终结果,我想要的是Map<String, Stats>
,其中包含从该类型的vehicleType到Stats
对象的映射(包含该类型的车辆总数和平均税率)。
在此示例中: {A=Stats{noOfVehiclesSum=22, averageTax=39.0}, B=Stats{noOfVehiclesSum=12, averageTax=40.0}}
我不知道有比编写自己的自定义Collector
更好的解决方案,在此示例中,该Collector
看起来类似于以下内容:
static class StatsCollector implements Collector<Data, Stats, Stats> {
@Override
public Supplier<Stats> supplier() {
return Stats::new;
}
@Override
public BiConsumer<Stats, Data> accumulator() {
return (stats, data) -> {
stats.noOfVehiclesSum += data.noOfVehicles;
stats.totalTaxSum += data.totalTax;
stats.count += 1;
};
}
@Override
public BinaryOperator<Stats> combiner() {
return (lft, rght) -> {
lft.noOfVehiclesSum += rght.noOfVehiclesSum;
lft.totalTaxSum += rght.totalTaxSum;
lft.count += rght.count;
return lft;
};
}
@Override
public Function<Stats, Stats> finisher() {
return Function.identity();
}
@Override
public Set<Characteristics> characteristics() {
return EnumSet.of(Collector.Characteristics.IDENTITY_FINISH);
}
}
最后,经过所有这些工作之后,您将能够编写
Map<String, Stats> result = l.stream()
.collect(Collectors.groupingBy(data -> data.type,
new StatsCollector()));
并获得所需的映射。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.