我在了解Spark LBFGS树时遇到了一些问题

Question

我最近在我的项目中尝试使用spark LBFGS方法，但是当我阅读源代码时，确实遇到了一个大问题，这是代码： 我不理解的代码 ，这是源代码链接： https： //github.com/apache/spark/blob/v1.6.0/mllib/src/main/scala/org/apache/spark/mllib/optimization/LBFGS.scala

我的问题是：如果我的输入数据（标签，特征）仅包含标签和特征向量，treeAggregate seqOp如何匹配{case（（grad，loss），（label，features）}}？我以为它只能匹配{大小写（标签，功能）}。

而且事实上，我也不是很了解“ treeAggregate”，有人可以帮我吗？

Answer 1

我认为您不是很了解treeAggregate operation 。

在您发布图片的过程中，让我对您的问题进行thorough description 。

之后，您将了解为什么源代码可以正确匹配这些内容！

如果您发现treeAggregate混乱，你可以先了解它的简单，但类似的版本- aggregate 。

聚合的原型是：

def aggregate[U](zeroValue: U)(seqOp: (U, T) ⇒ U, combOp: (U, U) ⇒ U)(implicit arg0: ClassTag[U]): U

看起来很复杂吧？ 让我为您澄清一下：

RDD为许多分区中的物理分布数据提供了抽象， 那么我们如何聚合一个特定键的值呢？

显然有两种情况：

1. 在同一分区中合并一个值 。

2. 跨不同分区合并数据 。

---

seqOp: (U, V) ⇒ U

这正是将值合并到一个分区结果中的操作 。

combOp: (U, U) ⇒ U

这是跨分区合并操作 ！

我想您熟悉reduce操作。

实际上， aggregate操作更普遍， reduce操作。

为什么存在aggregate ，是因为有时我们需要“减少”唯一键的值，但想要获得与父rdd不同的类型的结果 。

例如，如果我们想在父rdd中找到一个特定的键，那有多少个唯一值呢？

此“减少”操作的值类型显然与父级rdd不同。

val pairs = sc.parallelize(Array(("a", 3), ("a", 1), ("b", 7), ("a", 5)))
val sets = pairs.aggregateByKey(new HashSet[Int])(_+_, _++_)
sets.collect
res0: Array[(String, scala.collection.mutable.HashSet[Int])]  =Array((b,Set(7)), (a,Set(1, 5, 3))

这个例子是关于AggregateByKey的 ，但是对于Aggregation来说是可以理解的，仅使用整个数据聚合，而不是关于其他键。

仅此而已 。