CRF和全连接CRF的区别？

Question

谁能解释一下语义分割的条件随机场和完全连接的条件随机场之间的区别？ 到目前为止，我只了解，使用 CRF，您尝试使用两种信息来改进分割掩码：

1. 像素强度：类之间的边缘的一个很好的猜测是像素强度。 所以有了这个我们可以加权对象的边缘
2. 像素接近度：对于靠得很近的像素，它们很可能属于同一个 class。 没有这个，我们将在另一个 class 的实例中解释 object 内的边缘，例如背景。

我的假设正确吗？ 对于 CRF 或完全连接的 CRF 或两者都是这样吗？

谢谢！

Answer 1

你说得有点对，但我会尽量让它更精确并解释它们的区别。

首先，条件随机场 (CRF) 是用于分类的图形 model，其中您有两个惩罚，一个用于节点分类（您的项目 1），另一个用于边缘，相邻节点的分歧受到惩罚（您的项目 2）。

对于图像分割，通常将每个像素视为图中的一个节点，并且它们的相邻像素是它们的邻居（2D 图像中的 4 或 8 个邻居），边缘的权重将尝试强制那些相邻像素将具有类似的标签。 生成的图非常稀疏，CRF 计算速度很快。

当 CRF 完全连接时，每个节点都彼此相邻，这使得计算变得更加昂贵，但是在 [1] 中发现了这一点。 优化可以在具有高斯边缘权重的图像图中有效地完成，在这种情况下。 您不仅要考虑每个像素的邻域来获得其 class，还要考虑图像中的每个其他像素。

您可以在 [1] 中找到有关此的更多信息。

[1] Krähenbühl, P. 和 Koltun, V. (2011)。 具有高斯边缘电位的全连接 CRF 中的有效推理。 在神经信息处理系统的进展中（第 109-117 页）。