在这种情况下，熵意味着什么？

Question

我正在阅读一个图像分割纸，其中使用范式“信号分离”来解决问题，即信号（在这种情况下，图像）由几个信号（图像中的对象）以及噪声组成的概念，任务是分离信号（分割图像）。

算法的输出是一个矩阵， 它表示将图像分割成M个分量。 T是图像中的总像素数， 是像素j处的源分量（/ signal / object）i的值

在我正在阅读的论文中，作者希望选择一个组件m 它符合某些平滑度和熵标准。 但我在这种情况下无法理解熵是什么。

熵定义如下：

他们说''' 是与直方图的区间相关的概率 “”

目标成分是肿瘤，论文写着：“肿瘤相关成分 “几乎”常数值预计具有最低的熵值。“

但在这种情况下，低熵意味着什么呢？ 每个bin代表什么？ 具有低熵的矢量看起来像什么？

链接到纸张

Answer 1

他们在谈论香农的熵。 查看熵的一种方式是将其与关于与给定概率分布相关联的事件的不确定性量相关联。 熵可以作为“无序”的衡量标准。 随着无序程度的提高，熵增加，事件变得不那么可预测。

回到论文中的熵定义：

H（s_m）是随机变量s_m的熵。 这里 是结果s_m发生的概率。 m是所有可能的结果。 使用灰度级直方图计算概率密度p_n，这是总和从1到256的原因。区间表示可能的状态。

那么这是什么意思？ 在图像处理中，熵可以用于对纹理进行分类，某些纹理可能具有某种熵，因为某些图案以近似某些方式重复自身。 在本文的背景下，低熵（H（s_m）意味着低无序，组分内的低方差m。具有低熵的组分比具有高熵的组分更均匀，它们与平滑性标准结合使用以进行分类组件。

查看熵的另一种方法是将其视为信息内容的度量。 具有相对“低”熵的向量是具有相对低信息含量的向量。 它可能是[0 1 0 1 1 1 0]。 具有相对“高”熵的向量是具有相对高信息含量的向量。 它可能是[0 242 124 222 149 13]。

这是一个迷人而复杂的主题，实际上无法在一篇文章中进行总结。

Answer 2

熵是由Shanon（1948）引入的，熵的值越高=更详细的信息。 熵是图像信息内容的度量，其被解释为信息源的平均不确定性。 在图像中，熵被定义为各个像素可以适应的强度等级的对应状态。 它用于定量分析和评估图像细节，使用熵值，因为它提供了更好的图像细节比较。

Answer 3

也许，考虑图像中的熵和信息内容的另一种方式是考虑可以压缩多少图像。 独立于压缩方案（运行长度编码是众多编码之一），您可以想象一个具有少量信息（低熵）的简单图像可以用较少的字节数据编码，而完全随机的图像（如白噪声）不能被压缩很多，如果有的话。