输入与输出之间的熵

Question

作为大学工作的一部分，我必须实施一个培训程序，该程序从根本上根据给定层的输入和输出之间的磁化度来逐层训练MLP。

我已经在https://github.com/pdoren/DeepEnsemble/blob/master/deepensemble/utils/utils_functions.py#L238-L264和https://github.com/pdoren/中成功找到了与熵相关的一些代码DeepEnsemble / blob / master / deepensemble / utils / cost_functions.py＃L210-L237 。 但是，只有样本大小相同时才可以使用此代码。

所以，我的问题是：如何在Theano中计算MLP层的输入和输出之间的熵？

Answer 1

（1）熵与交叉熵不同。 它具有MSE或局部交叉的理想属性，但总体上具有L1 / 0属性，可以根据距离相对应地对异常值进行正则化。 （2）后续提问者是正确的，您不是在输入到输出上计算错误度量，而是在输出到实际上计算错误度量（“多远”是根据地面事实进行的预测）。

Keras允许创建您自己的目标函数/距离度量。 我还没有实现这些，但是当我在keras中使用Correntropy作为目标函数寻找代码时发现了这些：

https://github.com/EderSantana/seya/blob/master/seya/regularizers.py

https://github.com/EderSantana/seya/blob/master/seya/objectives.py