如何實現去除/修剪神經網絡中接近零的參數？

Question

我需要去除神經網絡的接近零的權重，使參數的分布遠離零點。 去除近零權重和權重縮放后的權重分布

我從這篇論文中遇到了問題： https://ieeexplore.ieee.org/document/7544366

我想知道如何在我的 PyTorch/TensorFlow 程序中實現這一點，例如使用自定義激活層？ 或者定義一個損失 function 來懲罰接近零的權重？

如果你能提供任何幫助，謝謝。

Answer 1

您正在尋找 L1 正則化， 請閱讀文檔。

import tensorflow as tf

tf.keras.layers.Dense(units=128,
                      kernel_regularizer=tf.keras.regularizers.L1(.1))

較小的系數將變為零。