如何使用 Gammatone 過濾器（或任何過濾器）初始化 CNN 層以進行聲音回歸（或分類）？

Question

For my project I need to initialize the CNN 1st Layer kernel with Gammatone filters according to papers ( https://www.mdpi.com/1099-4300/20/12/990/htm ),( https://www.groundai .com/project/end-to-end-environmental-sound-classification-using-a-1d-convolutional-neural-network/1 ）和其他一些。 使用 Gammatone 過濾器（或任何過濾器）初始化 cnn kernel 究竟意味着什么。 如何實現它？ 是自定義圖層嗎？ 任何提示和指導將不勝感激！

例如

conv_1 = Conv1D(filters = 64, kernel_size = 3, kernel_initializer = *insert Gammatone Filter*, padding = 'same', activation='relu', input_shape = (timesteps, features))(decoder_outputs3)

TIA

Answer 1

您可以使用 TensorFlows 常量初始化器：

gammatone_filter_kernel = np.array([...])
init_kernel = tf.constant_initializer(gammatone_filter_kernel)
# ...
conv_1 = Conv1D(filters = 64, kernel_size = 3, kernel_initializer = init_kernel, padding = 'same', activation='relu', input_shape = (timesteps, features))(decoder_outputs3)
# ...

如果您的過濾器是信號的某種預處理步驟，您可以將 conv laver 的trainable屬性設置為False ，並且權重將固定。