使用神经网络和 ReLU 逼近正弦函数

Question

我正在尝试使用神经网络（Keras）来近似正弦函数。

是的，我阅读了相关帖子:)

• 链接 1

• 链接 2

• 链接 3

使用四个带有 sigmoid 的隐藏神经元和一个带有线性激活的输出层工作正常。

但也有一些设置提供的结果对我来说似乎很奇怪。

由于我刚刚开始工作，我对事情发生的原因和原因很感兴趣，但到目前为止我无法弄清楚。

# -*- coding: utf-8 -*-

import numpy as np
np.random.seed(7)

from keras.models import Sequential
from keras.layers import Dense
import pylab as pl
from sklearn.preprocessing import MinMaxScaler

X = np.linspace(0.0 , 2.0 * np.pi, 10000).reshape(-1, 1)
Y = np.sin(X)

x_scaler = MinMaxScaler()
#y_scaler = MinMaxScaler(feature_range=(-1.0, 1.0))
y_scaler = MinMaxScaler()

X = x_scaler.fit_transform(X)
Y = y_scaler.fit_transform(Y)

model = Sequential()
model.add(Dense(4, input_dim=X.shape[1], kernel_initializer='uniform', activation='relu'))
# model.add(Dense(4, input_dim=X.shape[1], kernel_initializer='uniform', activation='sigmoid'))
# model.add(Dense(4, input_dim=X.shape[1], kernel_initializer='uniform', activation='tanh'))
model.add(Dense(1, kernel_initializer='uniform', activation='linear'))

model.compile(loss='mse', optimizer='adam', metrics=['mae'])

model.fit(X, Y, epochs=500, batch_size=32, verbose=2)

res = model.predict(X, batch_size=32)

res_rscl = y_scaler.inverse_transform(res)

Y_rscl = y_scaler.inverse_transform(Y)

pl.subplot(211)
pl.plot(res_rscl, label='ann')
pl.plot(Y_rscl, label='train')
pl.xlabel('#')
pl.ylabel('value [arb.]')
pl.legend()
pl.subplot(212)
pl.plot(Y_rscl - res_rscl, label='diff')
pl.legend()
pl.show()

这是四个隐藏神经元 (ReLU) 和线性输出激活的结果。

为什么结果采用 ReLU 的形状？

这与输出归一化有关吗？

Answer 1

这里有两件事：

1. 你的网络真的很浅很小。 只有 4 个带有relu的神经元很可能会导致其中几个神经元完全饱和。 这可能就是您的网络结果看起来像这样的原因。 尝试将he_normal或he_uniform作为初始化程序来克服这个问题。
2. 在我看来，您的网络对于这项任务来说太小了。 我肯定会通过向网络引入更多神经元和层来增加网络的深度和宽度。 如果sigmoid形状与sin函数相似，这可能会正常工作 - 但在relu情况下，您确实需要更大的网络。

Answer 2

尝试添加更多隐藏层，每个隐藏层都有更多隐藏单元。 我使用了这个代码：

model = Sequential()
model.add(Dense(50, input_dim=X.shape[1], activation='relu'))
model.add(Dense(50, input_dim=X.shape[1], activation='relu'))
model.add(Dense(1, activation='linear'))

并得到了这些结果：