避免在 Sigmoid 函數中被零除

Question

以： https ://nbviewer.org/github/ImadDabbura/blog-posts/blob/master/notebooks/Coding-Neural-Network-Forwad-Back-Propagation.ipynb 作為參考我正在嘗試構建一個 Vanila 深度學習代碼。 我想知道如何在 sigmoid 函數中避免除以零。

def sigmoid(Z):
"""
Computes the sigmoid of Z element-wise.

Arguments
---------
Z : array
    output of affine transformation.

Returns
-------
A : array
    post activation output.
Z : array
    output of affine transformation.
"""
A = 1 / (1 + np.exp(-Z))

return A, Z

Answer 1

我想知道如何在 sigmoid 函數中避免除以零。

對於1 + exp(-Z)為零， exp(-Z)需要為-1 ，這不會發生，因為exp對於所有實數始終為正。 Z是神經網絡中的實數。