jax.nn.relu

内容

jax.nn.relu#

jax.nn.relu = <jax._src.custom_derivatives.custom_jvp object>[source]#

修正线性单元激活函数。

计算逐元素函数

\[\mathrm{relu}(x) = \max(x, 0)\]

但在微分下,我们取

\[\nabla \mathrm{relu}(0) = 0\]

更多信息请参见 ReLU’(0) 对反向传播的数值影响

参数:

x (ArrayLike) – 输入数组

返回值:

一个数组。

返回类型:

Array

示例

>>> jax.nn.relu(jax.numpy.array([-2., -1., -0.5, 0, 0.5, 1., 2.]))
Array([0. , 0. , 0. , 0. , 0.5, 1. , 2. ], dtype=float32)

另请参阅

relu6()