jax.nn.sparse_plus

内容

jax.nn.sparse_plus(x)[source]#

稀疏加函数。

计算函数

\[\begin{split}\mathrm{sparse\_plus}(x) = \begin{cases} 0, & x \leq -1\\ \frac{1}{4}(x+1)^2, & -1 < x < 1 \\ x, & 1 \leq x \end{cases}\end{split}\]

这是 softplus 激活函数的孪生函数，它确保输入小于 -1 时输出为零，输入大于 1 时输出为线性，同时保持平滑、凸、单调，在 -1 和 1 之间通过适当的定义来实现。