jax.nn.gelu#
- jax.nn.gelu(x, approximate=True)[source]#
高斯误差线性单元激活函数。
如果
approximate=False，则计算逐元素函数\[\mathrm{gelu}(x) = \frac{x}{2} \left(1 + \mathrm{erf} \left( \frac{x}{\sqrt{2}} \right) \right)\]如果
approximate=True，则使用 GELU 的近似公式\[\mathrm{gelu}(x) = \frac{x}{2} \left(1 + \mathrm{tanh} \left( \sqrt{\frac{2}{\pi}} \left(x + 0.044715 x^3 \right) \right) \right)\]有关更多信息，请参阅 高斯误差线性单元 (GELUs)，第 2 节。