JavaScriptを有効にしてください

GeLU

 ·  ☕ 1 min read
  • シグモイド関数よりも,高速で収束性能の良い,ReLU型関数による活性化.

  • Dropout(活性値のランダムな0化)による,モデルの正則化効果

  • RNN向け正則化手法の Zoneout のような「入力へランダムに1を掛けることによる正則化」の効果.

  • アイデア

  • 入力 $x$に ベルヌーイ分布を掛ける
    $$GELU(x) = x \cdot P (X \le x) X \sim \mathcal{N}(0, 1)$$

  • サンプリングはコストが高いので, 関数を近似


todo
https://cvml-expertguide.net/terms/dl/layers/activation-function/relu-like-activation/relu/

共有

YuWd (Yuiga Wada)
著者
YuWd (Yuiga Wada)
機械学習・競プロ・iOS・Web