JavaScriptを有効にしてください

Stochastic Depth

 ·  ☕ 1 min read
  • SwinTransformerでは有効活用されてるらしい

  • DeiTなどにも

  • Dropoutがネットワークの幅を調整するのに対して,

  • Stochastic Depth ではネットワークの深さを調節する

層のとても深いResNetといったモデルはBackpropagation時の勾配消失や,各パラメータが有効に学習しない,学習時間の増大などが問題点として上げられている.

本研究ではResNetを対象とした,層の深いネットワークを見かけ上浅いネットワークのように学習を行い,テスト時に元のDeepなネットワークとなるよう振る舞う”Stochastic Depth”を提案している.


共有

YuWd (Yuiga Wada)
著者
YuWd (Yuiga Wada)
機械学習・競プロ・iOS・Web