【論文メモ】GSAM - Surrogate Gap Minimization Improves Sharpness-Aware Training
· ☕ 2 min read
はじめに SAMの改良 (SAM : Sharpness-Aware Minimization) Surrogate Gap Minimization Improves Sharpness-Aware Training 論文メモ 問題提起 SAMの計算式では, 本当にフラットな損失点を見つけているとは言えない 例えば下の図では, 近傍 について最適化すると, SAMの場合, 青に収束してしまう危険がある 本当に見るべきは以下に定義するsurrogate gap surrogate gap については, H ...