https://yuiga.dev/blog/en/tags/optimizer/ Recent content in Optimizer on 行李の底に収めたり[YuWd] Hugo -- gohugo.io en ©2026, All Rights Reserved Mon, 01 Aug 2022 20:16:49 +0900 https://yuiga.dev/blog/en/ja/posts/gsam_-_surrogate_gap_minimization_improves_sharpness-aware_training/ Mon, 01 Aug 2022 20:16:49 +0900 Mon, 01 Aug 2022 20:16:49 +0900 https://yuiga.dev/blog/en/ja/posts/gsam_-_surrogate_gap_minimization_improves_sharpness-aware_training/ はじめに SAMの改良 (SAM : Sharpness-Aware Minimization) Surrogate Gap Minimization Improves Sharpness-Aware Training 論文メモ 問題提起 SAMの計算式では, 本当にフラットな損失点を見つけているとは言えない $$L_\mathcal{S}^\text{SAM}(\mathbf{w}) \triangleq \max_{|\mathbf{\epsilon}|_p\leq\rho} L_\mathcal{S}(\mathbf{w}+\mathbf{\epsilon})$$ 例えば下の図では, 近傍 $f_p$について最適化すると, SAMの場合, 青に収束してしまう危険がある 本当に見るべきは以下に定義するsurrogate gap $h(x)$ $$h(x) := f_p(x) - f(x)$$ surrogate gap $h(x)$については, H YuWd (Yuiga Wada) featured image 論文 Optimizer