post
CORS
· ☕ 1 min read
Cross-Origin Resource Sharing オリジンとは, プロトコル + ドメイン + ポート のこと つまり, CORSとは同じオリジン間でのリソースの共有のこと なので, オリジンが異なるリクエストは基本CORSエラーが起きる ...
「村上春樹、河合隼雄に会いにいく」
· ☕ 4 min read
p132-134 村上: ただ、ぼくが「ねじまき鳥クロニクル」に関 して感ずるのは、何がどういう意味を持っているの かということが、自分でもまったくわからないとい うことなのです。これまで書いてきたどの小説にも まして、わからない。 たとえば、「世界の終りとハードボイルド・ワン ダーランド」は、かなり同じような手法で書いたも のではあるのですが、ある ...
Twitter
· ☕ 1 min read
AboutMeでTweetの有害性について書いたが, とても良く言語化されている以下の記事達を発見した. /shokai/承認欲求の刺激につながる機能を全て排除する /shokai/人間には承認欲求を刺激すると知能が下がるバグがある ...
REINFORCE
· ☕ 1 min read
単純な方策勾配方法では ∇J(θ)=Eτθ[∑tG(τ)∇logπθ(At|St)] が使われていたが, 全ての時刻 tにおいて収益 G(τ)が一律に使用されているのが気がかりである 重要なのは, 時刻 tの行動の後の評価であるから, [0,t)の収益はノイズとなり得る そこで, REINFORCEでは以下のように勾配を変更する $$\nabla J(\theta) = \mathrm{E}_{\tau_\theta} \lbrack \sum_t G_t ...
強化学習
· ☕ 2 min read
引用: ゼロから作るDeep Learning ❹ ―強化学習編 価値を如何に定めるか？ 状態 sと方策 πで決める→状態価値関数 状態 sと方策 πと行動 aで決める→行動価値関数 (Q関数) 方策 πはグラフ遷移そのものと等しい存在 例えば, π(a|s)は状態 sから行動 aを実行する確率を表す 価値ベース手法 価値 ...

強化学習
PPO
· ☕ 0 min read
...
TD法
· ☕ 1 min read
DP法とMC法の中間 MCの場合, 終端までわかってないと使えなかった なので, 1ステップの状態に対してサンプリングを行い, 評価→行動 引用: ゼロから作るDeep Learning ❹ ―強化学習編 ...

TD法
DQN
· ☕ 1 min read
Q学習は推定値 Et を使って推定値 Et+1を更新する (これをブートストラップと呼ぶ) ゆえにQ学習は不安定なのだが, NNを加えると更に不安定になりやすい DQNでは, 推定値 Et と推定値 Et+1の相関が強くなりすぎないように「経験再生」と「ターゲットネットワーク」と呼ばれるものを導入する 経験再生 過去の状態や行動 ...
MC法
· ☕ 1 min read
モンテカルロ法 二次グリッド上の経路探索問題なら, 状態 s は (i,j)の各マス 方策 πに準じて N回行動 aをサンプリング 移動先の状態 skと収益 Gt(sk)を記録 終端まで収益 Gt(sk)を計算 最後に各状態 sの収益 Gt(sk)の平均を取る [* 行動 aをサンプリングしている点に注 ...

MC法
AGI
· ☕ 1 min read
中国語の部屋 ...
DAgger algorithm
· ☕ 1 min read
状態: s∈S 行動: a∈A 方策: π π:S→A と定義 累積的にデータセットを増やしながら方策を学習していく感じ 誤差が少ないらしい ...

DAgger algorithm

©2025, All Rights Reserved