Q学習は推定値 $E_t$ を使って推定値 $E_{t+1}$を更新する (これをブートストラップと呼ぶ) ゆえにQ学習は不安定なのだが, NNを加えると更に不安定になりやすい DQNでは, 推定値 $E_t$ と推定値 $E_{t+1}$の相関が強くなりすぎないように「経験再生」と「ターゲットネットワーク」と呼ばれるものを導入する 経験再生 過去の状態や行動 ...

モンテカルロ法 二次グリッド上の経路探索問題なら, 状態 $s$ は $(i,j)$の各マス 方策 $\pi$に準じて $N$回行動 $a$をサンプリング 移動先の状態 $s_k$と収益 $G_t(s_k)$を記録 終端まで収益 $G_t(s_k)$を計算 最後に各状態 $s$の収益 $G_t(s_k)$の平均を取る [* 行動 $a$をサンプリングしている点に注 ...

中国語の部屋 ...

状態: $s \in S$ 行動: $a \in A$ 方策: $\pi$ $\pi : S \rightarrow A$ と定義 累積的にデータセットを増やしながら方策を学習していく感じ 誤差が少ないらしい ...

「私の鼻は大きくて魅力的でしよ」などと頑張つてゐる女の子より、美の規格を外れた鼻に絶望して、人生を呪つてゐる女の子のはうを愛します。それが「生きてゐる」といふことだからです。 ...

...

AtCoder Alert (https://yuiga.dev/atcoder-alert ) を久々にメンテした (2022-06-20) 勉強目的で作っただけで, 特に宣伝も何もしていないのに(当の本人すら使っていない), ここまで波及するとはビックリ 一つだけ仕込んでおいた"仕掛け"が機能したようだ 波及に気づいたときには仕掛け学的カタルシスを感じた 素直に言えば, うれしい気持ちでいっぱいである https://twitter.com/search?q=yuiga.dev%2Fatcoder-alert&src=typed_query&f=live 中身は単純 Nuxt + TS + ...

「カメラ $O_L$から見て $X_L$に物体が写っている」とき、「カメラ $O_R$ から見てどこに物体が写るか」の候補 https://qiita.com/Thought_Nibbler/items/9cb7c2637000eecc1a30 “平行な目"では, epipolar lineは平行になる https://gyazo.com/0357ac0708ea93a2036c5c88a388a321[https://gyazo.com/73088515f6591c4dc94313d88accc163] ...

真の分布 $g$と得られた分布 $f$のKLダイバージェンスを最小化したい → ( $f$と $g$の交差エントロピー) - ( $g$のエントロピー) を最小化したい で, 真の分布 $g$が得られないので, 色々と強い仮定を連ねると, 例のあの式が導出されるみたい 割とAICの導出は難しい https://gyazo.com/fdf004f02bebf52589f0be3e740535f7 ...

結局重要なのは記憶 谷川俊太郎が詩と自己の同一化を説き, 暗唱の重要性を書いていたが (詩の誕生), 思考にも同様のことが言える 夏目漱石が寺田寅彦へ「扇のかなめのような集注点を指摘し描写して、それから放散する連想の世界を暗示するものである。」と言ったように, 結局のところ, 連想というのは思考を支える重要な作用である以上, 記憶の重 ...

Matterport3DSimulatorをCUDA11.1で動かすDockerfile 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 FROMnvcr.io/nvidia/pytorch:19.05-py3FROMphp:7.1.9-apacheFROMnvidia/cuda:11.1-cudnn8-devel-ubuntu18.04RUN rm /etc/apt/sources.list.d/cuda.listRUN rm /etc/apt/sources.list.d/nvidia-ml.listRUN apt-key del 7fa2af80RUN apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/3bf863cc.pubRUN apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1804/x86_64/7fa2af80.pubRUN apt-get updateRUN apt-get -y upgradeRUN apt-get -y install nano wget curl# ONNX Runtime Training Module for PyTorch# Copyright (c) Microsoft Corporation. All rights reserved.# Licensed under the MIT License.ARG TORCH_CUDA_VERSION=cu111 ARG TORCH_VERSION=1.8.1ARG TORCHVISION_VERSION=0.9.1# Install and update tools to minimize security vulnerabilitiesRUN apt-get updateRUN apt-get install -y software-properties-common wget apt-utils patchelf git libprotobuf-dev protobuf-compiler cmake RUN unattended-upgradeRUN ...

Fork 親プロセスをそのままコピーするので, メモリを圧迫する Spawn 親プロセスから必要なメモリだけコピーして, 立ち上げるので省メモリ 新たにインタプリタを起動するので遅い link1: https://britishgeologicalsurvey.github.io/science/python-forking-vs-spawn/ link2: https://itsuka-naritai.com/2021/04/18/multiprocessing-forkとspawnの違いを理解する/ CUDAはs ...

引用: https://t.ly/4XHt 法線ベクトルがあれば, 表面が再構成可能 一つの平面に対して, 法線ベクトルをつなげていけば良い ...