AIC (赤池情報量基準)
· ☕ 1 min read
真の分布 $g$と得られた分布 $f$のKLダイバージェンスを最小化したい → ( $f$と $g$の交差エントロピー) - ( $g$のエントロピー) を最小化したい で, 真の分布 $g$が得られないので, 色々と強い仮定を連ねると, 例のあの式が導出されるみたい 割とAICの導出は難しい https://gyazo.com/fdf004f02bebf52589f0be3e740535f7 ...

連想と思考
· ☕ 1 min read
結局重要なのは記憶 谷川俊太郎が詩と自己の同一化を説き, 暗唱の重要性を書いていたが (詩の誕生), 思考にも同様のことが言える 夏目漱石が寺田寅彦へ「扇のかなめのような集注点を指摘し描写して、それから放散する連想の世界を暗示するものである。」と言ったように, 結局のところ, 連想というのは思考を支える重要な作用である以上, 記憶の重 ...

Matterport3DSimulatorをCUDA11.1で動かす
· ☕ 1 min read
Matterport3DSimulatorをCUDA11.1で動かすDockerfile 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 FROMnvcr.io/nvidia/pytorch:19.05-py3FROMphp:7.1.9-apacheFROMnvidia/cuda:11.1-cudnn8-devel-ubuntu18.04RUN rm /etc/apt/sources.list.d/cuda.listRUN rm /etc/apt/sources.list.d/nvidia-ml.listRUN apt-key del 7fa2af80RUN apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/3bf863cc.pubRUN apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1804/x86_64/7fa2af80.pubRUN apt-get updateRUN apt-get -y upgradeRUN apt-get -y install nano wget curl# ONNX Runtime Training Module for PyTorch# Copyright (c) Microsoft Corporation. All rights reserved.# Licensed under the MIT License.ARG TORCH_CUDA_VERSION=cu111 ARG TORCH_VERSION=1.8.1ARG TORCHVISION_VERSION=0.9.1# Install and update tools to minimize security vulnerabilitiesRUN apt-get updateRUN apt-get install -y software-properties-common wget apt-utils patchelf git libprotobuf-dev protobuf-compiler cmake RUN unattended-upgradeRUN ...

fork vs spawn
· ☕ 1 min read
Fork 親プロセスをそのままコピーするので, メモリを圧迫する Spawn 親プロセスから必要なメモリだけコピーして, 立ち上げるので省メモリ 新たにインタプリタを起動するので遅い link1: https://britishgeologicalsurvey.github.io/science/python-forking-vs-spawn/ link2: https://itsuka-naritai.com/2021/04/18/multiprocessing-forkとspawnの違いを理解する/ CUDAはs ...

ランバート反射
· ☕ 1 min read
引用: https://t.ly/4XHt 法線ベクトルがあれば, 表面が再構成可能 一つの平面に対して, 法線ベクトルをつなげていけば良い ...


【論文メモ】Maximum Classifier Discrepancy for Unsupervised Domain Adaptation
· ☕ 1 min read
Domain Adaptation 従来手法 : sourceとtargetとで分布が違うはずなのに, ドメイン同士の境界(赤線)を基準に近づけようとしている → 分布の違いを考慮しつつ決定境界を修正する必要がある → GAN GAN風に学習する 2つのclassifierとそれらを生成するgenerator ...


Sinkhorn-Knoppアルゴリズム
· ☕ 1 min read
Sinkhorn-Knoppの定理 台をもつ非負行列は, 適切な対角行列の前方および後方からの乗算によって二重確率行列へ変換できる 任意の正方行列 $A$は $D_{1}AD_{2}$が二重確率行列であるような、真に正の成分からなる対角行列 $D_{1}, D_{2}$が存在する Sinkhorn-Knoppアルゴリズム すべての行とすべての列を交 ...

goroutineはなぜ軽量?
· ☕ 1 min read
スケジューラがクソ優秀なだけ システムコールではなく, 独自にスイッチング #* メモリについて 基本的にGolangのgoroutineはスレッドよりもメモリ軽量 普通スレッドを作ると, ヒープとスタックが被らないようにGuard pageを作る goroutineの場合, guard pageを作らず, まずは小さいスタックを作る 途中でスタック領域 ...


Goと例外処理
· ☕ 1 min read
Goにはtry-catchがない なぜか? First, there is nothing truly exceptional about errors in computer programs. For instance, the inability to open a file is a common issue that does not deserve special linguistic constructs; if and return are fine. 1 2 3 4 f, err := os.Open(fileName) if err != nil { return err } Also, if errors use special control structures, error handling distorts the control flow for a program that handles errors. The Java-like style of try-catch-finally blocks interlaces multiple overlapping flows of control that interact in complex ways. Although in contrast Go makes it more verbose to check errors, the explicit design keeps the flow of control straightforward—literally. There is no question the resulting code can ...

Data-centric AI
· ☕ 1 min read
モデルやアルゴリズムではなく, データセットそのものをどうにかしましょう的なやつ モデル・アルゴリズムを固定し, データセット自体を改良していくことで, 目標値を達成する 例えば, ラベルの一貫性を目指したり, アノテータ間の差異をへらす方向に努めるイメージ ノイズの削減 ラベルミスの修正 サブクラスのクラスタリング 問題は, systema ...

dependabot
· ☕ 1 min read
dependabotはいつのまにかGitHubに買収されていたらしい https://github.blog/jp/2019-05-24-building-an-interconnected-community-together/ ...

”ALLES IST ARCHITEKTUR”
· ☕ 1 min read
1967年、ハンス・ホラインの論文 主体を取り囲む環境は、全て建築と呼びうる。すなわち、フィジカルな環境もフィジカルでない環境も主体にとっては等価であり、それらの間に根本的な差異は存在しない。 環境とは主体の外部に客観的な実体として存在するわけではない。環境とは、主体の感覚により生成される主観的な存在である。 現象学と同じこ ...


Lyx
· ☕ 1 min read
ライクスと読む Lyxで表を書いて, texをコピペするのがおすすめ(らしい) ...