.dev/blog
技術ブログ.
Lyx
· ☕ 1 min read
ライクスと読む Lyxで表を書いて, texをコピペするのがおすすめ(らしい) ...
VPN
· ☕ 1 min read
ネットワーク同士をつなげるイメージ 例1. 自宅Aと別荘BのLANをつなげることができる 例2. 自宅AのLANにカフェから入ることができる VPNサーバってどういう仕組なんだろ 単純にトンネル作って暗号化&つなげるだけ https://www.sbbit.jp/article/cont1/15715 概要図 https://qiita.com/dem_kk/items/76000a954a8d98dd318c IP-VPNはこういうイメージ 外部から完全に隔離されているのでチョー安全 ...

VPN
NAT超え
· ☕ 1 min read
PC→サーバはNATによって, グローバルIPに変換されるから良いけど 一度も送信したことがないPCでは, サーバ→PCができない ⇒ それを解決するのがNAT超えという技術 ⇒オンラインゲーム・ビデオ会議アプリケーションなどでは必須の技術 代表的な手法は2つ STUN 別のサーバを挟んで, プライベートIP・ポート番号とグローバルIPの問い合 ...

NAT超え
NAT
· ☕ 2 min read
前提: 同じルーターに接続されている端末は, すべて同じグローバルIPとなる 大体NATというとNAPTのこと プライベートIPとグローバルIPを変換 (ポート番号で端末を識別) ポート番号の対応を覚えているので, レスポンスも適切な端末に届けることができる NAPT 同じポートに複数の端末が同時に通信した場合, 受信ポート番号を切り替えること ...
【論文メモ】Manifold Mixup: Better Representations by Interpolating Hidden States
· ☕ 1 min read
どういうの？ 無作為に選んだ層までは普通に計算して，その層の出力の複数をランダムに選んでMixup そのままその値を使って最終層まで計算＆lossを計算し, 逆伝播 決定境界が滑らかになるらしい 簡単に説明すると, まず特徴量空間上で特徴量がflattenな状態に収束していくらしい flatten=小さい部分空間で表現できるというこ ...

【論文メモ】Manifold Mixup: Better Representations by Interpolating Hidden States
FLANN
· ☕ 1 min read
高速に最近傍探索できるらしい OpenCVにも組み込まれてるっぽい SIFT + FLANN → https://docs.opencv.org/4.x/da/de9/tutorial_py_epipolar_geometry.html ...
faiss
· ☕ 1 min read
k近傍法 とか最近傍探索とかクラスタリングとかできるらしい CPU / GPU 両方とも用意してあるが, err == CUBLAS_STATUS_SUCCESS faiss という謎エラーのためプロジェクトではCPU版を使うことに https://github.com/facebookresearch/faiss ...
【論文メモ】Un-Mix
· ☕ 1 min read
IA にCutMixとMixup を掛ける ( Mixup: IAM=λI1+(1−λ)I2) 画像の混合比率 λ に応じて, 正例間の意味的距離を調節 Lfinal!=!Lori+λLm!(IAM(↓),I^A)⏟normal order of mixtures!+!(1!−!λ)Lm!(IAM(↑),I^A)⏟reverse order of mixtures Mix方法は, 単純にミニバッチを反転させて, indexごとにmixするだけ Mixup が効いて, より決定境界が明瞭に ...

【論文メモ】Un-Mix
Mixup
· ☕ 1 min read
クラス間の決定境界付近で, 各クラスの尤度の変化を滑らかにすると言われている In Manifold Mixup: Better Representations by Interpolating Hidden States ...
Woodburyの公式
· ☕ 1 min read
(A+BCD)−1=A−1−A−1B(C−1+DA−1B)−1DA−1 が成り立つ. 左辺を計算するより右辺を計算したほうが効率的なことがあるので便利 ...
Efficient Transformer
· ☕ 1 min read
サーベイ→ https://arxiv.org/abs/2009.06732 Fixed Patterns Blockwise Patterns シーケンスを局所的なサイズにクロップ Strided Patterns ストライドで計算 Compressed Patterns poolingなどでダウンサンプリング Combination of Patterns Learnable Patterns ReformerやRouting Transformer など 重要度が高いもののみ使用 Memory Set Transformerなど Low-Rank Methods Kernels Recurrence ...

Efficient Transformer
GeLU
· ☕ 1 min read
シグモイド関数よりも，高速で収束性能の良い，ReLU型関数による活性化． Dropout（活性値のランダムな0化）による，モデルの正則化効果． RNN向け正則化手法の Zoneout のような「入力へランダムに1を掛けることによる正則化」の効果． アイデア [* 決定論的なReLUを確率論的な「0 or x 選択」に差し替える] ⇒ ランダム正則化 入力 x ...

GeLU

©2025, All Rights Reserved