https://yuiga.dev/blog/en/tags/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92/ Recent content in 機械学習 on 行李の底に収めたり[YuWd] Hugo -- gohugo.io en ©2026, All Rights Reserved Thu, 18 Jan 2024 02:35:54 +0900 https://yuiga.dev/blog/en/ja/posts/nerf%E5%8B%95%E7%94%BB%E3%81%8B%E3%82%89%E7%82%B9%E7%BE%A4%E3%83%A1%E3%83%83%E3%82%B7%E3%83%A5%E4%BB%BB%E6%84%8F%E8%A6%96%E7%82%B9%E5%8B%95%E7%94%BB%E3%82%92%E7%94%9F%E6%88%90%E3%81%97%E3%81%A6%E3%81%BF%E3%82%8B/ Thu, 18 Jan 2024 02:35:54 +0900 Thu, 18 Jan 2024 02:35:54 +0900 https://yuiga.dev/blog/en/ja/posts/nerf%E5%8B%95%E7%94%BB%E3%81%8B%E3%82%89%E7%82%B9%E7%BE%A4%E3%83%A1%E3%83%83%E3%82%B7%E3%83%A5%E4%BB%BB%E6%84%8F%E8%A6%96%E7%82%B9%E5%8B%95%E7%94%BB%E3%82%92%E7%94%9F%E6%88%90%E3%81%97%E3%81%A6%E3%81%BF%E3%82%8B/ NeRFを使えば，点群・メッシュ・任意視点動画が作れるのでやってみた 今回は愛飲するRedBullを被写体にしてみるヨ！ 任意視点動画 (GIF版) 任意視点動画 (動画版) Your browser does not support the video tag. 点群 NeRFとnerfstudioについて簡潔に説明 ボリュームレンダリング ある点 $x$と方向 $d$を入力として $(c,\sigma)$を出力 YuWd (Yuiga Wada) featured image 論文 機械学習 PyTorch CV https://yuiga.dev/blog/en/ja/posts/emnlp_2023_%E5%8F%82%E5%8A%A0%E9%8C%B2/ Mon, 11 Dec 2023 03:04:16 +0900 Mon, 11 Dec 2023 03:04:16 +0900 https://yuiga.dev/blog/en/ja/posts/emnlp_2023_%E5%8F%82%E5%8A%A0%E9%8C%B2/ EMNLP2023に行ってきた ポスター発表の画 面白かった発表 (マイベスト) Accelerating Toeplitz Neural Network with Constant-time Inference Complexity 会場で唯一見つけたSSM論文 (e.g., Hungry Hungry Hippos: Towards Language Modeling with State Space Models) Toeplitz Neural NetworksをSSMに変換し，閉形式で記述→DFTで効率的に解くというめちゃくちゃ胸躍る研究． 著者から直接聞いた話によると，最近Albert Guが出したMambaよりかなり YuWd (Yuiga Wada) featured image 機械学習 論文 https://yuiga.dev/blog/en/ja/posts/bfloat%E3%81%A8%E3%81%AF%E4%BD%95%E3%81%8B/ Mon, 11 Dec 2023 03:03:16 +0900 Mon, 11 Dec 2023 03:03:16 +0900 https://yuiga.dev/blog/en/ja/posts/bfloat%E3%81%A8%E3%81%AF%E4%BD%95%E3%81%8B/ double vs fp32 vs fp16 vs bfp16 double (64bit) 1/11/52 = 64 fp32 -> float (32bit) 1 / 8 / 23 = 32 fp16 -> float (16bit) 1 / 5 / 10 = 16 IEEEで規格化 bfloat16 1 / 8 / 7 = 16 指数部をfp32に合わせている 仮数部は実質的な有効数字 (粒度) を決めて，指数部は値のrangeを決めるので，仮数部を減らして指数部を増やすことで，取りうる値のrangeを最大化してあげる (仮数部) x 2^(指数部) 2^() YuWd (Yuiga Wada) featured image 競プロ Computer 機械学習 post https://yuiga.dev/blog/en/ja/posts/langchainagent%E3%81%AE%E4%BB%95%E7%B5%84%E3%81%BF%E3%82%92%E7%90%86%E8%A7%A3%E3%81%97%E3%81%A6_%E4%BB%BB%E6%84%8F%E3%81%AEllm%E3%82%92%E4%BD%BF%E7%94%A8%E3%81%99%E3%82%8B/ Mon, 06 Feb 2023 16:54:04 +0900 Mon, 06 Feb 2023 16:54:04 +0900 https://yuiga.dev/blog/en/ja/posts/langchainagent%E3%81%AE%E4%BB%95%E7%B5%84%E3%81%BF%E3%82%92%E7%90%86%E8%A7%A3%E3%81%97%E3%81%A6_%E4%BB%BB%E6%84%8F%E3%81%AEllm%E3%82%92%E4%BD%BF%E7%94%A8%E3%81%99%E3%82%8B/ OpenAIの提供するGPT-3には何種類かある text-davinci-003 / text-curie-001 / text-babbage-001 / text-ada-001 特にLangChainでは最も性能の良いtext-davinci-003が使用されている． だが，APIは金が掛かるのでなるだけフリーのLLMが使いたい → transformers-openai-api等で偽サーバを建てて，APIのオリジンをすり替えると任意のL YuWd (Yuiga Wada) 機械学習 LLM post https://yuiga.dev/blog/en/ja/posts/distance_correlation%E3%81%A8partial_distance_correlation_%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6/ Sun, 11 Dec 2022 20:25:51 +0900 Sun, 11 Dec 2022 20:25:51 +0900 https://yuiga.dev/blog/en/ja/posts/distance_correlation%E3%81%A8partial_distance_correlation_%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6/ 概要 pearsonの相関係数は線形な関係しか捉えることが出来ない. そこで, 点同士の距離を用いたDistance Correlationという相関係数が提案された. さらに, Distance Correlationを拡張し, 内積の期待値が共分散の二乗となるようなヒルベルト空間を定義したPartial Distance Correlationが提案されている. YuWd (Yuiga Wada) featured image 数学 機械学習 post https://yuiga.dev/blog/en/ja/posts/deep_learning_without_shortcuts_shaping_the_kernel_with_tailored_rectifiers/ Wed, 02 Nov 2022 10:16:11 +0900 Wed, 02 Nov 2022 10:16:11 +0900 https://yuiga.dev/blog/en/ja/posts/deep_learning_without_shortcuts_shaping_the_kernel_with_tailored_rectifiers/ はじめに ICLR22 [paper] 深層学習において, 残差接続は不可欠な存在となりつつある 残差接続により, より深い層数のNNを実現できるようになった 残差接続に対する解釈の矛盾 昨今の研究により残差接続は比較的浅い層をアンサンブルするような効果があるとの見方が強まっている しかし, 「深層」学習という名が体を表す通り, 一般には「層を増やす」ことがモデ YuWd (Yuiga Wada) featured image 論文 機械学習 数学 https://yuiga.dev/blog/en/ja/posts/%E6%97%A5%E6%9C%AC%E8%AA%9E%E7%89%88image_captioning%E3%81%AE%E5%AD%A6%E7%BF%92%E6%8E%A8%E8%AB%96%E3%82%B3%E3%83%BC%E3%83%89%E3%82%92%E6%8F%90%E4%BE%9B%E3%81%99%E3%82%8B/ Wed, 05 Oct 2022 01:06:12 +0900 Wed, 05 Oct 2022 01:06:12 +0900 https://yuiga.dev/blog/en/ja/posts/%E6%97%A5%E6%9C%AC%E8%AA%9E%E7%89%88image_captioning%E3%81%AE%E5%AD%A6%E7%BF%92%E6%8E%A8%E8%AB%96%E3%82%B3%E3%83%BC%E3%83%89%E3%82%92%E6%8F%90%E4%BE%9B%E3%81%99%E3%82%8B/ ひょんなことから最近Image Captioning(画像キャプション生成)を触っている だが, ググってもググっても日本語でImage Captioningしてる人があまりに居ない… コードを検索してもヒットしたのはこの子だけ…🤔 (しかもChainer …) https://github.com/yuyay/chainer_nic 日本語での画像キャプション生成界隈はプレイヤ YuWd (Yuiga Wada) featured image 機械学習 python post https://yuiga.dev/blog/en/ja/posts/can_neural_nets_learn_the_same_model_twice_investigating_reproducibility_and_double_descent_from_the_decision_boundary_perspective/ Sat, 24 Sep 2022 02:31:18 +0900 Sat, 24 Sep 2022 02:31:18 +0900 https://yuiga.dev/blog/en/ja/posts/can_neural_nets_learn_the_same_model_twice_investigating_reproducibility_and_double_descent_from_the_decision_boundary_perspective/ はじめに CVPR22 決定境界を描画し, 再現性と汎化性について定量的に考察した論文 決定境界の描画 (領域の決定) 如何に決定境界を描画するかが重要になってくる その上でまず, データ多様体 $\mathcal{M}$の近傍(on-manifold)を取るのか, $\mathcal{M}$から離れた領域(off-manifold)を取るのかを考 YuWd (Yuiga Wada) featured image 論文 CV 機械学習 https://yuiga.dev/blog/en/ja/posts/stochastic_gradient_langevine_dynamics/ Mon, 05 Sep 2022 01:18:47 +0900 Mon, 05 Sep 2022 01:18:47 +0900 https://yuiga.dev/blog/en/ja/posts/stochastic_gradient_langevine_dynamics/ はじめに MCMCの一種 目標: ある分布 $\pi(x)$からのサンプリングを行いたい Metropolis-Hastingsアルゴリズム (MH) Hamiltonian Monte Carlo (HMC) Langevin Dynamics (Metropolis-adjusted Langevin Algorithm) Stochastic Gradient Langevin Dynamics (SGLD) の順に見ていくと理解しやすい Metropolis-Hastings Metropolis-Hastingsについては既知のもとする 提案分布 $q(z)$を元に判定関数を用いて受容・棄却を行うMCMC cf. YuWd (Yuiga Wada) 数学 機械学習 MCMC post https://yuiga.dev/blog/en/ja/posts/energy_based_model/ Sat, 27 Aug 2022 17:39:54 +0900 Sat, 27 Aug 2022 17:39:54 +0900 https://yuiga.dev/blog/en/ja/posts/energy_based_model/ Energy Based Model 生成モデルによく用いられる 拡散モデルとも関係が深い 分類回帰問題についてはYour classifier is secretly an energy based model and you should treat it like oneを参照 GANやVAE同様, データ $x$は何らかの高次元確率分布 $p(x)$からサンプリングされたものと仮定する EBMでは以下のように確率分布 $p(x)$を仮定し, $E_{\theta}(\boldsym YuWd (Yuiga Wada) featured image 機械学習 MCMC 数学 post https://yuiga.dev/blog/en/ja/posts/peter_anderson/ Fri, 26 Aug 2022 19:57:39 +0900 Fri, 26 Aug 2022 19:57:39 +0900 https://yuiga.dev/blog/en/ja/posts/peter_anderson/ すげえ人 SPICE SPICE: Semantic Propositional Image Caption Evaluation REVERIE REVERIE - Remote Embodied Visual Referring Expression in Real Indoor Environments Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering Sim-to-Real Transfer for Vision-and-Language Navigation など, めちゃくちゃよく見る論文の著者 今はGoogleにいるらしい YuWd (Yuiga Wada) Vision-and-Language 機械学習 人物 post https://yuiga.dev/blog/en/ja/posts/%E6%97%A5%E6%9C%AC%E8%AA%9E%E3%82%AD%E3%83%A3%E3%83%97%E3%82%B7%E3%83%A7%E3%83%B3%E3%83%87%E3%83%BC%E3%82%BF%E3%82%BB%E3%83%83%E3%83%88/ Mon, 15 Aug 2022 23:36:52 +0900 Mon, 15 Aug 2022 23:36:52 +0900 https://yuiga.dev/blog/en/ja/posts/%E6%97%A5%E6%9C%AC%E8%AA%9E%E3%82%AD%E3%83%A3%E3%83%97%E3%82%B7%E3%83%A7%E3%83%B3%E3%83%87%E3%83%BC%E3%82%BF%E3%82%BB%E3%83%83%E3%83%88/ STAIR MSCOCOにキャプションを付与 全部で820,310件のキャプション http://captions.stair.center/ Yuya Yoshikawa, Yutaro Shigeto, and Akikazu Takeuchi, “STAIR Captions: Constructing a Large-Scale Japanese Image Caption Dataset”, Annual Meeting of the Association for Computational Linguistics (ACL), Short Paper, 2017. YJ Captions 26k Dataset こちらもMSCOCOにキャプションを付与したもので, ACL2016 キャプション数がSTAIRの1/6程度 https://github.com/yahoojapan/YJCaptions Takashi Miyazaki and Nobuyuki Shimizu. 2016. Cross-Lingual Image Caption Generation. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1780 YuWd (Yuiga Wada) 機械学習 NLP Vision-and-Language post https://yuiga.dev/blog/en/ja/posts/rpn/ Sat, 30 Jul 2022 23:21:29 +0900 Sat, 30 Jul 2022 23:21:29 +0900 https://yuiga.dev/blog/en/ja/posts/rpn/ Resion Proposal Network 背景なのか, 物体が写っているのかだけを識別するサブモジュール Faster-RCNNにおいては, ①RPNで領域を絞ってから, ②それぞれ個々の物体についてラベルを絞っていく Faster-RCNNの学習では, 「RPNの重み更新→モデル全体の重み更新」を繰り返して学習 RPNでは, Anchor boxが背景か物体か / 物体ならばGTとの YuWd (Yuiga Wada) featured image 機械学習 post https://yuiga.dev/blog/en/ja/posts/referitgame/ Mon, 25 Jul 2022 12:23:45 +0900 Mon, 25 Jul 2022 12:23:45 +0900 https://yuiga.dev/blog/en/ja/posts/referitgame/ 画像-参照表現におけるデータセット 割と大きいデータセットみたい the game has produced a dataset containing 130,525 expressions, referring to 96,654 distinct objects, in 19,894 photographs of natural scenes. ゲーム形式でアノテーションされる アノテータは二人 二人でアノテーションを行う まずプレイヤーAがキャプションを考える 次にもうひとりのプレイヤーBがそのキャプションが正しいかを当てる BはAのキャプションが指している物体をクリ YuWd (Yuiga Wada) featured image 機械学習 dataset post https://yuiga.dev/blog/en/ja/posts/pca_color_augmentation_pcaca/ Mon, 25 Jul 2022 01:02:44 +0900 Mon, 25 Jul 2022 01:02:44 +0900 https://yuiga.dev/blog/en/ja/posts/pca_color_augmentation_pcaca/ AlexNetで使われたらしいData augumentation手法 そんなに使われてるイメージはない. 古代の手法？？ Fancy PCA / PCACAとも言うらしい？(要出典) 画像中の色の分布を考慮したデータ拡張ができる 例えば, 明るいところは明るく, 暗いところは暗く調節できる 流れは簡単 $C\times H\times W$をflattenして, $C\times HW$にする 各チャネ YuWd (Yuiga Wada) CV 機械学習 post https://yuiga.dev/blog/en/ja/posts/ntk/ Sun, 17 Jul 2022 23:41:03 +0900 Sun, 17 Jul 2022 23:41:03 +0900 https://yuiga.dev/blog/en/ja/posts/ntk/ Neural Tangent Kernel 以下に示すようなカーネル $$k_{\mathrm{NTK}}(x_i, x_j) = E_{\theta \sim \N} \left\langle \frac{\partial f(x_i; \theta)}{\partial \theta}, \frac{\partial f(x_j; \theta)}{\partial \theta} \right\rangle$$ 特に, 入力をhypersphereに限定すると, MLPのNTKは $h_{\mathrm{NTK}}(\mathbf x_i^\top \mathbf x_j)$と内積の形で書ける 幅が無限にデカイ全結合層を考えると, 重みはほとんど初期値の近くしか動かず, このモデルはNTKによるカーネル回帰と同じ挙動をする(らしい) なので, NNの解析がかな YuWd (Yuiga Wada) 機械学習 数学 post https://yuiga.dev/blog/en/ja/posts/%E6%AE%8B%E5%B7%AE%E6%8E%A5%E7%B6%9A/ Tue, 05 Jul 2022 10:44:22 +0900 Tue, 05 Jul 2022 10:44:22 +0900 https://yuiga.dev/blog/en/ja/posts/%E6%AE%8B%E5%B7%AE%E6%8E%A5%E7%B6%9A/ 残差の何がうれしいか？ そのモジュールが特徴量変換器として必要なければスキップすることができる 言い換えれば, 恒等変換が起点となるので, 恒等写像が簡単に実現できる YuWd (Yuiga Wada) 機械学習 post https://yuiga.dev/blog/en/ja/posts/clip/ Mon, 27 Jun 2022 11:15:34 +0900 Mon, 27 Jun 2022 11:15:34 +0900 https://yuiga.dev/blog/en/ja/posts/clip/ CLIPによって, image↔textの特徴量変換が容易になったと言える → ViLD: Open-vocabulary Object Detection via Vision and Language Knowledge Distillation YuWd (Yuiga Wada) featured image 論文 機械学習 https://yuiga.dev/blog/en/ja/posts/aic_%E8%B5%A4%E6%B1%A0%E6%83%85%E5%A0%B1%E9%87%8F%E5%9F%BA%E6%BA%96/ Sat, 25 Jun 2022 04:37:43 +0900 Sat, 25 Jun 2022 04:37:43 +0900 https://yuiga.dev/blog/en/ja/posts/aic_%E8%B5%A4%E6%B1%A0%E6%83%85%E5%A0%B1%E9%87%8F%E5%9F%BA%E6%BA%96/ 真の分布 $g$と得られた分布 $f$のKLダイバージェンスを最小化したい → ( $f$と $g$の交差エントロピー) - ( $g$のエントロピー) を最小化したい で, 真の分布 $g$が得られないので, 色々と強い仮定を連ねると, 例のあの式が導出されるみたい 割とAICの導出は難しい https://gyazo.com/fdf004f02bebf52589f0be3e740535f7 YuWd (Yuiga Wada) 統計 機械学習 情報エントロピー post https://yuiga.dev/blog/en/ja/posts/matterport3dsimulator%E3%82%92cuda11.1%E3%81%A7%E5%8B%95%E3%81%8B%E3%81%99/ Sat, 25 Jun 2022 00:33:47 +0900 Sat, 25 Jun 2022 00:33:47 +0900 https://yuiga.dev/blog/en/ja/posts/matterport3dsimulator%E3%82%92cuda11.1%E3%81%A7%E5%8B%95%E3%81%8B%E3%81%99/ Matterport3DSimulatorをCUDA11.1で動かすDockerfile 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 FROMnvcr.io/nvidia/pytorch:19.05-py3FROMphp:7.1.9-apacheFROMnvidia/cuda:11.1-cudnn8-devel-ubuntu18.04RUN rm /etc/apt/sources.list.d/cuda.listRUN rm /etc/apt/sources.list.d/nvidia-ml.listRUN apt-key del 7fa2af80RUN apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/3bf863cc.pubRUN apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1804/x86_64/7fa2af80.pubRUN apt-get updateRUN apt-get -y upgradeRUN apt-get -y install nano wget curl# ONNX Runtime Training Module for PyTorch# Copyright (c) Microsoft Corporation. All rights reserved.# Licensed under the MIT License.ARG TORCH_CUDA_VERSION=cu111 ARG TORCH_VERSION=1.8.1ARG TORCHVISION_VERSION=0.9.1# Install and update tools to minimize security vulnerabilitiesRUN apt-get updateRUN apt-get install -y software-properties-common wget apt-utils patchelf git libprotobuf-dev protobuf-compiler cmake RUN unattended-upgradeRUN YuWd (Yuiga Wada) 機械学習 Vision-and-Language Docker Matterport3D post https://yuiga.dev/blog/en/ja/posts/data-centric_ai/ Sat, 18 Jun 2022 04:21:40 +0900 Sat, 18 Jun 2022 04:21:40 +0900 https://yuiga.dev/blog/en/ja/posts/data-centric_ai/ モデルやアルゴリズムではなく, データセットそのものをどうにかしましょう的なやつ モデル・アルゴリズムを固定し, データセット自体を改良していくことで, 目標値を達成する 例えば, ラベルの一貫性を目指したり, アノテータ間の差異をへらす方向に努めるイメージ ノイズの削減 ラベルミスの修正 サブクラスのクラスタリング 問題は, systema YuWd (Yuiga Wada) 機械学習 post https://yuiga.dev/blog/en/ja/posts/%E5%95%8F%E9%A1%8C%E3%82%92%E5%A6%82%E4%BD%95%E3%81%AB%E8%A6%8B%E3%81%A4%E3%81%91%E3%82%8B%E3%81%8B/ Sun, 12 Jun 2022 13:15:56 +0900 Sun, 12 Jun 2022 13:15:56 +0900 https://yuiga.dev/blog/en/ja/posts/%E5%95%8F%E9%A1%8C%E3%82%92%E5%A6%82%E4%BD%95%E3%81%AB%E8%A6%8B%E3%81%A4%E3%81%91%E3%82%8B%E3%81%8B/ はじめに モデルを取っ替えるだけが"“研究"“なら, 研究はただの博打に過ぎない 重要なのは分析と評価である しかし, わかりやすい分析だけでは研究にならない(気がする) したがって, まずは分析手法を徹底的にカテゴライズする必要がある できればこれらのメトリクスを常に表示できるようにしたい YuWd (Yuiga Wada) featured image 機械学習 研究 post https://yuiga.dev/blog/en/ja/posts/stochastic_depth/ Sat, 28 May 2022 13:46:50 +0900 Sat, 28 May 2022 13:46:50 +0900 https://yuiga.dev/blog/en/ja/posts/stochastic_depth/ SwinTransformerでは有効活用されてるらしい DeiTなどにも Dropoutがネットワークの幅を調整するのに対して, Stochastic Depth ではネットワークの深さを調節する 層のとても深いResNetといったモデルはBackpropagation時の勾配消失や，各パラメータが有効に学習しない，学習時間の増大などが問題点として上げら YuWd (Yuiga Wada) featured image 機械学習 post https://yuiga.dev/blog/en/ja/posts/decoupling_representation_and_classifier_for_long-tailed_recognition/ Thu, 12 May 2022 11:22:33 +0900 Thu, 12 May 2022 11:22:33 +0900 https://yuiga.dev/blog/en/ja/posts/decoupling_representation_and_classifier_for_long-tailed_recognition/ クラス間の分布が違う=クラス間不均衡による影響についての論文 一般にモデルは「特徴量抽出器」と「クラス分類器」で構成されている クラス間の分布が違う場合, 「特徴量抽出器」と「クラス分類器」のどちらに悪影響か？ 答えは「クラス分類器」 特徴量の抽出においては, そこまで悪い影響はないらしい クラス分類器 : 写像された特徴空間において, YuWd (Yuiga Wada) featured image 機械学習 論文 https://yuiga.dev/blog/en/ja/posts/%E9%87%8D%E3%81%BF%E5%85%B1%E6%9C%89/ Tue, 12 Apr 2022 23:56:46 +0900 Tue, 12 Apr 2022 23:56:46 +0900 https://yuiga.dev/blog/en/ja/posts/%E9%87%8D%E3%81%BF%E5%85%B1%E6%9C%89/ 基本的にはsumを取れば良いらしい PyTorchだと普通に呼び出せばそのまま重みの共有になるらしい https://vasteelab.com/2022/01/31/post-1951/ http://neural.vision/blog/deep-learning/backpropagation-with-shared-weights/ YuWd (Yuiga Wada) featured image 機械学習 post https://yuiga.dev/blog/en/ja/posts/nn/ Mon, 04 Apr 2022 18:30:45 +0900 Mon, 04 Apr 2022 18:30:45 +0900 https://yuiga.dev/blog/en/ja/posts/nn/ YuWd (Yuiga Wada) featured image 機械学習 post https://yuiga.dev/blog/en/ja/posts/relu%E3%81%AF%E5%A6%82%E4%BD%95%E3%81%AB%E9%96%A2%E6%95%B0%E3%82%92%E8%BF%91%E4%BC%BC%E3%81%99%E3%82%8B%E3%81%8B/ Mon, 04 Apr 2022 18:19:19 +0900 Mon, 04 Apr 2022 18:19:19 +0900 https://yuiga.dev/blog/en/ja/posts/relu%E3%81%AF%E5%A6%82%E4%BD%95%E3%81%AB%E9%96%A2%E6%95%B0%E3%82%92%E8%BF%91%E4%BC%BC%E3%81%99%E3%82%8B%E3%81%8B/ #* 関数近似 NNは基本的に関数近似器 活性化関数があることで非線形なものも近似することができる 活性化関数がなければ, ただの線形変換にしかならない ＋ 層を重ねる意味がない ReLUはほとんど線形関数と変わらないけど, どのように関数を近似するのか？ 大前提 : ReLUは折りたたみを表現できる なので, カクカクで任意の関数を近似できる $$f(x) = YuWd (Yuiga Wada) featured image ReLU 機械学習 post https://yuiga.dev/blog/en/ja/posts/%E5%85%B1%E5%A4%89%E9%87%8F%E3%82%B7%E3%83%95%E3%83%88/ Tue, 15 Mar 2022 06:20:15 +0900 Tue, 15 Mar 2022 06:20:15 +0900 https://yuiga.dev/blog/en/ja/posts/%E5%85%B1%E5%A4%89%E9%87%8F%E3%82%B7%E3%83%95%E3%83%88/ BatchNormによって減らすことができる BNは学習対象のパラメタを持つので注意 共変量シフトを抑えながら, レイヤの表現量を維持するためにパラメタ $\gamma, \beta$ が使われる https://gyazo.com/b54205f667854ac7219c5f7eb002c761 後で読む https://zenn.dev/takoroy/scraps/b26c76a9f94069 YuWd (Yuiga Wada) 機械学習 post https://yuiga.dev/blog/en/ja/posts/%E9%87%8D%E3%81%BF%E3%81%AE%E5%88%9D%E6%9C%9F%E5%8C%96/ Sat, 12 Mar 2022 23:55:53 +0900 Sat, 12 Mar 2022 23:55:53 +0900 https://yuiga.dev/blog/en/ja/posts/%E9%87%8D%E3%81%BF%E3%81%AE%E5%88%9D%E6%9C%9F%E5%8C%96/ nn.init.hogehoge() で初期化できる 例 nn.init.xavier_uniform_(ln.weight) # Xavierの初期値 PyTorchの場合, デフォルトはHe YuWd (Yuiga Wada) 機械学習 PyTorch post https://yuiga.dev/blog/en/ja/posts/dtw%E8%B7%9D%E9%9B%A2/ Thu, 10 Mar 2022 17:48:44 +0900 Thu, 10 Mar 2022 17:48:44 +0900 https://yuiga.dev/blog/en/ja/posts/dtw%E8%B7%9D%E9%9B%A2/ ２つの時系列データ $\boldsymbol{s}, \boldsymbol{t}$の類似度を計算 $\boldsymbol{s}, \boldsymbol{t}$をそれぞれ軸としたグリッドに対して, 最小のパスをDTWとする YuWd (Yuiga Wada) featured image 機械学習 時系列予測 post https://yuiga.dev/blog/en/ja/posts/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92%E3%81%AE%E8%A7%A3%E9%87%88%E6%80%A7/ Mon, 07 Mar 2022 01:24:59 +0900 Mon, 07 Mar 2022 01:24:59 +0900 https://yuiga.dev/blog/en/ja/posts/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92%E3%81%AE%E8%A7%A3%E9%87%88%E6%80%A7/ 特徴量の重要度 重要度を測るには, その特徴量を使えない状態を近似的に作り出せば良い PFI Permutation Feature Importance 特徴量 $X_i$ だけをシャッフルして, シャッフル前と後とで予測結果を比較 ( $X_j (j \neq i)$は固定) 本当に特徴量 $X_i$ が重要なら, シャッフルによって予測結果がブレるはず SHAP SHapley Additive exPlanations 特徴量 $X_i$があるときと無いときとで予測結果を比較 YuWd (Yuiga Wada) 機械学習 post https://yuiga.dev/blog/en/ja/posts/%E5%8D%94%E8%AA%BF%E3%83%95%E3%82%A3%E3%83%AB%E3%83%80%E3%83%AA%E3%83%B3%E3%82%B0/ Fri, 04 Feb 2022 11:23:08 +0900 Fri, 04 Feb 2022 11:23:08 +0900 https://yuiga.dev/blog/en/ja/posts/%E5%8D%94%E8%AA%BF%E3%83%95%E3%82%A3%E3%83%AB%E3%83%80%E3%83%AA%E3%83%B3%E3%82%B0/ https://qiita.com/ogi-iii/items/ebfd77003d2dd18af13a https://qiita.com/ynakayama/items/ceb3f6408231ea3d230c ピアソン相関係数 → データが正規化されていないような状況でユークリッド距離よりも良い結果を得られることが多いとされています。 → なぜなら、ある評価者 A が辛口の評価を、評価者 B が甘口の評価をする傾向があったとします。しかしそれぞれのアイテムに対する評価の差に相関があった場合、これが高い相関係数を示すという特徴があるためで YuWd (Yuiga Wada) 機械学習 post https://yuiga.dev/blog/en/ja/posts/%E3%82%AD%E3%83%A3%E3%83%AA%E3%83%96%E3%83%AC%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6/ Fri, 31 Dec 2021 22:17:41 +0900 Fri, 31 Dec 2021 22:17:41 +0900 https://yuiga.dev/blog/en/ja/posts/%E3%82%AD%E3%83%A3%E3%83%AA%E3%83%96%E3%83%AC%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6/ https://data-analysis-stats.jp/機械学習/キャリブレーション（calibrated-classifiers）/ YuWd (Yuiga Wada) 機械学習 post https://yuiga.dev/blog/en/ja/posts/%E6%8E%A8%E8%96%A6%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0/ Fri, 31 Dec 2021 22:17:37 +0900 Fri, 31 Dec 2021 22:17:37 +0900 https://yuiga.dev/blog/en/ja/posts/%E6%8E%A8%E8%96%A6%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0/ 協調フィルダリング YuWd (Yuiga Wada) 機械学習 post