【Computer Science】知っておくべき数字一覧
· ☕ 1 min read
分岐予測の失敗 → 5ns L1 / L2キャッシュ→ 0.5ns / 7ns L1 cache reference 0.5 ns Branch mispredict 5 ns L2 cache reference 7 ns Mutex lock/unlock 100 ns Main memory reference 100 ns Compress 1K bytes with Zippy 10,000 ns 0.01 ms Send 1K bytes over 1 Gbps network 10,000 ns 0.01 ms Read 1 MB sequentially from memory 250,000 ns 0.25 ms Round trip within same datacenter 500,000 ns 0.5 ms Disk seek 10,000,000 ns 10 ms Read 1 MB sequentially from network 10,000,000 ns 10 ms Read 1 MB sequentially from disk 30,000,000 ns 30 ms Send packet CA->Netherlands->CA 150,000,000 ns 150 ms Where 1 ns = 10-9 seconds 1 ms = 10-3 seconds 引用: “Numbers Everyone Should Know” from Jeff Dean. doubleのbit数 MSB・指数・仮数で1 ...


【k8s・DDP】クラスタ上でのtorch.loadが遅い
· ☕ 3 min read
概要 巨大なembeddingをチャンクで外部に保存し,DDP(Distributed Data Parallel)を使った学習時に各GPUで読み込みたい そんなときtorch.load(path, map_location=f"cuda:{rank}")にかかる時間の分散が大きい場合がある 前提: torch.loa ...

ABCIで任意のDockerイメージを使用する
· ☕ 3 min read
前提: ABCIとは AI橋渡しクラウド(AI Bridging Cloud Infrastructure、以下「ABCI」という)は、国立研究開発法人 産業技術総合研究所が構築・運用する、AI技術開発・橋渡しのためのオープンな計算インフラストラクチャです。ABCIは、2018年8月に本格運用を開始し、2021年5月にABCI 2.0にアップグレードされ ...


【論文メモ】Hungry Hungry Hippos: Towards Language Modeling with State Space Models
· ☕ 6 min read
この度,SONY様のnnablaチャンネルにH3の解説動画を寄稿しました. 本記事ではなく動画の視聴の方を推奨します. 概要 ICLR23 状態空間モデル(state-space model; SSM)は様々なモダリティにおいて有用性が検証されてきたが,未だ言語系においては確認できていない. また,SSMは $\mathcal{O}(L)$であるにも拘ら ...


【ECDH・aes128gcm】MissCatの通知システムについて
· ☕ 8 min read
こんにちは.論文執筆真っ最中のYuWdです. 最近,研究および論文執筆のタスクが落ち着いてきたのでMissCatの改修をボチボチ行っています. (MissCatとはiOS向けのMisskeyクライアント) 改修に着手するにあたって,まずは通知システムを直すところに目星をつけたのですが,昔の自堕落(ドキュメントを書かない性分) ...

ReduxとSwiftUIについて
· ☕ 3 min read
Redux 状態は複数のView, Controllerが相互に依存するので管理が難しい そこで,相互にイベントを発火させるのをやめて,単一方向にのみ状態が流れるように ユーザ操作で変数が変更→変更を検知したらレンダリング → flux さらに,変数変更とレンダリングの間に更新ロジックを挟むのがRedux Reduxはグローバルな状態を管理するのが ...

【論文メモ】LoRA: Low-Rank Adaptation of Large Language Models
· ☕ 1 min read
ICLR22 大規模モデルを高速かつ低消費メモリでfine-tuningする新たな手法 HypernetworksのようにTransformerの各層に学習可能なパラメタを挿入する (Adaptation層) しかし,重みを固定するにしてもAdaptation層を学習させるためにはGPUに載せないと意味ないので,結局時間が掛かってしまう ...


【LangChain】Agentの仕組みを理解して, 任意のLLMを使用する
· ☕ 3 min read
OpenAIの提供するGPT-3には何種類かある text-davinci-003 / text-curie-001 / text-babbage-001 / text-ada-001 特にLangChainでは最も性能の良いtext-davinci-003が使用されている. だが,APIは金が掛かるのでなるだけフリーのLLMが使いたい → transformers-openai-api等で偽サーバを建てて,APIのオリジンをすり替えると任意のL ...

【合格体験記】1週間程度で応用情報に受かるコツ
· ☕ 8 min read
はじめに この記事は慶應理工アドベントカレンダー2022の25日目の記事です. ← 24日目 (アドカレが全て埋まってくれて非常に嬉しい!!!) 導入 はじめましての方、はじめまして。2019年に慶應理工へ入学し、その後情報工学科に進学して今現在B4、無事ストレートでの卒業ができそうなYuWdと申します。 この度、なぜか10日程度の ...

【論文メモ】On the Versatile Uses of Partial Distance Correlation in Deep Learning
· ☕ 3 min read
はじめに ECCV22のbest paper https://twitter.com/eccvconf/status/1585560616688881664 #ECCV2022 Paper Awards pic.twitter.com/u9awGVCgSr — European Conference on Computer Vision (ECCV) (@eccvconf) October 27, 2022 概要 二つのモデルの挙動を比較することは極めて重要 しかし, それぞれが異なるアーキテクチャにおけるモデルの比較方法は依然として研究が不十分. そこで, この論文では(Partial) Distance Correlationを機械学習に応用する手法を提案. (Partial) Distance Correlation ...


Distance CorrelationとPartial Distance Correlation について
· ☕ 4 min read
概要 pearsonの相関係数は線形な関係しか捉えることが出来ない. そこで, 点同士の距離を用いたDistance Correlationという相関係数が提案された. さらに, Distance Correlationを拡張し, 内積の期待値が共分散の二乗となるようなヒルベルト空間を定義したPartial Distance Correlationが提案されている. ...


【超具体的に】慶應理工の4年間を振り返る
· ☕ 34 min read
この記事は慶應理工アドベントカレンダー2022の7日目の記事です. ← 6日目 | 8日目 → この記事の読み方/想定読者について ご自由にお読みください。記事自体結構長いので、ご自身の興味のあるところだけ読んでもらっても構いません。目次から気になるところを見てもらえると嬉しいです。(もちろん通しで読んでもらうのが一番嬉しい。) 想定 ...

慶應理工のアドカレ文化を遺したい
· ☕ 4 min read
はじめに この記事は慶應理工アドベントカレンダー2022の1日目の記事です. 導入 はじめましての方、はじめまして。2019年に慶應理工へ入学し、その後情報工学科に進学して今現在B4、無事ストレートでの卒業ができそうなYuWdと申します。 この度、慶應理工アドベントカレンダー2022というものを開催しました!!! 本アドカレは去 ...