前提: ABCIとは AI橋渡しクラウド（AI Bridging Cloud Infrastructure、以下「ABCI」という）は、国立研究開発法人 産業技術総合研究所が構築・運用する、AI技術開発・橋渡しのためのオープンな計算インフラストラクチャです。ABCIは、2018年8月に本格運用を開始し、2021年5月にABCI 2.0にアップグレードされ ...

この度，SONY様のnnablaチャンネルにH3の解説動画を寄稿しました． 本記事ではなく動画の視聴の方を推奨します． 概要 ICLR23 状態空間モデル(state-space model; SSM)は様々なモダリティにおいて有用性が検証されてきたが，未だ言語系においては確認できていない． また，SSMは $\mathcal{O}(L)$であるにも拘ら ...

こんにちは．論文執筆真っ最中のYuWdです． 最近，研究および論文執筆のタスクが落ち着いてきたのでMissCatの改修をボチボチ行っています． (MissCatとはiOS向けのMisskeyクライアント) 改修に着手するにあたって，まずは通知システムを直すところに目星をつけたのですが，昔の自堕落(ドキュメントを書かない性分) ...

Redux 状態は複数のView, Controllerが相互に依存するので管理が難しい そこで，相互にイベントを発火させるのをやめて，単一方向にのみ状態が流れるように ユーザ操作で変数が変更→変更を検知したらレンダリング → flux さらに，変数変更とレンダリングの間に更新ロジックを挟むのがRedux Reduxはグローバルな状態を管理するのが ...

ICLR22 大規模モデルを高速かつ低消費メモリでfine-tuningする新たな手法 HypernetworksのようにTransformerの各層に学習可能なパラメタを挿入する (Adaptation層) しかし，重みを固定するにしてもAdaptation層を学習させるためにはGPUに載せないと意味ないので，結局時間が掛かってしまう ...

OpenAIの提供するGPT-3には何種類かある text-davinci-003 / text-curie-001 / text-babbage-001 / text-ada-001 特にLangChainでは最も性能の良いtext-davinci-003が使用されている． だが，APIは金が掛かるのでなるだけフリーのLLMが使いたい → transformers-openai-api等で偽サーバを建てて，APIのオリジンをすり替えると任意のL ...

はじめに この記事は慶應理工アドベントカレンダー2022の25日目の記事です. ← 24日目 (アドカレが全て埋まってくれて非常に嬉しい！！！) 導入 はじめましての方、はじめまして。2019年に慶應理工へ入学し、その後情報工学科に進学して今現在B4、無事ストレートでの卒業ができそうなYuWdと申します。 この度、なぜか10日程度の ...

はじめに ECCV22のbest paper https://twitter.com/eccvconf/status/1585560616688881664 #ECCV2022 Paper Awards pic.twitter.com/u9awGVCgSr — European Conference on Computer Vision (ECCV) (@eccvconf) October 27, 2022 概要 二つのモデルの挙動を比較することは極めて重要 しかし, それぞれが異なるアーキテクチャにおけるモデルの比較方法は依然として研究が不十分. そこで, この論文では(Partial) Distance Correlationを機械学習に応用する手法を提案. (Partial) Distance Correlation ...

概要 pearsonの相関係数は線形な関係しか捉えることが出来ない. そこで, 点同士の距離を用いたDistance Correlationという相関係数が提案された. さらに, Distance Correlationを拡張し, 内積の期待値が共分散の二乗となるようなヒルベルト空間を定義したPartial Distance Correlationが提案されている. ...

この記事は慶應理工アドベントカレンダー2022の7日目の記事です. ← 6日目 | 8日目 → この記事の読み方/想定読者について ご自由にお読みください。記事自体結構長いので、ご自身の興味のあるところだけ読んでもらっても構いません。目次から気になるところを見てもらえると嬉しいです。(もちろん通しで読んでもらうのが一番嬉しい。) 想定 ...

はじめに この記事は慶應理工アドベントカレンダー2022の1日目の記事です. 導入 はじめましての方、はじめまして。2019年に慶應理工へ入学し、その後情報工学科に進学して今現在B4、無事ストレートでの卒業ができそうなYuWdと申します。 この度、慶應理工アドベントカレンダー2022というものを開催しました！！！ 本アドカレは去 ...

Intro The other day, one of my labmates needed to make a segmentation of Matterport3D. He asked for help, and I got involved in creating the segmentation. However, it turned out to be a real struggle. We were not used to 3D mesh models. After several weeks, we completed the code to create a semantic segmentation image for Matterport3D. How to create Matterport3D segmentation images Matterport3D provides access to 3D segmentation but does not give users an easy way to access 2D. Matterport3D data only provides point clouds and meshes labeled by ground truth, and the user must add color directly to the point clouds and meshes to create 2D segmentations. We, therefore, wrote code using Matterport3DSimulator to place a camera for a given scan_id and viewpoint_id and create a segmentation from the original ply file. When we run our code, we get the following image. (I concatenated the obtained images and converted to a gif) Matterport3DSimulator takes a total of 36 pictures: 12 at the top, 12 at the perimeter, and 12 at the bottom. ...

はじめに NeurIPS22 Few-shotにおける knowledge graph completion task を行う 上図のように, Background KG (knowledge graph)とsupport setが与えられた状態で, Query setのrelationを推論するタスク Connection Subgraph Reasoner (CSR)を提案 Few-shot KG Completion KGは $\mathcal{G} = (\mathcal{E}, \mathcal{R}, \mathcal{T}) $で表される ここで, $\mathcal{E}, \mathcal{R}$はそれぞれentityとrelationで, $\mathcal{T ...