Yuiga Wada (YuWd, 和田唯我)
Keio Univ. D1
学振DC1 | 未踏IT'24
Visiting Scholar @ Carnegie Mellon University
About Me
- 和田唯我 / Yuiga Wada
Publications
-
[Highlight! (top 3.6%)] Y. Wada, K. Kaneda, D. Saito, K. Sugiura. “Polos: Multimodal Metric Learning from Human Feedback for Image Captioning” in CVPR 2024, pdf, project page.
-
K. Matsuda, Y. Wada, K. Sugiura. “DENEB: A Hallucination-Robust Automatic Evaluation Metric for Image Captioning”, in ACCV 2024, pdf (acceptance rate = 32%)
-
Y. Wada, K. Kaneda, K. Sugiura. “JaSPICE: Automatic Evaluation Metric Using Predicate-Argument Structures for Image Captioning Models” in CoNLL 2023, pdf, project page. (acceptance rate = 28%)
-
K. Kaneda* , R. Korekata* , Y. Wada* , S. Nagashima*, et. al “DialMAT: Dialogue-Enabled Transformer with Moment-Based Adversarial Training”, in CVPR 2023 Embodied AI Workshop. pdf
- *: Equal contribution
-
Y. Iioka, Y. Yoshida, Y. Wada, S. Hatanaka and K. Sugiura, “Multimodal Diffusion Segmentation Model for Object Segmentation from Manipulation Instructions”, IEEE/RSJ IROS, 2023, pdf
-
T. Matsubara*, S.Otsuki*, Y. Wada*, H. Matsuo, T. Komatsu, Y. Iioka, K. Sugiura, H. Saito, “Shared Transformer Encoder with Mask-based 3D Model Estimation for Container Mass Estimation”, IEEE ICASSP, pp.9142–9146, 2022. pdf
- *: Equal contribution
-
K. Kaneda, Y. Wada, T. Iida, N. Nishizuka, Y. Kubo, K. Sugiura: “Flare Transformer: Solar Flare Prediction using Magnetograms and Sunspot Physical Features”, ACCV, pp. 1488-1503, 2022. pdf (acceptance rate = 33.4%)
-
和田唯我, 兼田寛大, 齋藤大地, 杉浦孔明: “Polos: 画像キャプション生成における教師あり自動評価尺度”, 言語処理学会第30回年次大会, 2024 pdf, project page
-
松田一起, 和田唯我, 杉浦孔明: “ハルシネーションに頑健な画像キャプション生成の自動評価”, 2024年度 人工知能学会全国大会, 2024 pdf.
-
戸倉健登, 松田一起, 和田唯我, 杉浦孔明: “対照学習と階層的特徴抽出に基づく画像キャプション生成の自動評価”, 第27回画像の認識・理解シンポジウム, IS-1-098, 2024.
-
和田唯我, 兼田寛大, 杉浦孔明: “JaSPICE: 日本語における述語項構造に基づく画像キャプション生成モデルの自動評価尺度”, 言語処理学会第29回年次大会, 2023 pdf, project page
-
齋藤大地, 和田唯我, 兼田寛大, 杉浦孔明: “マルチモーダル情報に基づく画像説明文の教師あり自動評価”, 第31回インタラクティブ情報アクセスと可視化マイニング研究会, 2023 pdf.
-
是方 諒介, 和田唯我, 兼田 寛大, 長嶋 隼矢, 杉浦 孔明, “DialMAT: 敵対的摂動に基づく対話的Visionand-Language Navigation”. 第41回日本ロボット学会学術講演会, 2023 pdf.
-
平野 慎之助, 小松 拓実, 和田唯我, 神原 元就, 畑中 駿平, 平川 翼, 山下 隆義, 藤吉 弘亘, 杉浦 孔明. “ENCHANT: 大規模言語モデルを用いた仮説生成に基づくクロスモーダル説明文生成”. 第41回日本ロボット学会学術講演会, 2023 pdf.
-
田中励雄, 和田唯我, 杉浦孔明: “シーングラフに基づく画像キャプション生成モデルの自動評価と解析”, 2023年度 人工知能学会全国大会, 2023 pdf
-
飯岡 雄偉, 吉田 悠, 和田唯我, 畑中 駿平, 杉浦 孔明: “生活支援タスクにおける大規模視覚言語モデルと拡散確率モデルを用いた参照表現セグメンテーション”, 2023年度 人工知能学会全国大会, 2023 pdf
-
和田唯我, 兼田寛大, 飯田紡, 西塚直人, 久保勇樹, 杉浦孔明: “Flareformer: 磁場画像および物理特徴量の統合による大規模太陽フレア予測”, 第21回情報科学技術フォーラム, CH-002, 2022 pdf
-
九曜克之, 和田唯我, 兼田寛大, 飯田紡, 西塚直人, 久保勇樹, 杉浦孔明: “Flare Transformer Regressor: Masked Autoencoder と Informer Decoder に基づく太陽フレア予測”, 第21回情報科学技術フォーラム, CH-005, 2022. pdf
Awards / Honors
-
Y. Wada, K. Kaneda, D. Saito, K. Sugiura. “Polos: Multimodal Metric Learning from Human Feedback for Image Captioning” in CVPR 2024, CVPR Highlights
- 提出論文のうち上位3.6%が選ばれるCVPR Highlightsに主著が選出．
-
K. Kaneda* , R. Korekata* , Y. Wada* , S. Nagashima*, et. al, DialFRED Challenge @ CVPR 2023, 2023年6月7日
- DialFRED Challenge @ CVPR において優勝．
-
T. Matsubara, S. Otsuki, Y. Wada, H. Matsuo, T. Komatsu, Y. Iioka, K. Sugiura, H. Saito, Best performing solution for container capacity estimation and capacity and dimensions estimation and filling mass estimation, The CORSMAL challenge @ ICASSP 2022, 2022年6月23日.
- 5 部門中，3 部門全てにおいて 1 位(計 10 チーム中 1 位)を記録し入賞. 論文が国際会議 ICASSP に採択.
-
M. Kambara, Y. Yoshida, K. Kaneda, S. Otsuki, R. Korekata, H. Matsuo, Y. Wada, W. Yang, K. Sugiura, Honorable Mention Award, REVERIE Challenge @ CSIG 2022, 2022年8月19日.
- 計 52 チームの中上位 5 位が選出される Honorable Mention Award を受賞.
Employments / Internships
-
April 2024 - Ongoing
- ML Engineer at a certain neurotech startup.
-
January 2024 - Ongoing
- Part-time Engineer at Preferred Networks, Inc.
-
August 2023 - September 2023
- Research Internship at Preferred Networks, Inc.
-
January 2020 - Ongoing
- Full-Stack Engineer at a certain B2B startup.
Certificates / Scholarship
-
Applied Information Technology Engineer Examination (AP)
-
2025年度 JSPS 日本学術振興会特別研究員（DC1）
-
2024年度 JST BOOST 支援対象学生
-
2023年度 岩井久雄記念東京奨学育英基金 奨学生
- 修士二年間学費全額免除
Teaching Assistant
-
慶應義塾大学 機械学習基礎 (2024)
- 博士1年: RA / 授業資料・コード作成
-
慶應義塾大学 機械学習基礎 (2023)
- 修士1年: TAを担当
-
横浜市立横浜サイエンスフロンティア高校「サイエンスリテラシーⅠ」講師 (2022)
- 学部4年: 授業講師を担当
YouTube
- 【ICLR2023論文解説】Transformerに代わる次世代のモデル？Hungry Hungry Hipposの紹介
- SONY様のnnablaチャンネルに動画を寄稿しました．
GitHub
Works
-
iCimulator ★228: iCimulator simulates camera functions on iOS Simulator with images, videos, or your MacBook Camera. Swift
-
PolioPager ★176: A flexible TabBarController library with search tab like SNKRS Swift
-
MissCat ★55: An Optimized Misskey Client App for iOS. Swift
-
CallSlicer ★21 : A tweak that enables your Apple Watch to show a third-party incoming call. Objective-C
-
YanagiText ★33: A lightweight TextView where can be attached any UIView. Swift
-
MisskeyKit-for-iOS ★21: An elegant Misskey framework written in Swift. Swift
-
AtCoderAlert: A service to tweet your latest progress report for AtCoder. Typescript
-
PortSnippet: PortSnippet monitors source codes and automatically generates snippets. Rust
-
CORSMAL2021: Our team KEIO-ICS participated in the CORSMAL challenge 2021. Python PyTorch
-
yush: A simple shell written in OCaml + Lex + Yacc. Just a toy for learning 🧠 OCaml
-
scrapbox-cli: A simple cli viewer for Scrapbox. Written in pure golang ʕ◉ϖ◉ʔ. Go
-
note-backup: Backup any articles from note.com. Typescript
-
Flareformer: Large-scale Solar Flare Prediction by Integrating Magnetograms and Sunspot Physical Features Resources Python PyTorch
-
arxivProfiler: With this application, you can account for the total number of citations (= credibility of a paper) in an instant from the arxiv link. Typescript
-
Portfolio: My portfolio webpage
-
Blog: My Blog
Others
- 時事通信社 インタビュー 「ＡＩ研究の学生にエール 米国連大使」
- 未踏IT公募結果 / 未踏名鑑 / Twitter
- 未踏: Agri Swarm Build Guide
- 未踏ブースト会議資料
- CORSMAL: 3部門でトップ性能達成
- REVERIE ChallengeでHonorable Mention Awardを受賞
- サイエンスフロンティア高校授業資料 vol.1
- サイエンスフロンティア高校授業資料 vol.2
- 学生編集委員会企画:第41回日本ロボット学会学術講演会レポート
- NLP23発表
- ICASSP22発表
- FIT22発表
- Swift: 検索タブ内蔵のタブライブラリ PolioPagerを作ったお話
- RxDataSources × UITableView: アニメーション付きでセルを追加した際にスクロール位置を固定する
- 【授業スライド】AnonyMask
- 【授業スライド】Sugar Visualizer
- ORCID: YuigaWada
- 輪講:Detecting and Preventing Hallucinations in Large Vision Language Models
- 輪講:Simplified State Space Layers for Sequence Modeling
- 輪講:Accelerating Toeplitz Neural Network with Constant-time Inference Complexity
- 輪講:Toeplitz Neural Network for Sequence Modeling
- 輪講:A Generalization of ViT/MLP-Mixer to Graphs
- 輪講:Hyena Hierarchy: Towards Larger Convolutional Language Models
- 輪講:Hungry Hungry Hippos: Towards Language Modeling with State Space Models
- 輪講:On the Versatile Uses of Partial Distance Correlation in Deep Learning
- 輪講:Deep Learning without Shortcuts: Shaping the Kernel with Tailored Rectifiers
- 輪講:Energy-Based Learning for Scene Graph Generation
- 輪講:Surrogate Gap Minimization Improves Sharpness-Aware Training
- 輪講:Do Transformers Really Perform Bad for Graph Representation?
- 輪講:Prototypical Contrastive Learning of Unsupervised Representations
- 輪講:Vision Transformer with Deformable Attention
- GoogleScholar: YuigaWada
- researchmap
M2 Works
本システムでは、「モーションキャプチャ等を用いずに、カメラ画像のみから自己位置推定を行う手法（Visual Inertial Odometry）」「機械学習に基づき花の姿勢を認識する画像認識技術」「草木や果樹棚、他ドローンとの衝突を避けながらドローンを群制御する制御プランナ」等により、未知の不整地環境でも作業を可能にする。さらに、棚下に潜り込んで、葉面や花弁に対する直接的な散布を行うことができる機体も開発する。
近年，画像内に存在しない物体や，物体間の関係を誤認識するハルシネーション(幻覚) が問題視されている.一般に，幻覚は MLLM の Image Captioning 性能により評価される.そのため幻覚の問題を低減するには，幻覚を適切に評価できる高性能なImage Captioning向け自動評価尺度が必要である.しかし，既存の自動評価尺度は人間との相関が依然として低く [Sarto+ CVPR23]，円滑な改良サイクルのもと，幻覚の発生頻度を半自動的に改善していくことは困難である …
M1 Works
Polos: Multimodal Metric Learning from Human Feedback for Image Captioning
SONYのnnablaチャンネルに動画を寄稿しました．この動画では，Transformerに代わる次世代のモデルとも言われているH3(Hungry Hungry Hippos)論文を解説します．本論文では先行研究であるS4の弱点を分析し，S4の弱点を補う形としてH3を提案しています．
Preferred Networks様で約二ヶ月の研究インターンに参加しました．本記事では当研究の一部をご報告させて頂いています．
The model secured the top position in the DialFRED Challenge, which took place at the CVPR 2023 Embodied AI workshop. Our paper was accepted at CVPR23 Workshop. (equal contributor)
JaSPICE: Automatic Evaluation Metric Using Predicate-Argument Structures for Image Captioning Models
Multimodal Diffusion Segmentation Model for Object Segmentation from Manipulation Instructions
B4 Works
Flareformer: Large-scale Solar Flare Prediction by Integrating Magnetograms and Sunspot Physical Features
Flare Transformer: Solar Flare Prediction using Magnetograms and Sunspot Physical Features. Accepted at ACCV 2022.
When reading papers recently uploaded to arxiv, it is important to approximate the reliability of the paper. The easiest method to filter papers is to check the number of citations of the authors. With this application, you can account for the total number of citations (= credibility of a paper) in an instant from the arxiv link.
B3 Works
Our team KEIO-ICS participated in the CORSMAL challenge 2021. Our solution won “capacity and dimensions estimation”, “filling mass estimation”, and “container capacity estimation”!
Our paper was accepted at ICASSP 2022. (equal contributor)
Our paper was accepted at ICASSP 2022. (equal contributor)
B2 Works
PortSnippet monitors source codes and automatically generates snippets.Only for VS Code!
A service to tweet your latest progress report for AtCoder. Written in Typescript with Nuxt.js
B1 Works
iCimulator simulates camera functions on iOS Simulator with images, videos, or your MacBook Camera.
A flexible TabBarController library with search tab like SNKRS, written in pure swift.
A tweak that enables your Apple Watch to show a third-party incoming call. Released on Packix. Thanks for 7222 Downloads!!
Recent Articles
「字が汚いねと君に言われて、僕は救われた気がしたんだ」 ── 僕の無意識は、この経験をテムズ川の深いところから、音も立てずに掬い上げてきた…
プログラムを書くことと小説を執筆することは似ている. けれども, 滔々と流れゆく記号列を操作するという相似形の作用線において, 両者には決定的に異なる特性が一つだけある ─ それは…
先日, 研究室の勉強会でこの本のGibbs Samplingの章(9.3.4)を担当しました. 実際にpythonで実装してみたりしたので…
cakesがサービス終了を発表してから早１ヶ月。このニュースに驚かれた方も多いでしょう。cakesが終わるとなれば、明日は我が身。noteのバックアップも不安で…
こんにちは。去年の春、僕は理工学部の一年生として慶應義塾大学に入学しました。ですが、入学してすぐ、4月5月あたりでしょう…