Profile Icon

和田唯我

Keio Univ. D2

学振DC1 | 未踏IT'24 スーパークリエータ

和田唯我 / Yuiga Wada

慶應義塾大学 理工学研究科 情報工学専修 D2

・慶應理工 → 修士 (飛び級) → 学振 DC1

・Visiting Scholar at Carnegie Mellon University

・未踏IT'24 スーパークリエータ (落合陽一PM)

AtCoder Highest 1545 / GitHub Total Star 577

What's new?

2025/12/25
AAAI 2026に論文が採択されました
2025/09/30
EMNLP 2025に論文が採択されました
2025/06/16
CMUでの成果を投稿しました [arXiv]
2025/05/30
未踏IT 2024スーパークリエータになりました

Publications (Selected)

  • @Carnegie Mellon University! Y. Wada, K. Matsuda, K. Sugiura, G. Neubig. "ZINA: Multimodal Fine-grained Hallucination Detection and Editing" under review, pdf, project page.
  • S. Hirano, Y. Wada, K. Matsuda, S. Otsuki, K. Sugiura, "LLM-Free Image Captioning Evaluation in Reference-Flexible Settings" in AAAI 2026, pdf.
  • K. Matsuda, Y. Wada, S. Hirano, S. Otsuki, K. Sugiura, "VELA: An LLM-Hybrid-as-a-Judge Approach for Evaluating Long Image Captions" in EMNLP main 2025, pdf, project page.
  • Highlight! (top 3.6%) Y. Wada, K. Kaneda, D. Saito, K. Sugiura. "Polos: Multimodal Metric Learning from Human Feedback for Image Captioning" in CVPR 2024, pdf, project page.
  • K. Matsuda, Y. Wada, K. Sugiura. "DENEB: A Hallucination-Robust Automatic Evaluation Metric for Image Captioning", in ACCV 2024, pdf (acceptance rate = 32%)
  • Y. Wada, K. Kaneda, K. Sugiura. "JaSPICE: Automatic Evaluation Metric Using Predicate-Argument Structures for Image Captioning Models" in CoNLL 2023, pdf, project page. (acceptance rate = 28%)
  • K. Kaneda* , R. Korekata* , Y. Wada* , S. Nagashima*, et. al "DialMAT: Dialogue-Enabled Transformer with Moment-Based Adversarial Training", in CVPR 2023 Embodied AI Workshop. pdf
    • *: Equal contribution
  • Y. Iioka, Y. Yoshida, Y. Wada, S. Hatanaka and K. Sugiura, “Multimodal Diffusion Segmentation Model for Object Segmentation from Manipulation Instructions”, IEEE/RSJ IROS, 2023, pdf
  • T. Matsubara*, S.Otsuki*, Y. Wada*, H. Matsuo, T. Komatsu, Y. Iioka, K. Sugiura, H. Saito, “Shared Transformer Encoder with Mask-based 3D Model Estimation for Container Mass Estimation”, IEEE ICASSP, pp.9142–9146, 2022. pdf
    • *: Equal contribution
  • K. Kaneda, Y. Wada, T. Iida, N. Nishizuka, Y. Kubo, K. Sugiura: “Flare Transformer: Solar Flare Prediction using Magnetograms and Sunspot Physical Features”, ACCV, pp. 1488-1503, 2022. pdf (acceptance rate = 33.4%)

Publications (Others)

  • J. Tokumitsu*, Y. Wada*, "Capturing Fine-Grained Alignments Improves 3D Affordance Detection", in MVA 2025, pdf, Oral(16.4%)
    • *: Equal contribution
  • S. Nagashima, K. Kaneda, Y. Wada, T. Iida, M. Taguchi, M. Hirata, and K. Sugiura, “ECoG Dual Context Network for Brain Machine Interfaces,” in IEEE Access, 2025, pdf
  • S. Hirano, Y. Wada, T. Iida, K. Sugiura, "Attention Lattice Adapter: Visual Explanation Generation for Visual Foundation Models", in ICONIP 2025, pdf
  • 松田一起, 和田唯我, 小槻誠太郎, 杉浦孔明: “LLM-Hybrid-as-a-Judge に基づく長文画像キャプション向け自動評価尺度”, 第28回画像の認識・理解シンポジウム, オーラル発表(査読有), 2025
  • 平野愼之助, 和田唯我, 松田一起, 小槻誠太郎, 杉浦孔明: “画像キャプション生成におけるLLM フリー自動評価尺度と大規模な人手評価データセットの構築”, 第28回画像の認識・理解シンポジウム, 2025
  • 和田唯我, 兼田寛大, 齋藤大地, 杉浦孔明: “Polos: 画像キャプション生成における教師あり自動評価尺度”, 言語処理学会第30回年次大会, 2024 pdf, project page
  • 松田一起, 和田唯我, 杉浦孔明: “ハルシネーションに頑健な画像キャプション生成の自動評価”, 2024年度 人工知能学会全国大会, 2024 pdf.
  • 戸倉健登, 松田一起, 和田唯我, 杉浦孔明: “対照学習と階層的特徴抽出に基づく画像キャプション生成の自動評価”, 第27回画像の認識・理解シンポジウム, IS-1-098, 2024.
  • 和田唯我, 兼田寛大, 杉浦孔明: “JaSPICE: 日本語における述語項構造に基づく画像キャプション生成モデルの自動評価尺度”, 言語処理学会第29回年次大会, 2023 pdf, project page
  • 齋藤大地, 和田唯我, 兼田寛大, 杉浦孔明: “マルチモーダル情報に基づく画像説明文の教師あり自動評価”, 第31回インタラクティブ情報アクセスと可視化マイニング研究会, 2023 pdf.
  • 是方 諒介, 和田唯我, 兼田 寛大, 長嶋 隼矢, 杉浦 孔明, "DialMAT: 敵対的摂動に基づく対話的Visionand-Language Navigation". 第41回日本ロボット学会学術講演会, 2023 pdf.
  • 平野 慎之助, 小松 拓実, 和田唯我, 神原 元就, 畑中 駿平, 平川 翼, 山下 隆義, 藤吉 弘亘, 杉浦 孔明. "ENCHANT: 大規模言語モデルを用いた仮説生成に基づくクロスモーダル説明文生成". 第41回日本ロボット学会学術講演会, 2023 pdf.
  • 田中励雄, 和田唯我, 杉浦孔明: “シーングラフに基づく画像キャプション生成モデルの自動評価と解析”, 2023年度 人工知能学会全国大会, 2023 pdf
  • 飯岡 雄偉, 吉田 悠, 和田唯我, 畑中 駿平, 杉浦 孔明: “生活支援タスクにおける大規模視覚言語モデルと拡散確率モデルを用いた参照表現セグメンテーション”, 2023年度 人工知能学会全国大会, 2023 pdf
  • 和田唯我, 兼田寛大, 飯田紡, 西塚直人, 久保勇樹, 杉浦孔明: “Flareformer: 磁場画像および物理特徴量の統合による大規模太陽フレア予測”, 第21回情報科学技術フォーラム, CH-002, 2022 pdf
  • 九曜克之, 和田唯我, 兼田寛大, 飯田紡, 西塚直人, 久保勇樹, 杉浦孔明: “Flare Transformer Regressor: Masked Autoencoder と Informer Decoder に基づく太陽フレア予測”, 第21回情報科学技術フォーラム, CH-005, 2022. pdf

Awards / Honors

  • Y. Wada, T. Arita. 未踏IT'24 スーパークリエータ選出
    • 経済産業省より,特に卓越した能力をもった者である「スーパークリエータ」として認定.
  • Y. Wada, K. Kaneda, D. Saito, K. Sugiura. "Polos: Multimodal Metric Learning from Human Feedback for Image Captioning" in CVPR 2024, CVPR Highlights
    • 提出論文のうち上位3.6%が選ばれるCVPR Highlightsに主著が選出.
  • K. Kaneda* , R. Korekata* , Y. Wada* , S. Nagashima*, et. al, DialFRED Challenge @ CVPR 2023, 2023年6月7日
    • DialFRED Challenge @ CVPR において優勝.
  • T. Matsubara, S. Otsuki, Y. Wada, H. Matsuo, T. Komatsu, Y. Iioka, K. Sugiura, H. Saito, Best performing solution for container capacity estimation and capacity and dimensions estimation and filling mass estimation, The CORSMAL challenge @ ICASSP 2022, 2022年6月23日.
    • 5 部門中,3 部門全てにおいて 1 位(計 10 チーム中 1 位)を記録し入賞. 論文が国際会議 ICASSP に採択.
  • M. Kambara, Y. Yoshida, K. Kaneda, S. Otsuki, R. Korekata, H. Matsuo, Y. Wada, W. Yang, K. Sugiura, Honorable Mention Award, REVERIE Challenge @ CSIG 2022, 2022年8月19日.
    • 計 52 チームの中上位 5 位が選出される Honorable Mention Award を受賞.

Employments / Internships

  • April 2025 - Ongoing
    • JSPS Research Fellowship for Young Scientists
  • April 2024 - Ongoing
    • ML Engineer at a certain neurotech startup.
  • January 2024 - March 2025
  • August 2023 - September 2023
  • January 2020 - Feburary 2025
    • Full-Stack Engineer at a certain B2B startup.

Certificates / Scholarship

Teaching Assistant

  • 慶應義塾大学 機械学習基礎 (2024)
    • 博士1年: RA / 授業資料・コード作成
  • 慶應義塾大学 機械学習基礎 (2023)
    • 修士1年: TAを担当
  • 横浜市立横浜サイエンスフロンティア高校「サイエンスリテラシーⅠ」講師 (2022)
    • 学部4年: 授業講師を担当

YouTube

GitHub

Works

  • iCimulator ★228: iCimulator simulates camera functions on iOS Simulator with images, videos, or your MacBook Camera. Swift
  • PolioPager ★176: A flexible TabBarController library with search tab like SNKRS Swift
  • MissCat ★55: An Optimized Misskey Client App for iOS. Swift
  • CallSlicer ★21 : A tweak that enables your Apple Watch to show a third-party incoming call. Objective-C
  • YanagiText ★33: A lightweight TextView where can be attached any UIView. Swift
  • MisskeyKit-for-iOS ★21: An elegant Misskey framework written in Swift. Swift
  • AtCoderAlert: A service to tweet your latest progress report for AtCoder. Typescript
  • PortSnippet: PortSnippet monitors source codes and automatically generates snippets. Rust
  • CORSMAL2021: Our team KEIO-ICS participated in the CORSMAL challenge 2021. Python PyTorch
  • yush: A simple shell written in OCaml + Lex + Yacc. Just a toy for learning 🧠 OCaml
  • scrapbox-cli: A simple cli viewer for Scrapbox. Written in pure golang ʕ◉ϖ◉ʔ. Go
  • note-backup: Backup any articles from note.com. Typescript
  • Flareformer: Large-scale Solar Flare Prediction by Integrating Magnetograms and Sunspot Physical Features Resources Python PyTorch
  • arxivProfiler: With this application, you can account for the total number of citations (= credibility of a paper) in an instant from the arxiv link. Typescript
  • Portfolio: My portfolio webpage
  • Blog: My Blog

News

Educational & Technical Materials

Professional Profiles

D1 works

未踏IT スーパークリエータ

未踏IT スーパークリエータ

落合陽一PM > 和田氏は本プロジェクトにおいて、特に機械学習とコンピュータビジョンの領域で卓越した技術的貢献を示した。無限の条件が存在する自然環境下において高い汎化性能を有しつつ、比較的非力なコンピュータ上でも低レイテンシ・高スループットに動作する機械学習モデルの構築という挑戦的課題に取り組んだ。

PyTorchROSCppPython

M2 works

未踏IT'24 (落合陽一PM)

未踏IT'24 (落合陽一PM)

本システムでは、「モーションキャプチャ等を用いずに、カメラ画像のみから自己位置推定を行う手法(Visual Inertial Odometry)」「機械学習に基づき花の姿勢を認識する画像認識技術」「草木や果樹棚、他ドローンとの衝突を避けながらドローンを群制御する制御プランナ」等により、未知の不整地環境でも作業を可能にする。さらに、棚下に潜り込んで、葉面や花弁に対する直接的な散布を行うことができる機体も開発する。

PyTorchROSCppPython
学振DC1 採用 (2025年4月1日~2028年3月31日)

学振DC1 採用 (2025年4月1日~2028年3月31日)

近年,画像内に存在しない物体や,物体間の関係を誤認識するハルシネーション(幻覚) が問題視されている.一般に,幻覚は MLLM の Image Captioning性能により評価される.そのため幻覚の問題を低減するには,幻覚を適切に評価できる高性能なImage Captioning向け自動評価尺度が必要である.しかし,既存の自動評価尺度は人間との相関が依然として低く [Sarto+ CVPR23],円滑な改良サイクルのもと,幻覚の発生頻度を半自動的に改善していくことは困難である ...

M1 works

[CVPR24 (Highlight)] Polos

[CVPR24 (Highlight)] Polos

Polos: Multimodal Metric Learning from Human Feedback for Image Captioning

PyTorchPython
【ICLR2023論文解説】Transformerに代わる次世代のモデル?Hungry Hungry Hipposの紹介

【ICLR2023論文解説】Transformerに代わる次世代のモデル?Hungry Hungry Hipposの紹介

SONYのnnablaチャンネルに動画を寄稿しました.この動画では,Transformerに代わる次世代のモデルとも言われているH3(Hungry Hungry Hippos)論文を解説します.本論文では先行研究であるS4の弱点を分析し,S4の弱点を補う形としてH3を提案しています.

【PFN研究インターン】Segment Anything Modelの3次元医用画像応用

【PFN研究インターン】Segment Anything Modelの3次元医用画像応用

Preferred Networks様で約二ヶ月の研究インターンに参加しました.本記事では当研究の一部をご報告させて頂いています.

PythonPyTorch
[CoNLL23] JaSPICE

[CoNLL23] JaSPICE

JaSPICE: Automatic Evaluation Metric Using Predicate-Argument Structures for Image Captioning Models

PythonPyTorch
[IROS23] Multimodal Diffusion Segmentation Model

[IROS23] Multimodal Diffusion Segmentation Model

Multimodal Diffusion Segmentation Model for Object Segmentation from Manipulation Instructions

PythonPyTorch

B4 works

Flareformer

Flareformer

Flareformer: Large-scale Solar Flare Prediction by Integrating Magnetograms and Sunspot Physical Features

PythonPyTorch
[ACCV22] Flare Transformer

[ACCV22] Flare Transformer

Flare Transformer: Solar Flare Prediction using Magnetograms and Sunspot Physical Features. Accepted at ACCV 2022.

PythonPyTorch
scrapbox-cli

scrapbox-cli

A simple cli viewer for Scrapbox. Written in pure golang ʕ◉ϖ◉ʔ.

note-backup

note-backup

Backup any articles from note.com.
noteをバックアップ・エクスポートするWebサービス

Typescript
arXivProfiler

arXivProfiler

When reading papers recently uploaded to arxiv, it is important to approximate the reliability of the paper. The easiest method to filter papers is to check the number of citations of the authors. With this application, you can account for the total number of citations (= credibility of a paper) in an instant from the arxiv link.

Typescript

B3 works

[ICASSP22] CORSMAL Challenge

[ICASSP22] CORSMAL Challenge

Our team KEIO-ICS participated in the CORSMAL challenge 2021. Our solution won "capacity and dimensions estimation", "filling mass estimation", and "container capacity estimation"!

Our paper was accepted at ICASSP 2022. (equal contributor)

PythonPyTorch
yush

yush

A simple shell written in OCaml + Lex + Yacc. Just a toy for learning.

B2 works

MissCat

MissCat

An Optimized Misskey Client App for iOS.
iOS用のMisskeyクライアント.

PortSnippet

PortSnippet

PortSnippet monitors source codes and automatically generates snippets.Only for VS Code!

AtCoderAlert

AtCoderAlert

A service to tweet your latest progress report for AtCoder. Written in Typescript with Nuxt.js

MisskeyKit-for-iOS

MisskeyKit-for-iOS

An elegant Misskey framework written in Swift.

B1 works

iCimulator

iCimulator

iCimulator simulates camera functions on iOS Simulator with images, videos, or your MacBook Camera.

PolioPager

PolioPager

A flexible TabBarController library with search tab like SNKRS, written in pure swift.

CallSlicer

CallSlicer

A tweak that enables your Apple Watch to show a third-party incoming call. Released on Packix. Thanks for 7222 Downloads!!

Objective-C
YanagiText

YanagiText

A lightweight TextView where can be attached any UIView.

Articles

小説『ウサギちゃんは残酷な月』

小説『ウサギちゃんは残酷な月』

「字が汚いねと君に言われて、僕は救われた気がしたんだ」 ── 僕の無意識は、この経験をテムズ川の深いところから、音も立てずに掬い上げてきた...

凡人理系学部生の我々は何をすべきなのか

凡人理系学部生の我々は何をすべきなのか

プログラムを書くことと小説を執筆することは似ている. けれども, 滔々と流れゆく記号列を操作するという相似形の作用線において, 両者には決定的に異なる特性が一つだけある ─ それは...

多次元正規分布でGibbs Sampling

多次元正規分布でGibbs Sampling

先日, 研究室の勉強会でこの本のGibbs Samplingの章(9.3.4)を担当しました. 実際にpythonで実装してみたりしたので...

noteをバックアップ・エクスポートするWebサービスを作った (画像可・他ブログへの移行可)

noteをバックアップ・エクスポートするWebサービスを作った (画像可・他ブログへの移行可)

cakesがサービス終了を発表してから早1ヶ月。このニュースに驚かれた方も多いでしょう。cakesが終わるとなれば、明日は我が身。noteのバックアップも不安で...

大学一年生としての2019年度を振り返る

大学一年生としての2019年度を振り返る

こんにちは。去年の春、僕は理工学部の一年生として慶應義塾大学に入学しました。ですが、入学してすぐ、4月5月あたりでしょう...