JavaScriptを有効にしてください

些末な文書タスクはLLMに任せよう

 ·  ☕ 2 min read

些末な文書系タスクはLLMに任せましょう

  • 大学の課題については自分でやったほうが良いのでLLMは使わないでくださいね.
  • 一方で,非常に些末で得るものが何もない・重要性が低い文書系タスクはLLMにやらせて,自分の研究に集中しましょう.
    • ちなみに,GPT-3.5とGPT-4の文書生成能力は雲泥の差なので後者を使用すること

戦略

  • 他人の文書との類似度を最小化する必要がある
    • 文書 = 文体 ∪ 視点 ∪ 独自性
    • 類似度 = 一般文書としての類似度 ∪ LLMの出力としての類似度
      • LLMの出力としての類似度 ∝ promptの類似度
    • よって,差別化すべきなのはprompt, 文体, 視点の3つ.そしてLLMには一般性を否定させる.
      • prompt
        • 問題をそのまま入れるだけではLLMの出力しての類似度が高まるのでダメ
        • 一般的なことを言わせない
          • 後に述べる要素をpromptに入れる
      • 文体
        • 常体ではなく敬体で書かせるべき.
        • 句読点は「,.」を使わせる.
        • LLMに自分の文体で書かせるために,英語で渡せる情報は英語で渡す
      • 視点
        • 自分の研究分野のワードや哲学者の名前・方法論をpromptに入れるだけで,論理的整合性を補完して,尤もらしい独自な論理を展開してくれる.
        • 自分の研究や経験をそのままpromptにブチこむ
          • 自分に関することを入れれば,原理的には類似度が劇的に減少する.
      • 一般性の否定
        • 「論文調」や「XX風」と書くことで,一般文書との類似度が低下する

Promptの例

まずは,以下の内容を理解してください.
【自らの経験】
・大学四年生での研究
Image captioning studies have applications in various fields including robotics. They rely heavily on automatic evaluation metrics such as BLEU and METEOR. However, such n-gram-based metrics have been shown to correlate poorly with human evaluation, leading to the proposal of alternative metrics such as SPICE for English; however, no equivalent metrics have been established for other languages. Therefore, in this study, we propose an automatic evaluation metric called JaSPICE, which evaluates Japanese captions based on scene graphs. The proposed method generates a scene graph from dependencies and the predicate-argument structure, and extends the graph using synonyms. We conducted experiments on STAIR Captions and PFN-PIC and our metric outperformed the baseline metrics (BLEU, ROUGE, METEOR, CIDEr, and SPICE) for the correlation coefficient with the human evaluation.

【講義中の話題】
その内容 (スライドから持ってくる)

上記内容を踏まえた上で,以下の問いに答えてください.

・ (ここに問題文を書く)
・ウィトゲンシュタインの考え方を用いてください.
・700字以上で論文を作成してください.
・敬体(です・ます)ではなく常体(だ・である)で書いてください.
・上で述べた「Image captioning modelのmetricsの研究」について一文だけで良いので絡めてください.

共有

YuWd (Yuiga Wada)
著者
YuWd (Yuiga Wada)
機械学習・競プロ・iOS・Web