雑談AIは「記憶」で進化する：ユーザー情報を活用した長期的関係の構築

今回は、名古屋大学の角森唯子氏による博士論文「雑談対話システムにおける対話から獲得したユーザ情報の利用に関する研究」をご紹介する。

ChatGPTなどの大規模言語モデル（LLM）の普及により、AIとの対話は驚異的に自然になった。しかし、現在の多くのシステムは「その場限り」のやり取りが中心である。本研究は、AIがユーザーとの過去の会話を「記憶」し、それを適切に引き出すことで、ユーザーとの長期的な親密度を高めるための画期的な手法を提案している。

1. なぜ「ユーザー情報の記憶」が重要なのか？

人間同士のコミュニケーションにおいて、過去に話した個人的な内容（好みや経験など）を相手が覚えていることは、信頼関係や親密度を高める重要な要素である。 雑談対話システムにおいても、対話履歴から「ユーザー情報（自己開示内容）」を抽出し、現在の会話に織り交ぜることで、「自分のことをよく知っているパートナー」という印象を与えることが可能になる。

2. 検証：5日間の継続対話で見えた「記憶」の効果

研究ではまず、ルールベースのシステムを用いて、ユーザー情報を記憶・利用することの長期的効果を検証した。

• 実験内容: 27名の作業者が3種類のシステムと5日間継続して対話を実施。

• ALL（提案）: 全セッションの記憶を利用。

• SESSION: その日の会話内でのみ記憶を利用。

• NONE: 記憶を一切利用しない。

• 結果: 日が経過するにつれ、ALLシステムの「親しみやすさ」や「記憶力」の評価が向上。

• 課題: 固定のテンプレートを使っていたため、文脈によっては不自然な発話（質問を無視して過去の話を出すなど）が発生した。

3. 解決策：多様な文脈に対応する「SUIコーパス」の構築

ルールベースの不自然さを解消するため、筆者はディープラーニングやLLMによる「自然な発話生成」に着目した。ここで最大の壁となったのが、「現在の話題とは無関係な過去の記憶」を自然に会話に組み込むための学習データが不足していることだった。そこで構築されたのが、SUIコーパス（System utterance based on User Information corpus）だ。

• 構成: 〈ユーザー情報、対話文脈、拡張システム発話〉の三つ組データ。

• 特徴: 大阪大学の対話コーパス「Hazumi」を拡張し、クラウドソーシングを活用して10,801個の発話を収集。

• 多様性: 現在の話題（文脈）と過去の記憶（ユーザー情報）のトピックが近くない場合でも、自然に繋ぐ発話が含まれている。

4. 実装と評価：LLMは「記憶」を使いこなせるか？

このSUIコーパスを用いて、2つのアプローチで発話生成モデルを評価した。

① ファインチューニング（微調整）

既存の対話モデルをSUIコーパスで学習させた結果、生成された発話の87%がユーザー情報を適切に反映し、かつ自然な文脈を維持できることが確認された。

目的：SUIコーパスで「任意ユーザ情報」を生成モデルに埋め込めるか

この実験の目的は、SUIコーパスでファインチューニングすることで、既存の発話生成モデルが「任意のユーザ情報 × 対話文脈」を踏まえた発話を生成できるようになるかを検証することである。

重要なのは、最高性能モデルを作ることが目的ではないという点で、あくまで「SUIコーパスの学習効果」を検証するベースライン実験として位置づけられている。

モデルと入力設計

モデル

・事前学習済み発話生成モデル（seq2seq型）

・対話データで事前学習された一般的な生成モデルを使用

入力構成（概念）

[ユーザ情報] + [対話文脈] → [次のシステム発話]

・ユーザ情報は自然言語テキストとしてそのまま入力

・構造化タグなどは用いず、生成モデルの言語理解能力に委ねる設計

評価設計 - なぜ自動評価だけでは不十分か

BLEUなどの自動評価指標は、雑談・表現の多様性・言い換えと相性が悪く、主観評価との相関が低いことが知られている。そのため本研究では、自動評価と人手による主観評価を併用している。

主な評価観点

・発話の自然性

・ユーザ情報の反映度

・対話文脈との整合性

得られた成果

・モデルは対話文脈と任意のユーザ情報の両方を発話に反映可能

・ユーザ情報が「現在の話題と遠い場合」でも、破綻せずに発話を生成できることを確認

課題

・発話の自然性がやや低下

・表現が硬くなる、あるいは説明的になる傾向

これは、SUIコーパス内の一部低品質データや発話パターンの多様性不足が要因として指摘されている。

技術的示唆（ファインチューニング）

◆任意ユーザ情報を「生成能力」としてモデルに埋め込める

◆雑談品質を担保するにはデータ品質管理が重要

◆小〜中規模モデルでは自然性に限界

→ プロダクト適用では LLM への拡張が現実的

② インコンテキスト学習（ICL / Prompting）

GPT-4に対してSUIコーパスの例示（Shot）を与える手法である。Shot数を増やすほど（Five-shotなど）、ユーザー情報の反映精度が向上することが示された。

目的：モデルを学習せずにユーザ情報活用を実現できるか

ICL実験の目的は、SUIコーパスを「例示」として与えるだけで、汎用LLMが任意のユーザ情報を自然に使えるかを検証することである。

アプローチ概要

・ モデルの重みは一切更新しない

・ プロンプト内に SUIコーパスの事例を複数提示

・ 雑談タスクとして次発話を生成

実験設定
・使用モデル：汎用大規模言語モデル（LLM）

・Shot数：複数パターンを検証

・ユーザ情報と文脈の距離が異なる例を混在

評価設計

ファインチューニング実験と同様、「発話の自然性」「ユーザ情報の反映度」「文脈整合性」を人手評価で比較している。

得られた成果
・非常に高い自然性

・ユーザ情報の挿入が自然で会話的

・表現の多様性が大幅に向上

特筆点

・ユーザ情報が対話トピックと遠くても、違和感なく「思い出す」発話が生成される

分析：なぜICLがうまく機能したか
論文では、以下が要因として示唆されている。
・LLMがもともと持つ高い言語生成能力
・SUIコーパスが「どういうタイミングでユーザ情報を使うか」という暗黙ルールを例示できている

技術的示唆（ICL）

◆再学習不要で即プロダクト導入可能

◆自然性・多様性はファインチューニングより高い

◆プロンプト長・コストとのトレードオフ

◆出力制御はやや難しい

ファインチューニング vs ICL（開発者視点）

・SUIコーパスは「任意のユーザ情報を使う雑談能力」を学習・誘導できる

・小規模モデルではファインチューニングが有効

・現実的なプロダクト実装ではICLが最有力

5. まとめと展望

本研究は、雑談AIが単なる「話し相手」から、ユーザーに寄り添う「長期的なパートナー」へと進化するための重要な一歩を示したと言える。

結論: システムがユーザー情報を長期的に記憶し、任意のタイミングで自然に利用することは、親密度向上に直結する。
今後の課題: ユーザー情報を出す「タイミング」の最適化や、プライバシー保護の観点からの倫理的設計（削除機能や匿名化管理など）が重要となる。

ユーザー一人ひとりにパーソナライズされた「愛着の持てるAI」の実現。AIプロダクトにいかに「記憶」のメカニズムを組み込んでいくか。大きなテーマに即した、たいへん刺激を受ける研究内容であったと言えよう。