背景と目的

近年,生成AIチャットシステムが著しく発展しています. 特にChatGPTGoogle Geminiなどといったテキストチャット形式のシステムは知名度が高く,様々な利用が見られます.

しかし,現状のテキストチャット形式のシステムには以下の問題があります.


複数内容の会話に関する問題
チャットはテーマごとに分けて管理されています. このため,1つのチャット内で複数の内容を扱おうとした際,2個目以降の内容がそれまでの返答内容に影響される可能性があります(「タスク干渉」と呼ばれます). また,それらの内容についてそれぞれ深めようとした際,1つのチャット内で別々の内容を進めていく必要があり,会話内容が理解しづらくなってしまいます.
これらの問題について,解決案としてブランチ機能が追加されているチャットシステムも存在します. ブランチ機能は会話履歴の途中までの内容をもとに枝分かれし,別の内容で会話を続けることができる機能です. しかし現状のブランチ機能では,会話履歴の途中までの状態を複製するような動作をするため,最終的にチャット数が増加します. この結果,1つの議題に対して関連する最終的なチャット数が増え,全体的な内容を俯瞰して理解しづらくなるといった問題が発生します.

複数モデル間で比較する際に関する問題
生成AIのモデル間では,同じ入力内容であっても出力結果に差がある場合があります. このため,複数のモデルによる出力結果を得ることは出力内容の多様性の点で有益です. しかし,現状のチャットシステムでは,各モデルを搭載しているチャットシステムごとに別々に出力結果を得る必要があります. これにより,各モデルから得られた出力結果をユーザが活用可能な状態にまとめる手間が発生します.

そこで本研究では,これらの問題点を解決し,より発想を促進する生成AIチャットシステム「ことのハブ」の開発と評価を行います. 「ことのハブ」では,会話履歴を最小単位に分け,それらの繋がりとして再現するため,会話分岐の状況が理解しやすいように樹形図形式で設計しています. これにより,ユーザは会話履歴を自ら整理しながら発想を深めていくことができると考えています.


システム概要

(1) 設計方針

システム使用時の画面を動画1に示します. 生成AIとの会話分岐をより直感的に分かりやすくするため,本研究では会話の分岐状況を樹形図形式で可視化し,ユーザがその可視化結果に対して分岐を追加していく形式を採用しました. また,会話分岐機能をもとに,会話がより便利になる機能を取り入れています.

表1に本システムの基本的な動作を示します. 生成AIとの会話履歴は「1入力1出力」のペアを最小単位のノードとして持ち,それらの樹形図形式での繋がりによって会話履歴全体を表現します. 基本的な会話の流れについて,以下に示します.

  1. 樹形図のルートとなるノード(表1(a))について,テキストを入力し,サーバへ送信します.
  2. サーバから返ってきた返答内容が表示されます(表1(b)).この段階での「1入力1出力」が本システムにおける会話の最小単位となります.
  3. ノード下部にある「+ボタン」より,子ノードを追加できます.この子ノードへ入力された内容は親ノードの続きの会話として取り扱われ,子ノード同士はお互いの会話履歴に干渉しません.この仕組みにより,会話分岐が行われます.

また,各ノードはユーザによって移動可能であり,会話の流れを視覚的に整理しながら会話を続けることができます.

これらの仕組みにより,分岐を含んだ会話について全体の流れを視覚的に確認しながら進めていくことができます.

※ 動画上には画像入出力機能やClaudeのAPI機能が含まれているが,
現段階の実験には使用していない.
動画1. システム使用時の画面
表1. 基本動作の流れ
番号
「ことのハブ」UI
実際の会話履歴
(a)
基本動作の流れ_a_1
(b)
基本動作の流れ_b_1 基本動作の流れ_b_2
(c)
基本動作の流れ_c_1 基本動作の流れ_c_2
(d)
基本動作の流れ_d_1 基本動作の流れ_d_2

(2) システム構成

システム構成図を図1に示します.「ことのハブ」はWebブラウザ上で動作する生成AIチャットシステムです. システムの動作の流れについて,以下に示します.

  1. ユーザからメッセージが入力されると,そのメッセージの内容と共に,ノードの識別情報や利用するモデル情報などがサーバに送信されます.
  2. サーバ上ではノードの識別情報をもとに,会話履歴データベースの情報と照合されます.
  3. 照合結果をもとに実際にAPIに送信する会話履歴が構築され,利用するモデルのAPIと会話履歴を送受信します.
  4. サーバがAPIから受け取った応答内容について,新しい出力内容を会話履歴データベースへ登録したのち,ユーザへ表示します.
システム構成図
図1. システム構成図

(3) 機能

本システムは,発想の幅を広げるために下記の機能を備えています.

使用モデル選択機能
各ノードについて,「Gemini」あるいは「OpenAI」のいずれかの使用モデルを選択できます. サーバへ入力内容が送信された際,選択されている使用モデルのAPIを内部的に使用します. これにより,使用モデル間の出力結果の比較が可能です.

モデル比較機能
子ノードを持たないノードでは「モデル比較ボタン」を使用できます. 使用すると,GeminiとOpenAIそれぞれのノードが生成し直され,その段階で入力されている内容が自動的に送信されます. この機能により,同一内容の入力によるモデル間での出力内容の比較が容易になります.

会話ビューカスタマイズ機能
増え続けるノードを整理しやすくするため,各ノードやその子ノードの色を変更できる機能や,子ノードをまとめるフォルダ機能を備えています.

これらの機能により,より幅広い発想の実現,および分岐により広がる会話履歴の構造の理解促進を図っています.


実験

(1) 実験概要

本研究では,実験協力者に生成AIチャットシステムを利用していただき,指定されたテーマについて発想を深めてもらう実験を行いました.

本実験で使用する生成AIチャットシステムとして,「ことのハブ」に加え,比較システムとしてGoogle Gemini(gemini-2.5-flash)を用いました. また「ことのハブ」における使用モデルとして,「Gemini」ではgemini-2.5-flash,「OpenAI」ではGPT-5 miniを使用しました.

実験のテーマとして,以下のものを採用した.

テーマa
「物流・運送業界のドライバーの労働時間に上限を課すことについての是非」
テーマb
「未成年の犯罪を実名報道することについての是非」

これらのテーマは,実際に存在する社会問題の中でもチャット内でより広く,より深い発想を行うことが可能であると考え,選定しました.


本実験では,和歌山大学の学部生・大学院生の計12名(男性8名,女性4名)にご協力いただきました. なお,本実験では順序効果を考慮するため,ラテン方格法に従い,システムの2種類とテーマの2種類の組み合わせに対して前後の順序を変えた4パターンを用意しました. また,各パターンに対して乱数により3名ずつの協力者を割り当てました.

(2) 実験手順

実験の手順は以下の通りです.

  1. 前半のシステムについて使用方法を説明します.
  2. 前半のテーマを提示し,前半のシステムを使用して,テーマについて10分間発想を深めていただきます.
  3. 後半のシステムについて使用方法を説明します.
  4. 後半のテーマを提示し,後半のシステムを使用して,テーマについて10分間,前半と同様に発想を深めていただきます.
  5. 後半終了後,システムの使用感に関するアンケートにご回答いただきます.

また,実験終了後に,各会話履歴における発想の度合いの評価を以下の手順で行いました.

  1. 「ことのハブ」とGoogle Geminiのそれぞれの会話履歴について,分岐先などの会話内容が読み取れるように統一しました.
  2. 統一した結果をChatGPTに入力し,「流暢性」「独自性」「柔軟性」「精緻性」「話題展開距離」の5指標について,それぞれ10段階で評価させました. なお各指標の詳細は以下の通りです.

    流暢性
    アイデアの数や展開の速さ,発話の豊富さを指す指標.
    独自性
    他と異なる視点,創造性,意外性を指す指標.
    柔軟性
    複数の観点や思考方向の切り替え,発想カテゴリの多様さを指す指標.
    精緻性
    内容の深さ,説明や理由付けの丁寧さを指す指標.
    話題展開距離
    最初の話題からどれだけ遠く,多様な領域へ発想が展開されたかを指す指標.

  3. 同様のことを追加で2回行い,計3回分の評価の平均値を,各指標の評価としました.

結果と考察

(1) アンケートによる評価結果と考察

実験終了後に実施したアンケート結果を表2に示します. このアンケート結果から,以下のことが分かりました.


分岐機能により機能面の追加と従来の問題点の解決の両方が可能
Q1について,中央値6,最頻値6, 7であり,多くの協力者が分岐機能により発想のしやすさが向上したと感じていることが分かります. また,自由記述回答において,「後から追加で思いついたときにそこから始められるのが良い」といった分岐機能によって可能になる機能についての意見と,「分岐が無いと,AIが以前の話題につなげた回答にしようとする.それが改善された」といった従来の問題点が解決されたことに関する意見の両方が見られた. このため,分岐機能は発想のしやすさを向上させるとともに,従来の問題点の解決にも寄与していると考えられます.

樹形図形式での会話履歴の表示は会話履歴の理解を促進する
Q2について,中央値6,最頻値7であり,多くの協力者が樹形図形式の会話履歴について理解しやすさを感じていることが分かります. また,自由記述回答においても,「会話の繋がりがきちんと理解できる」「視覚的に見返しやすい」といった意見が見られた. これらのことから,樹形図形式での会話履歴の表示は,会話履歴の理解を促進する可能性があると考えられます.

樹形図形式にはある程度の慣れが必要である可能性がある
Q3について,中央値2,最頻値1, 2であり,多くの協力者が樹形図形式の会話履歴について使いにくさや戸惑いをあまり感じていないことが分かります. しかし,アンケート結果の中には5や6といった高い評価も見られた. 自由記述回答を見ると,「すんなりと受け入れられた」といった肯定的な意見と,「使い慣れていないのもあって操作にてまどうことがあった」といった否定的な意見が見られた. これらのことから,個人差はあるものの,樹形図形式にはある程度の慣れが必要である可能性があると考えられます.

複数モデル機能は単一モデル使用時よりも幅広い発想を促進する可能性がある
Q4について,中央値6,最頻値7であり,多くの協力者が複数モデルの出力を比較できる機能により発想のしやすさが向上したと感じていることが分かります. また,自由記述回答においては,「モデルの違いから新しい考えが浮かぶ時があった」といった肯定的な意見が見られました. 一方で,「生成内容自体に変化を感じなかった」といった否定的な意見も見られました. これらのことから,タスクの内容差などの違いがありつつも,複数モデル機能は単一モデル使用時よりも幅広い発想を促進する可能性があると考えられます.
評価の分布:1:全く同意できない,2:同意できない,3:あまり同意できない,4:どちらとも言えない,
5:少し同意できる,6:同意できる,7:とても同意できる
表2. アンケート結果
質問番号
質問
評価の分布
中央値
最頻値
1
2
3
4
5
6
7
Q1
生成AIとの会話において,
分岐機能があることは,
発想のしやすさに影響すると感じた.
0
0
1
0
3
4
4
6
6, 7
Q2
樹形図形式の会話履歴について,
理解のしやすさを感じた.
0
1
0
0
2
4
5
6
7
Q3
樹形図形式の会話履歴について,
使いにくさや戸惑いを感じた.
4
4
0
0
3
1
0
2
1, 2
Q4
複数モデルの出力を比較できる機能について,
発想のしやすさに影響すると感じた.
0
1
2
0
2
3
4
6
7

(2) ChatGPTによる評価結果と考察

ChatGPTによる会話履歴の評価結果に関する箱ひげ図を図2に示します. また,各指標に関する代表値を表3に示します.

これらの結果から,5指標それぞれの平均値のうち,話題展開距離のみが「ことのハブ」の方が高い評価となりました. また,流暢性と精緻性については,有意水準5%において「ことのハブ」とGoogle Geminiの間に有意差があり,「ことのハブ」の方が低い評価となりました. これらのことから,「ことのハブ」は流暢性と精緻性について従来のチャットシステムに劣る可能性があると考えられます.

このような結果が得られた要因として,以下のことが考えられます.

  • 「ことのハブ」で採用されている樹形図形式には慣れが必要であり,慣れていない状態での使用により流暢性と精緻性が低下した可能性があります.
  • Google Geminiは使用者の入力に対して自動的にWeb検索を行い,その結果をもとに応答内容を生成する機能を備えています. 一方,「ことのハブ」ではこの機能を使用していません. このため,Google Geminiの方がより豊富な情報をもとに応答内容を生成できる分,流暢性と精緻性が高くなった可能性があります.
会話履歴の評価結果に関する箱ひげ図
図2. 会話履歴の評価結果に関する箱ひげ図
※ 有意水準は「ことのハブ」とGoogle Geminiの比較における,ウィルコクソン符号付き順位検定の両側検定による
p値を示す.「*」は有意差あり(p < 0.05)を示す.
表3. ChatGPTによる評価結果に関する代表値
流暢性
独自性
柔軟性
精緻性
話題展開距離
ことのハブ
Gemini
ことのハブ
Gemini
ことのハブ
Gemini
ことのハブ
Gemini
ことのハブ
Gemini
平均値
8.31
8.78
6.36
6.58
7.75
8.17
7.95
8.61
5.81
5.08
標準偏差
0.61
0.26
0.95
0.41
0.68
0.48
0.71
0.37
1.47
0.96
有意確率
p = 0.0204 *
p = 0.3711
p = 0.1514
p = 0.0425 *
p = 0.1814

おわりに

本研究では,会話分岐の可視化機能を備えた生成AIチャットシステム「ことのハブ」を開発し,その有用性を定性的・定量的に示しました. 樹形図形式は会話履歴の理解を促進し,複数モデル比較は発想の幅を広げる可能性があることを示しました.

今後の課題として,長文出力時の視認性改善およびシステム利用に慣れる期間を考慮した長期的評価を行うことが考えられます.


関連対外発表

  1. 石橋明大,吉野孝:
    ことのハブ:会話分岐の可視化機能を備えた生成AIチャットシステム,
    情報処理学会 コラボレーションとネットワークサービス ワークショップ2025 (CN Workshop 2025) 論文集,
    Vol.2025,
    pp.38–45
    (2025).

連絡先

研究紹介のページに戻る