研究紹介のページに戻る

デモムービー(音声が流れます)

背景と目的

文部科学省による留学生受け入れ30万人計画が進む現在,留学生の増加に伴い,教育現場での留学生支援の必要性が高まっています. 留学生が抱える問題の一つに,講義中の教員の説明が聞き取れないことがあげられます. 従来の録音ツールでは,講義音声の録音は可能でしたが,不明瞭だった時点の録音経過時間の記録は出来な いため,復習時の効率的な聞き直しを行うのは困難でした.また,留学生にとって,専門用語が多く含ま れる非母語の口頭説明の聴解は容易ではありません.

そこで本研究では,スマートフォンを用いて講義の録音・不明瞭箇所のマーキングを行い,学生の相互聴講補助を支援する講義音声共有システムの開発を行っています.

システムの構成

本システムは,学生の相互聴講補助の支援を通して,留学生に音声の不明瞭箇所を文字情報にして提供します.

留学生が受講中に記録にした質問情報(講義録音音声,不明瞭箇所のマーキングデータなど)を共有し,他の利用者からの文字回答を募ります.

システムの構成
図1. システムの構成

共有情報

(1) 質問情報

本システムでの質問は,以下の4つの情報から構成されています.

録音音声とは,留学生が発話した質問を録音した音声ではなく,講義中の教員の口頭説明を録音した音声を指します.

講義名

講義音声の録音ファイル

不明瞭箇所の時刻情報(マーキングデータ)

質問投稿時間

質問意図

留学生(質問者)が付けた質問に対するコメント

(2) 回答

本システムでの回答とは,講義録音音声を文字に書き起こしたものや,音声で不明瞭だった単語の解説を指します.

(3) 留学生情報

本システムでは,回答作成を支援するために,回答者に以下のような留学生(質問者)情報を提供します.

留学生の専門科目

留学生の母語

留学生の日本語能力

システムの機能

(1) 受講モード

受講モードは図2に示す録音画面で,講義音声を録音しながら,不明瞭箇所のマーキングを行います.

教員の口頭説明が聞き取れなかったと感じたときに中央のマーキングボタンを押すと,質問情報が記録・アップロードされ,他の利用者とリアルタイムで共有されます.

受講モードの録音画面
図2. 受講モードの録音画面

(2) Q&Aモード

Q&Aモードは,MY QUESTIONタブと,OTHERS QUESTIONタブの2つのタブで構成されています.

また,Q&Aモードでの講義音声の再生は,留学生が聞き取れなかった不明瞭箇所を抜き出すために,マーキングボタンを押した時点(マーキングポイント)の15秒前から再生されるように設定されています.

MY QUESTION タブ

MY QUESTION タブの自分が投稿した質問リストから見たい質問を選択すると,図3の(a)に示す質問の個別画面が表示され,他の利用者から送信された回答の閲覧と,自分がマーキングした講義録音音声の再生ができます.

オプションボタンから見れる図3の(b)の質問詳細画面では,再生開始位置の変更(初期設定では15秒前に設定されている)や,質問にコメントを付けることが出来ます.

MY QUESTION タブの質問詳細画面
図3. MY QUESTION タブの質問詳細画面

OTHERS QUESTION タブ

OTHERS QUESTION タブが他の利用者が投稿した質問リストから見たい質問を選択すると,図4の(a)に示す質問の個別画面が表示され,他の利用者が投稿した質問への回答と,他の利用者がマーキングした講義録音音声の再生ができます.

オプションボタンから見れる図4の(b)の質問詳細画面では,この質問を投稿した留学生の情報や,この質問に対する留学生のコメントを見ることができます.

OTHERS QUESTION タブの質問詳細画面
図4. OTHERS QUESTION タブの質問詳細画面

マーキングした講義録音音声の再生

マーキングした講義音声の再生は,マーキングボタンを押した時点(マーキングポイント)の15秒前からマーキングポイントまでが再生され,この15秒間のあいだに留学生が聞き取れなかった不明瞭箇所が含まれるように設定しています.

初期設定ではマーキングポイントの15秒前からですが,自分が投稿した質問の講義音声の再生開始位置はMY QUESTION タブの質問詳細画面のシークバー(図3(b)(ⅳ))から10秒~30秒前の範囲で変更することが出来ます.この機能で,より正確な不明瞭箇所の記録・聞き直し・共有が出来るようになります.

義録音音声の再生の仕組み
図5. 講義録音音声の再生の仕組み

実験の様子

実験の際には,留学生に本システムを用いて,受講しながら質問の投稿を行ってもらいました.

図6は,留学生が1人1つずつシステムを手元に置いて,講師の解説を録音しながら聴講している実験中の様子です.

実験の様子
図6. 実験の様子

口頭発表

  1. 今川七海,吉野孝:留学生の聴講支援のための講義音声共有システムの開発,情報処理学会 第77回全国大会,1ZE-01,第4分冊,pp.823-824(2015-03).
  2. 今川七海,吉野孝:講義音声の不明瞭箇所を記録する留学生聴講支援システムの開発,2015年度情報処理学会関西支部支部大会講演論文集,2015,ネットワークサービス,pp.1-4(2015-09-18).

連絡先

  • 今川 七海:s175004 at center.wakayama-u.ac.jp
  • 吉野 孝:yoshino at sys.wakayama-u.ac.jp

研究紹介のページに戻る