Kaoru Tanida

Shigeki Kurosaki

Takashi Okada

Toshiyuki Takeda

岡田 孝

武田 俊之

谷田 薫

黒崎 茂樹

Kwansei Gakuin University Repository

研究課題 授業におけるテキストマイニングの有効性に関する研究 種別 指定研究 代表者 岡田 孝（理工学部） 研究員 谷田 薫（総合教育研究室）、黒崎 茂樹（情報メディア教育センター）、武田 俊之（情報メディア教育センター）  大学・大学院教育においても、授業評価とそれに基づく授業改善に取り組むことが必須となった。その際の学習者による授業感想やアンケート調査における自由記述等のテキストデータの分析は不可欠である。あるいは提出されたレポートも授業から学生が知識を得た証拠のひとつである。これらの膨大な自由記述を分析する方法としてテキストマイニングという手法がある。テキストマイニングの手法の開発は活発であり、商用、フリーを含めてそれらを実装したソフトウェアが利用されている。 テキストマイニングは、 1) データの整理 2) 分析 3) 解釈 4) 解釈に基づくデータの再吟味 の手順でおこなわれる。授業におけるテキストマイニング利用の特徴は、大量データの分析が可能であること、文面を流し読むだけでは自明ではない役立つ情報が得られること、授業横断的な分析が可能になること、(授業中に利用可能であれば）授業内コミュニケーションの改善に役立つことなどにあると考えられる。しかし、テキストマイニングには知識と時間が必要であるため、簡単に利用できるものとはいいがたく、効率性の点に問題がある可能性がある。現在の技術において授業でテキストマイニングを導入するには、１) 授業運営の効率化 2) 学生の学力向上 3) 教員の授業能力向上 のいずれかにおいて単純な集計型のアンケートなど従来の方法以上の効果が認められなければならない。 本研究は授業評価・授業改善のためのテキストマイニングの有効性について評価することを目的として計画された。狭義には授業の概要を記述させたものはレポートの一種でありアンケートではないと思われる。しかし、今回はそれを授業がどれほど理解されたかどうかを調査するために用いるため、以下では授業評価アンケートとして区別せずに扱うことにする。 1. 授業評価アンケートの収集  まず、授業評価のためのアンケートを収集しなければならない。理解度を問うアンケートと理解したことや質問などを記述させるミニッツペーパーがあり アンケートには、授業中に記述させる授業中アンケートと Web や携帯電話によるアンケートがある。授業中アンケートにも、選択肢をマークさせるマークシートとミニッツペーパーやさらにくわしい授業の要約や質問を書かせる記述式の 2種類のアンケートがある。表 1にそれぞれのアンケートの特徴をまとめている。 本研究においては、アンケートの記述およびマークシート用紙としてはスキャネットシート (http://www.scanet.jp/) を、Webアンケートとしてはメディア教育開発センター (NIME、現放送大学 ICT活用・遠隔教育センター) のリアルタイム評価支援システムREAS2 (http://reas2.nime.ac.jp/cgi-bin/WebObjects/top) および関西学院大学教育研究システムとして提供されている授業連絡ボードを用いた。     表 1 授業中アンケートと web形式アンケートの比較   授業内アンケート web形式アンケート 回答時間 授業中 授業中，または一定期間内の学生の都合のいい時間 回答方法 マークシート，記述式 PC、または携帯電話によるオンライン回答 回答場所 教室 ネット接続された PCのある場所 メリット 授業中に回収するので回収率が高い 集計に時間がかからず，迅速な授業改善ができる デメリット マークシートや手書きデータを、テキストデータに変換する必要があ、リアルタイム性がない。 回収率が低くなる傾向がある 2. 方法  2008 年 10 月中旬-11 月下旬のうち数回の授業においてアンケートへの協力を得た。データ収集の手順は以下の通りである。  1. 授業の展開について事前に教員にヒアリングをおこない、可能な限り、授業手順、配布資料、パワーポイントやキーワードを整理する。 2. アンケート・ミニッツペーパー、確認テスト、授業中レポートなどの準備を Web アンケートの場合は、REAS上に、手書きの場合は適当なスキャネットシートとインストラクションを用意した。手書きの場合は事前にデータ化の手順を考えておく。 3. アンケートをおこなう授業において、授業を観察し、後の分析に役立つよう記録を取る。このとき、必要に応じて、ビデオ撮影をする。ビデオ撮影は観察の補助および、分析結果から授業をふりかえる必要がある場合に利用する。 4. 授業終了後、収集されたアンケートなどを見てもらいながら、通常の授業でおこなっているような評価をしてもらう。 5. データのクリーニングをおこなう。 6. テキストマイニング等により分析、可視化をおこなう (クラスタリング、MDS によるプロット、キーグラフなど)。 7. テキストマイニングによる可視化の結果をみてもらいながら、教員にインタビューする。新しい発見はあるか？   データを収集した授業の概要を表 2に示す。        表 2 対象授業概要   授業 回答方法 受講者数  文字数(字) 1 理工学部 専門科目 Web 65 1036 2 46 2154 3  理工学部 演習  Web 25 1959 4  商学部  専門科目       手書き 52 4544 5  情報科学科目 演習  Web 12 3083 6 情報科学科目 演習  Web 34 3654 7 手書き 34 1229 8 情報科学科目 演習  Web 25 3687 9 手書き 19 622 10 情報科学科目 演習  Web 129 6623 11 手書き 122 2839 12 情報科学科目 演習  手書き 17 601  3. 評価と知見  以下のような知見が得られた。詳細については別途専門誌において発表する予定である。  - 学生の理解度や授業への評価において、テキストマイニングは有効である。 - しかし、有効性を引き出すには、データのクリーニングをすることが必要である。 - 文章量が多い場合はクリーニングに時間がかかる。上記データにおいて、手書きデータの入力とクリーニングで最大 2時間程度が必要であった。 - 専門科目においては文章量が多くても意味を読み取りやすい可視化が可能であった。 - 演習授業で、文章量が多い場合には、可視化が困難である。しかし、事前に必須キーワードを要求しておくと可視化しやすくなる。 - 多肢選択アンケートと併用すると可視化しやすい。  本研究のデータ収集には理工学部学生上野絵梨佳の協力を得た。(文責 武田) 

授業におけるテキストマイニングの有効性に関する研究

https://kwansei.repo.nii.ac.jp/?action=repository_action_common_download&item_id=23448&item_no=1&attribute_id=22&file_no=1

授業におけるテキストマイニングの有効性に関する研究

Abstract

Similar works

Full text

Available Versions

Kwansei Gakuin University Repository