受験者固有層を有する深層学習モデルによる複数記述式問題同時自動採点手法

Abstract

近年，受験者の論理的思考力や表現力などの実践的な能力を評価する方法の一つとして，記述式問題が国内外の大規模試験を含む様々なテストで広く活用されている．一方で，特に大規模試験においては，採点の一貫性の確保が難しいことや採点に要する時間的・経済的コストが大きいことなどが記述式問題導入の課題として指摘されてきた．これらの問題を解決できる方法のひとつとして自動採点技術が近年注目されている．記述式問題自動採点（Automated short-answer grading, ASAG）とは，短答記述式問題に対する回答文を人工知能技術を用いて自動的に採点する技術である．近年では，深層学習を用いた様々な自動採点モデルが提案され，高い精度を達成している．一般に深層学習自動採点モデルを含む従来の自動採点モデルは，記述式問題ごとに個別に収集されたデータセットを用いて訓練・構築され，問題ごとに独立に自動採点が行われる．しかし，現実のテストでは，同一テスト上で複数の記述式問題が出題されることがしばしばあり，そのような同一テスト上の問題群は受験者の特定の潜在的特性を測定するように設計されていると考えられる．そのような場合，複数の記述式問題におけるある受験者の得点は問題ごとに独立ではなく，受験者の特性という共通の要因に依存すると考えられる．したがって，複数の記述式問題の背後にある受験者固有の潜在特性を推定できれば，それは各問題に対する得点予測の有益な補助情報として機能すると期待できる．そこで，本研究では，同一テスト上に同一の潜在特性を測定する複数の記述式問題が出題される場合を対象に，各受験者の複数の回答文からその受験者に固有の潜在特性を推定し，それを得点予測に活用する機構を持つ新たな深層学習自動採点モデルを提案する．提案モデルは，複数の短答式問題に対する回答文を同時に入力し，それらに対応する複数の得点を同時に出力する多入力多出力型の深層学習モデルとして定式化する．また，本研究では，実データを用いた提案モデルの有効性評価実験から次のことを示した．1）受験者固有の特徴量を加味することで得点予測の精度を改善できた．2）BERTベースの提案モデルは，一定の訓練を受けた人間評価者による採点と同程度の精度を達成した．3）提案モデルで抽出される受験者固有の特徴量は，数理モデルを用いたテスト理論の一つである項目反応理論に基づいて得点データから推定される受験者の能力値と相関しており，測定対象の受験者の能力を反映していると解釈できた．電気通信大学202