固有表現抽出におけるアノテーション手法の比較

会議名: 言語資源活用ワークショップ2016, 開催地: 国立国語研究所, 会期: 2017年3月7日-8日, 主催: 国立国語研究所 コーパス開発センター本稿では, 非専門家による固有表現抽出のタスクとしてのアノテーションを題材に, ふたつの手法について比較を行った. ひとつは既存の固有表現抽出器によるアノテーション結果に対し, 人手で修正を行う手法であり, もうひとつは人手で一からアノテーションを行う手法である. 実験には現代日本語書き言葉均衡コーパス(BCCWJ) を利用し, 手法ごとに1 テキストに対し2 人の非専門家を割り当てて, アノテーションを行った. 評価には, アノテーションにかかる時間, 一致率, Gold Standard との比較による正解率, それぞれの手法で作成されたコーパスを訓練事例とした場合の正解率を利用し, ジャンルごと, 及び, 全ジャンルのマイクロ平均とマクロ平均を算出した. 本実験の結果から, 全ジャンルのマイクロ平均とマクロ平均で比較した場合には既存のアノテーション結果を用いた手法の方が良い結果となるが, 既存の固有表現抽出器の訓練事例から離れたジャンルで同様に比較した場合には人手でアノテーションを行う手法の方が良い結果となることが明らかになった

＜全文＞言語資源活用ワークショップ2016発表論文集

会議名: 言語資源活用ワークショップ2016, 開催地: 国立国語研究所, 会期: 2017年3月7日-8日, 主催: 国立国語研究所 コーパス開発センタ