Ibaraki UniversityIbaraki UniversityIbaraki UniversityIbaraki UniversityIbaraki University会議名: 言語資源活用ワークショップ2020, 開催地: オンライン, 会期: 2020年9月8日−9日, 主催: 国立国語研究所 コーパス開発センターBERT が出力する単語の埋め込み表現は，その単語が現れた文の文脈に依存している．このためある単語wの用例を収集し，BERT により得られる単語wに対する埋め込み表現から，それらの分散値を計算すると，その値は単語wの語義の広がりに対応すると考えられる．そこで多義語「頭」「意味」「核」「記録」「言葉」「胸」と単義語「生産」，「政治」，「意識」，「抗議」，「成績」を対象にそれら単語の用例を収集し，分散値の比較を行った．多義語に対しては大きな分散値，単義に対しては小さな分散値が出ることが予想される．またBERT のどの位置の階層が最も語義の広がりに影響しているかも調査した．しかしこれら実験から，上記の分散値では語義の広がりを測定するのは困難であることがわかった．その原因について考察する

Hiroyuki Shinnou

Jing Bai

Rui Cao

Wen Ma

Yanghuizi Ou

新納 浩幸

曹 鋭

欧 陽恵子

白 静

馬 ブン

会議名: 言語資源活用ワークショップ2020, 開催地: オンライン, 会期: 2020年9月8日−9日, 主催: 国立国語研究所 コーパス開発センターBERT が出力する単語の埋め込み表現は，その単語が現れた文の文脈に依存している．このためある単語wの用例を収集し，BERT により得られる単語wに対する埋め込み表現から，それらの分散値を計算すると，その値は単語wの語義の広がりに対応すると考えられる．そこで多義語「頭」「意味」「核」「記録」「言葉」「胸」と単義語「生産」，「政治」，「意識」，「抗議」，「成績」を対象にそれら単語の用例を収集し，分散値の比較を行った．多義語に対しては大きな分散値，単義に対しては小さな分散値が出ることが予想される．またBERT のどの位置の階層が最も語義の広がりに影響しているかも調査した．しかしこれら実験から，上記の分散値では語義の広がりを測定するのは困難であることがわかった．その原因について考察する．application/pdf茨城大学茨城大学茨城大学茨城大学茨城大学Ibaraki UniversityIbaraki UniversityIbaraki UniversityIbaraki UniversityIbaraki Universityconference pape

欧, 陽恵子

曹, 鋭

白, 静

馬, ブン

新納, 浩幸

シンノウ, ヒロユキ

Shinnou, Hiroyuki

Ou, Yanghuizi

Cao, Rui

Bai, Jing

Ma, Wen

Academic Repository of the National Institute for Japanese Language and Linguistics / 国立国語研究所学術情報リポジトリ

国立国語研究所学術情報リポジトリBERTによる単語埋め込み表現の分散値を用いた語義の広がりの分析著者 欧 陽恵子, 曹 鋭, 白 静, 馬 ブン, 新納 浩幸雑誌名 言語資源活用ワークショップ発表論文集巻 5ページ 174-180発行年 2020URL http://doi.org/10.15084/00003157BERT による単語埋め込み表現の分散値を用いた語義の広がりの分析欧陽恵子 (茨城大学大学院理工学研究科情報工学専攻) ∗曹鋭 (茨城大学大学院理工学研究科情報工学専攻) †白静 (茨城大学大学院理工学研究科情報工学専攻) ‡馬ブン (茨城大学大学院理工学研究科情報工学専攻) §新納浩幸 (茨城大学大学院理工学研究科情報工学専攻) ¶Analysis of Polysemy using Variance Values for WordEmbeddings by BERTYanghuizi Ou (Graduate School of Science and Engineering, Ibaraki University)Rui Cao (Graduate School of Science and Engineering, Ibaraki University)Jing Bai (Graduate School of Science and Engineering, Ibaraki University)Wen Ma (Graduate School of Science and Engineering, Ibaraki University)Hiroyuki Shinnou (Graduate School of Science and Engineering, Ibaraki University)要旨BERT が出力する単語の埋め込み表現は，その単語が現れた文の文脈に依存している．このためある単語 w の用例を収集し，BERTにより得られる単語 w に対する埋め込み表現から，それらの分散値を計算すると，その値は単語 wの語義の広がりに対応すると考えられる．そこで多義語「頭」「意味」「核」「記録」「言葉」「胸」と単義語「生産」，「政治」，「意識」，「抗議」，「成績」を対象にそれら単語の用例を収集し，分散値の比較を行った．多義語に対しては大きな分散値，単義に対しては小さな分散値が出ることが予想される．また BERT のどの位置の階層が最も語義の広がりに影響しているかも調査した．しかしこれら実験から，上記の分散値では語義の広がりを測定するのは困難であることがわかった．その原因について考察する．1. はじめに本論文では BERT (Devlin et al. (2019))が出力する単語の埋め込み表現と語義との関係を調べるために，多義語と単義語に分けて，それら埋め込み表現の分散値，つまり語義の広がりを比較する．BERT が出力する単語の埋め込み表現が語義を表現しているなら，多義語に対する分散値は大きく，単義語に対する分散値は小さくなることが予想できる．BERT は言語の事前学習モデルであり，基本的には入力された単語列を対応する単語の埋∗ 19NM705X@vc.ibaraki.ac.jp† 18ND305G@vc.ibaraki.ac.jp‡ 19ND301R@vc.ibaraki.ac.jp§ 19ND302H@vc.ibaraki.ac.jp¶ hiroyuki.shinnou.0828@vc.ibaraki.ac.jp言語資源活用ワークショップ2020発表論文集174 2020年9月8日– 9日め込み表現列に変換する．このとき得られる単語の埋め込み表現は word2vec (Mikolov et al.(2013))などから得られる分散表現のように固定したベクトルではなく，その単語が現れた文脈，つまり入力された単語列に依存している．この点からある単語 w を含む文 sを BERT に入力し，wに対応する埋め込み表現 ew を得たとき，ew は s内における wの語義を表していると考えられる．本論文では ew を収集し，その分散値 Vw を得ることで w の語義の広がり（多様性）を調べることで，BERT が出力する単語の埋め込み表現と語義との関係を考察する．特に注目するのは単義語 w に対する ew の分散値 Vw である．ew が語義を表しているのであれば，ew の分散値 Vw は非常に小さいはずである．これを多義語 wに対する ew の分散値 Vw との比較から確認する．また BERT は概略 Multi-head Attention の層を 12層重ねたモデルであり，各層毎に単語wに対する埋め込み表現 ew が得られる．今第 i層の単語 wに対する埋め込み表現を e(i)w とおく．つまり ew = e(12)w である．ew がある程度の広がり（分散値）を持っていたとしても，e(1)wは分散表現に近い形なので，その広がり（分散値）は小さく，層を経るに従い徐々に広がりが増していくと考えられる．本研究では各階層ごとに分散値 V(i)w を求め，どの階層で分散値が最も大きく増加するかを確認する．これによってどの階層が語義を特定するのに寄与しているかが考察できる．実験では多義語として「頭」「意味」「核」「記録」「言葉」「胸」の 6単語，単義語「生産」，「政治」，「意識」，「抗議」，「成績」の 5単語を対象にして分散値 V(i)w を求めることで，BERTの出力する単語埋め込み表現の語義の広がりの分析した．しかし実験から，上記した分散値では語義の広がりを測定するのは困難であることがわかった．その原因についても考察する．2. 関連研究BERTの出力する埋め込み表現と語義との関連性に関する研究としては，BERTを利用した語義曖昧性解消 (Word Sense Disambiguation; WSD)の研究がある．論文 (曹鋭ほか (2019))では BERT の出力する埋め込み表現を特徴ベクトルとして利用して，教師あり学習によりWSD を行っている．また all-words WSD を行った論文（Du et al. (2019)）や 3つの BERTベースの WSD モデルを提案した (Huang et al. (2019)）などの研究もある．更に論文（谷田部梨恵・佐々木稔 (2020b)）では WSD の解決のために，用例文内の単語が同じ語義で使われているかどうかを判定するために，BERT の出力する埋め込み表現を利用している．BERT の出力する埋め込み表現をクラスタリングする研究は，語義の広がりに関する研究と関連している．論文（山内崇史ほか (2020)）では，BERT の出力する埋め込み表現をクラスタリングすることにより領域表現を獲得している．この領域表現が本研究における語義のクラスタに対応している．この領域表現を単語間の意味的類似度推定タスクおよび単語間の関係推定タスクに利用して，それらの精度向上を果たしている．もっと一般的に BERT の出力する埋め込み表現と言語現象との関連付けを研究するために，論文（浅原正幸・加藤祥 (2020a)）では，『現代日本語書き言葉均衡コーパス』(BCCWJ) に対して BERT の出力する埋め込み表現を付与したコーパス BERTed-BCCWJ を構築している．言語資源活用ワークショップ2020発表論文集175 2020年9月8日– 9日3. 単語埋め込み表現の分散値と語義の広がり単語 w を含む文 sを n個集め，それらを s1, s2, · · · , sn とする．これらの文を BERT に入力する．si 中の w に対応する BERT から得られる埋め込み表現を ewi とする．ewi の平均ベクトルを ēw とし，ew の分散値 Vw を以下で定義する．Vw =1nn∑i=1||ēw − ewi ||2単語 wの語義の広がりを Vw によって測ることにする．また BERT の第 i層目の出力内の単語 w に対する埋め込み表現を e(i)w とおき，その分散値を V(i)w とおく．BERT は 12層からなるので，V(1)w から V(12)w = Vw が得られる．これらの値を確認することで，語義が明確になる階層位置を考察する．4. 実験4.1 単義語と多義語との語義の広がりの差対象とした単語は，多義語として「頭」「意味」「核」「記録」「言葉」「胸」の 6単語，単義語として「生産」，「政治」，「意識」，「抗議」，「成績」の 5単語である．各単語の用例は BCCWJ及び毎日新聞の ’93 から ’98 年の記事からランダムに取り出した．取り出した用例の数と得られた分散値について多義語は表 1，単義語は表 2に示す．多義語 6 単語に対する分散値の平均は 186.14，単義語 5 単語に対する分散値の平均は176.43 であり，単義語の分散値の方が多義語の分散値よりも小さくなっている．ただし統計的な有意差はなく，この実験結果からは予想していた結果は得られなかった．表 1 多義語の用例数と実験結果単語 頭 意味 核 記録 言葉 胸用例数 82 91 191 151 184 74分散値 197.07 241.28 112.96 213.29 179.72 172.50表 2 単義語の用例数と実験結果単語 生産 政治 意識 抗議 成績用例数 110 434 82 42 33分散値 163.81 162.73 204.19 162.00 189.384.2 BERT の各階層における語義の広がりの変化BERT の各階層における語義の広がりの変化を調べた．多義語の結果を図 1 に，単義語の結果を図 2に示す．言語資源活用ワークショップ2020発表論文集176 2020年9月8日– 9日図 1 BERT の各階層における分散値（多義語）図 2 BERT の各階層における分散値（単義語）こちらの場合も多義語と単義語に大きな差は見ることができなかった．また語義の広がりを示す分散値は階層が上がるに従って徐々に大きくなってゆくと考えられる．しかしどちらの場合も単調に分散値が上昇するという訳ではなく，第４層目と第９層目辺りに勾配が下降したり平坦になるような様子が見られる．言語資源活用ワークショップ2020発表論文集177 2020年9月8日– 9日5. 考察実験では多義語に対する分散値と単義語に対する分散値に大きな違いはなかった．これは語義の広がりを単に分散値から計算したことによるものだと考えられる．当初，語義に対する埋め込み表現は図 3のような位置関係になると予想していた．図 4の場合は，確かに多義語に対する分散値は大きく，単義語に対する分散値は小さくなる．の   の   図 3 予想していた多義語と単義語の埋め込み表現の位置関係しかじ実際は例えば図 4のような位置関係になっていたと考えられる．図のような場合は，多義語に対する分散値と単義語に対する分散値に大きな違いは生じない．の  の  図 4 現実の多義語と単義語の埋め込み表現の位置関係例語義の広がりを確認するために，BERT から出力される対象単語 w に対する埋め込み表現ew の集合内の全ペアに対してその距離を求め，その平均の距離を測定した．結果を表 3と表 4に示すが，埋め込み表現間の平均距離に関しても多義語と単義語間では大きな差は生じていない．本論文では語義の広がりを埋め込み表現の位置関係で測ることができると考えていたが，結言語資源活用ワークショップ2020発表論文集178 2020年9月8日– 9日表 3 多義語の埋め込み表現間の平均距離単語 頭 意味 核 記録 言葉 胸分散値 197.07 241.28 112.96 213.29 179.72 172.50平均距離 19.97 22.09 15.08 20.72 19.01 18.70表 4 単義語の埋め込み表現間の平均距離単語 生産 政治 意識 抗議 成績分散値 163.81 162.73 204.19 162.00 189.38平均距離 18.21 18.06 20.33 18.21 19.75果的にはそれができていない．原因として以下の３つが考えられる．(1) 語義のクラスタが小さいとは限らない単語 w の用例を集めて，BERT から出力される w の埋め込み表現 ew の集合を作り，そこからクラスタリングすれば語義のクラスタが作成される．当初，この語義のクラスタが小さいことを想定していた．単義語 w に対しては ew の集合が語義のクラスタ自体を表すことになるが，前章の実験はその大きさが特に小さくはないことを示している．(2) 語義のクラスタ間距離が大きいとは限らない語義のクラスタがある程度の大きさを持っていたとしても，語義のクラスタ間距離が大きければ，多義語 w に対する ew の集合の分散値は大きくなるはずである．当初，この語義のクラスタ間距離が大きいと予想していた．しかし前章の実験ではそのような結果は示されなかった．本来，語義のクラスタ間距離は語義の距離に対応しているので，それらの値も多様性があり，一様に大きいいとは限らない．(3) コーパスから得た用例が多義語になっていない可能性もある本実験で用いた多義語に対して実際に語義が異なる用例を収集できているかを確認できていない．上記の 3点の他に，そもそも BERT が出力する埋め込み表現自体が語義を表現しているのかどうかも確認の必要がある．BERT は，本来，設定したタスクを利用して Fine-Tuning を行って利用するものであり，タスクに応じて BERT の重みが調整され，その出力がタスクに適したものになる．このため素の BERT が出力した埋め込み表現が直接語義を表現できているのかどうかは不明である．今後は上記の点に注意し，BERT の出力する埋め込み表現と語義との関係を調べていきたい．6. おわりに本論文では BERT が出力する単語の埋め込み表現と語義との関係を調べるために，単義語と多義語に分けて，それら埋め込み表現のなす広がりを測ることを行った．言語資源活用ワークショップ2020発表論文集179 2020年9月8日– 9日具体的には，単語 w の用例を収集し，BERTにより得られる単語 w に対する埋め込み表現から，それらの分散値を単語 wの語義の広がりと定義した．多義語「頭」「意味」「核」「記録」「言葉」「胸」と単義語「生産」，「政治」，「意識」，「抗議」，「成績」を対象にそれら単語の用例を収集し，分散値を測った．BERT が出力する単語の埋め込み表現が語義を表現しているのなら，多義語に対する分散値は大きく，単義語に対する分散値は小さくなることが期待されたが，両者の分散値に大きな差は生じなかった．予想に反した結果に対する原因を考察した．今後はその考察をもとに，BERT の出力する埋め込み表現と語義との関係を調べていきたい．文　献Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova (2019). “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.” Proceedingsof the 2019 Conference of the North American Chapter of the Association for Computa-tional Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers),pp. 4171–4186.Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean (2013). “Dis-tributed Representations of Words and Phrases and their Compositionality.” C. J. C.Burges, L. Bottou, M. Welling, Z. Ghahramani, and K. Q. Weinberger (Eds.), Advancesin Neural Information Processing Systems 26. pp. 3111–3119.曹鋭・田中裕隆・白静・馬ブン・新納浩幸 (2019)．「BERT を利用した教師あり学習による語義曖昧性解消」 言語資源活用ワークショップ 2019発表論文集．Jiaju Du, Fanchao Qi, and Maosong Sun (2019). “Using bert for word sense disambigua-tion.” arXiv preprint arXiv:1909.08358.Luyao Huang, Chi Sun, Xipeng Qiu, and Xuanjing Huang (2019). “GlossBERT: BERT forWord Sense Disambiguation with Gloss Knowledge.” Proceedings of the 2019 Conferenceon Empirical Methods in Natural Language Processing and the 9th International JointConference on Natural Language Processing (EMNLP-IJCNLP), pp. 3509–3514.谷田部梨恵・佐々木稔 (2020b)．「BERT の学習済みモデルを用いた用例文ペアの同義判定」言語処理学会第 26回年次大会, P4-10．山内崇史・梶原智之・荒瀬由紀 (2020)．「文脈を考慮した単語ベクトル集合からの単語領域表現」 言語処理学会第 26回年次大会, B4-2．浅原正幸・加藤祥 (2020a)．「BERTed-BCCWJ: 多層文脈化単語埋め込み情報を付与した『現代日本語書き言葉均衡コーパス』データ」 言語処理学会第 26回年次大会, P2-5．言語資源活用ワークショップ2020発表論文集180 2020年9月8日– 9日

Analysis of Polysemy Using Variance Values for Word Embeddings by BERT

https://repository.ninjal.ac.jp/?action=repository_action_common_download&item_id=3173&item_no=1&attribute_id=48&file_no=1

BERTによる単語埋め込み表現の分散値を用いた語義の広がりの分析

BERTによる単語埋め込み表現の分散値を用いた語義の広がりの分析

Abstract

Similar works

Full text

Available Versions

Academic Repository of the National Institute for Japanese Language and Linguistics / 国立国語研究所学術情報リポジトリ