Multi-task Learning for Japanese Predicate Argument Structure Analysis

述語項構造解析とはテキスト中に存在する述語とその項との意味構造を解析するタスクである．「誰が」「何を」「誰に」「どうした」のように文の構造を整理することは，機械翻訳や含意関係認識など複雑な文章の解析を必要とする処理のために有用である．述語項構造解析は動詞や形容詞といった述語を対象にし，その項を解析するタスクであるが，文中には名詞でも項を持つものが多く存在する．例えば，「報告」のようなサ変名詞や「救い」のような動詞から派生した名詞がこれにあたり，このような名詞を事態性名詞と呼ぶ．NAISTテキストコーパスでは，述語と事態性名詞はどちらも必須格（ガ格，ヲ格，ニ格）の項を持つ．また飯田ら（2006）によると，述語は同一文節内に項を持つことはほぼないが，事態性名詞の場合はヲ格とニ格の項の約半分が同一文節内に出現する．このことから，事態性名詞の項構造解析と述語項構造解析は関係性が高いが別のタスクであるといえる．先行研究では，機械学習を用いた述語項構造解析の研究が盛んに行われてきた．しかしこれらのほとんどが述語を対象に項の解析を行っており，事態性名詞を対象とした研究は少ない．文章の意味構造を整理し，正しく文脈解析を行ううえで，述語のみを対象にした項構造解析は不十分である．そこで本研究では，述語項構造解析と事態性名詞の項構造解析をマルチタスク学習するモデルを提案する．マルチタスク学習は含意関係認識や意味役割付与など自然言語処理の様々な分野で適用されており，精度の向上が報告されている学習手法である．マルチタスク学習の特徴として，複数のタスクを同時に解くことで学習データが増え，各タスクに含まれるノイズに対して頑健に学習できることが挙げられる．また，タスク間で共通する知識を獲得することで，モデルをより汎化できるのも利点の一つである．NAISTテキストコーパスは機械翻訳などで用いられている大規模なデータセットと比較すると小規模であり，NAISTテキストコーパスにおける事態性名詞のデータ数は述語のデータ数の約3分の1であることから，特に事態性名詞の項構造解析においてマルチタスク学習が効果的であることが期待できる．この提案モデルでは end-to-end な多層双方向 Recurrent Neural Network（RNN）がベースであり，入力層とRNN層と出力層においてタスク間で共通の知識とタスク特有の知識を区別するアーキテクチャーを有する．入力層では，タスク独自の単語ベクトルを学習することで，表層形が同じであっても文脈の異なる述語と事態性名詞の違いを区別する．RNN層では，タスク共有のRNNの上にタスク特有のRNNを階層的に重ねるニューラルネットワークを構築することで，共有のRNNでタスク共有の知識表現を学習し，タスク特有のRNNでそれぞれのタスクに調整する．出力層では，タスク共有の層とタスク特有の層に分けることで，述語と事態性名詞の項の出現位置の違いを考慮するように学習する．本論文では日本語述語項構造解析において一般的なベンチマークとして使われるNAISTテキストコーパスを用いて実験を行った．実験の結果，提案モデルがマルチタスク学習を用いないベースラインモデルと比較して，全体のF値で0.29ポイントの精度向上を示した．また，文内述語項構造解析タスクにおいて最高精度を達成している先行研究のモデルを0.67ポイント上回る解析精度を示した．本論文の貢献は以下の3つである．1. 初めてマルチタスク学習を用いて述語項構造解析と事態性名詞の項構造解析を行い，双方のタスクで解析精度が向上することを示した．2. 統語情報を素性として加えることによって，複数の述語項関係を考慮しない単純なモデルが文内述語項構造解析において最高精度を達成した．3. 初めて深層学習を用いて事態性名詞の項構造解析を行った．本稿の構成は以下のようになっている．第1章では本研究の概要について述べる．第2章では日本語述語項構造解析と意味役割付与についての関連研究について述べる．第3章ではタスク設定と end-to-end モデルの概要及び素性について述べる．第4章では提案手法である述語項構造解析と事態性名詞の項構造解析のマルチタスク学習モデルについて説明する．第5章ではデータセットと実験設定，実験結果について述べる．第6章ではベースラインと提案モデルの出力結果を比較し，各モデルの効果を分析する．最後に，第7章で本研究のまとめと今後の展望について述べる．An event-noun is a noun that has an argument structure similar to a predicate. Recent works, including those considered state-of-the-art, ignore event-nouns or build a single model for solving both Japanese predicate argument structure analysis (PASA) and event-noun argument structure analysis (ENASA). However, because there are interactions between predicates and event-nouns, it is not sufficient to target only predicates. To address this problem, we present a multi-task learning method for PASA and ENASA. Our multi-task models improved the performance of both tasks compared to a single-task model by sharing knowledge from each task. Moreover, in PASA, our models achieved state-of-the-art results in overall F1 scores on the NAIST Text Corpus. In addition, this is the first work to employ neural networks in ENASA.首都大学東京, 2019-03-25, 修士（工学）首都大学東

Deaf and hearing children's picture naming Impact of age of acquisition and language modality on representational gesture

Stefanini, Bello, Caselli, Iverson, & Volterra (2009) reported that Italian 24-36 month old children use a high proportion of representational gestures to accompany their spoken responses when labelling pictures. The two studies reported here used the same naming task with (1) typically developing 24-46-month-old hearing children acquiring English and (2) 24-63-month-old deaf children of deaf and hearing parents acquiring British Sign Language (BSL) and spoken English. In Study 1 children scored within the range of correct spoken responses previously reported, but produced very few representational gestures. However, when they did gesture, they expressed the same action meanings as reported in previous research. The action bias was also observed in deaf children of hearing parents in Study 2, who labelled pictures with signs, spoken words and gestures. The deaf group with deaf parents used BSL almost exclusively with few additional gestures. The function of representational gestures in spoken and signed vocabulary development is considered in relation to differences between native and non-native sign language acquisition