Syn-QG: Syntactic and Shallow Semantic Rules for Question Generation

Question Generation (QG) is fundamentally a simple syntactic transformation; however, many aspects of semantics influence what questions are good to form. We implement this observation by developing Syn-QG, a set of transparent syntactic rules leveraging universal dependencies, shallow semantic parsing, lexical resources, and custom rules which transform declarative sentences into question-answer pairs. We utilize PropBank argument descriptions and VerbNet state predicates to incorporate shallow semantic content, which helps generate questions of a descriptive nature and produce inferential and semantically richer questions than existing systems. In order to improve syntactic fluency and eliminate grammatically incorrect questions, we employ back-translation over the output of these syntactic rules. A set of crowd-sourced evaluations shows that our system can generate a larger number of highly grammatical and relevant questions than previous QG systems and that back-translation drastically improves grammaticality at a slight cost of generating irrelevant questions.Comment: Some of the results in the paper were incorrec

AUTOMATIC GENERATE QUESTION UNTUK SHORT-ANSWER-QUESTION DI READING COMPREHENSION IELTS MENGGUNAKAN METODE NATURAL LANGUAGE PROCESSING DAN ALGORITMA K-NEAREST NEIGHBOR

International English Language Testing System (IELTS) adalah salah satu tes evaluasi kemampuan berbahasa inggris, selain TOEFL dan TOEIC. Cotton (2001), berpendapat bahwa dalam pembuatan soal dapat menghabiskan lebih dari 50% dari jam waktunya untuk memikirkan satu buah set soal, oleh karena itu tentu dalam pembuatan soal IELTS ini membutuhkan waktu yang tidak sedikit dalam memikirkan kalimat pertanyaan dan jawabannya. Karena masalah ini, penelitian mengenai automatic question generation dilakukan dengan harapan dapat digunakan sebagai tools untuk menghasilkan kalimat pertanyaan dan jawabannya, sehingga dapat menghemat waktu dalam memikirkan pertanyaan dan jawabannya, akan tetapi soal yang dihasilkan difokuskan pada jenis soal short answer question di reading comprehension, karena untuk penelitian jenis soal lain membutuhkan metode penelitian yang berbeda. Soal-soal yang dihasilkan menggunakan sumber artikel dari berita dengan grammar yang terpercaya seperti CNN dan BBC. Juga dalam penelitian ini mengumpulkan kumpulan soal IELTS dengan jenis soal short answer question di bagian reading comprehension, kumpulan soal ini yang akan digunakan dalam penelitian untuk membandingkan kelayakan dengan data uji, yang menjadi kandidat soal. Sumber yang digunakan dalam penelitian untuk mengumpulkan soal-soal yang menjadi data latih berasal dari ebook dan website. Tahapan dari penelitian ini secara garis besar yaitu ekstraksi kalimat sederhana, klasifikasi soal, generate kalimat soal, dan yang terakhir membandingkan kandidat soal dengan data latih untuk menentukan kelayakan. Hasil dari evaluasi yang dilakukan adalah untuk parameter Grammatical Correctness menghasilkan persentase sebesar 59,52%, untuk parameter Answer Existence menghasilkan 95,24%, sedangkan untuk parameter Difficulty Index menghasilkan presentase sebesar 34,92%. Sehingga untuk rata-rata yang dihasilkan sebesar 63,23%

Infusing NLU into Automatic Question Generation

This paper presents an approach to automatic question generation that significantly increases the percentage of acceptable questions compared to prior state-of-the-art systems