Penelitian ini bertujuan untuk mengetahui validitas, reliabilitas, indeks tingkat kesulitan, indeks daya beda, dan efektivitas pengecoh pada soal Ulangan Akhir Semester Genap Bahasa Prancis Kelas X MAN Yogyakarta I Tahun Pelajaran 2013/2014.
Penelitian ini merupakan penelitian evaluasi dengan menggunakan metode deskriptif kuantitatif. Instrumen penelitian ini yakni lembar telaah butir soal yang digunakan untuk mengetahui validitas isi soal. Teknik pengumpulan data dilakukan dengan mendokumentasikan soal, kisi-kisi soal, kunci jawaban, dan seluruh lembar jawaban Ulangan Akhir Semester Genap Bahasa Prancis Kelas X MAN Yogyakarta I TP 2013/2014. Teknik analisis data untuk mengetahui validitas soal dilakukan dengan mengisi lembar telaah soal, sedangkan untuk mengetahui reliabilitas, indeks tingkat kesulitan, indeks daya beda, dan efektivitas pengecoh soal dilakukan dengan bantuan program Anates Pilihan Ganda versi 4.0.9 dan Anates Uraian versi 4.0.5.
Hasil penelitian menunjukkan bahwa validitas soal pilihan ganda dan uraian Ulangan Akhir Semester Genap Bahasa Prancis Kelas X MAN Yogyakarta I TP 2013/2014 sebanyak 24 soal (60 %) termasuk dalam kategori baik, 11 butir soal (27,5 %) dalam kategori kurang baik, dan 5 butir soal (12,5 %) dalam predikat tidak baik. Reliabilitas soal pilihan ganda dinyatakan tinggi (0,73) sedangkan reliabilitas soal uraian dinyatakan sedang (0,53). Indeks tingkat kesulitan soal pilihan ganda dan uraian yang layak dengan kategori mudah ditemukan sebanyak 9 soal (22,5 %), kategori sedang sebanyak 13 soal (32,5 %), dan kategori sulit sebanyak 1 soal (2,5 %) sedangkan yang tidak layak dengan kategori sangat mudah ditemukan sebanyak 15 soal (37,5 %) dan kategori sangat sulit sebanyak 2 soal (5 %). Indeks daya beda soal pilihan ganda dan uraian yang layak dengan kategori sangat baik ditemukan sebanyak 6 soal (15 %), kategori baik sebanyak 7 soal (17,5 %), dan kategori cukup sebanyak 9 soal (22,5 %) sedangkan yang tidak layak dengan kategori buruk ditemukan sebanyak 18 soal (45 %). Efektivitas pengecoh soal pilihan ganda yang seluruhnya efektif adalah sebanyak 2 soal (5,7 %), 1 pengecoh tidak efektif sebanyak 7 soal (20 %), 2 pengecoh tidak efektif sebanyak 4 soal (11,4 %), 3 pengecoh tidak efektif sebanyak 15 soal (42,9 %), dan 4 pengecoh tidak efektif sebanyak 7 soal (20 %). Dengan demikian, dapat dikatakan bahwa kualitas soal Ulangan Akhir Semester Genap Bahasa Prancis Kelas X MAN Yogyakarta I TP
2013/2014 secara keseluruhan termasuk dalam kategori sedang