Perubahan pada Sistem Penilaian SBMPTN 2018📚

Tahun 2018 ini panitia SBMPTN mengubah sistem penilaian SBMPTN 2018 menggunakan teori respon butir[3]. Sistem ini dibuat dengan alasan penilaian yang lebih fair antarpeserta SBMPTN. Tetapi perubahan sistem penilaian tersebut menimbulkan banyak pertanyaan dan juga berita yang simpang siur mengenai bagaimana sistem penilaian SBMPTN yang sebenarnya.

Sistem Penilaian SBMPTN 2018

Sistem penilaian SBMPTN 2018 seperti yang dilansir pada posting SBMPTN melalui Twitter menyatakan bahwa sistem penilaian yang digunakan adalah teori analisis butir soal (Item Response Theory). Analisis butir soal merupakan teori yang dikembangkan untuk memperbaiki keterbatasan-keterbatasan teori tes klasik. Konsep dasar Teori Respon Butir adalah performansi subjek pada suatu tes dapat diprediksi atau dijelaskan oleh seperangkat faktor yang disebut traits, latent traits atau abilitas (Hambleton, Swaminathan & Rogers, 1991)[1] [dengan suntingan].

Analisis butir soal ini menggunakan tiga variabel untuk menghitung skor masing-masing soal. Variabel tersebut adalah taraf kesukaran butir ([latex]bi[/latex]), daya beda butir ([latex]ai[/latex]), dan probabilitas tebakan semu ([latex]ci[/latex]). Skor masing-masing peserta sekarang akan dihitung dengan mempertimbangkan ketiga variabel tadi.

Pada proses Item Response Theory, skor akhir akan dihitung berdasarkan tiga variabel yang telah disebutkan. Alur penilaian adalah sebagai berikut.

  1. Semua peserta mendapat nilai 0 untuk soal salah dan tidak diisi serta satu untuk soal benar.
  2. Seluruh jawaban peserta di akumulasi dan dikategorikan berdasarkan jawaban peserta untuk mengetahui nilai ketiga variabel tersebut.
  3. Nilai akhir dihitung berdasarkan skor dan pengaruh dari variabel yang telah dihitung.

Contoh Perhitungan

Saya membuat sebuah aplikasi menggunakan Excel untuk menghitung skor berdasarkan satu dari tiga variabel tersebut. Variabel yang saya gunakan adalah taraf kesukaran butir ([latex]bi[/latex]). Berikut adalah hasil try out yang saya laksanakan dengan jumlah peserta 9 orang.

Benar Salah Tidak dijawab Skor I Skor II  Skor III 
20 24 56  56 20 35
21 20 59 64 21 37
14  53  33  14  39 
21  29  50  55  21  40 
18 38 44 34 18 30
23 11  66  81  23  40 
14 13 73 43 14 18
22 25 53 63 22 38
19 10 71 66 19 30

Keterangan:

  • Skor I, skor yang diperoleh menggunakan perhitungan lama (+4, -1, 0).
  • Skor II, skor tahap 1 pada SBMPTN 2018 (+1, 0).
  • Skor III, skor akhir setelah melalui item response theory.

Perhatikan pada baris dengan warna hijau. Dengan menjawab benar 14 soal, salah 53 soal, dan tidak dijawab 33, berhasil mendapatkan nilai 39. Sedangkan pada baris berwarna biru dan oranye memiliki jumlah jawaban yang hampir sama tetapi memiliki skor akhir yang sama. Dapat disimpulkan bahwa tingkat kesulitan soal sangat berpengaruh terhadap penilaian.

Meskipun tidak ada pengurangan poin, tetapi nilai akhir DIPENGARUHI oleh jawaban orang lain yang sama-sama mengikuti tes. Untuk pembahasan lebih detail mengenai sistem item response theory ini dapat dibaca pada artikel Bongkar Teori Respon Butir SBMPTN 2018.

Miskonsepsi Penilaian SBMPTN 2018

  1. Tidak ada pengurangan poin. Ini tidak sepenuhnya benar, karena penilaian dipengaruhi oleh tiga variabel dan variabel tersebut dipengaruhi oleh jawaban seluruh peserta ujian. Jadi, TIDAK ADA PENGURANGAN POIN secara individu, melainkan poin berpengaruh kepada seluruh peserta SBMPTN 2018.
  2. Isi sebanyak-banyaknya. Ini tidak benar, karena penilaian dengan teori respon butir menggunakan variabel probabilitas tebakan semu ([latex]ci[/latex]) yang menghitung apakah peserta tersebut menjawab asal-asalan. Ini dapat berpengaruh dengan nilai akhir.
  3. Jawaban salah dan tidak diisi tidak berpengaruh. Ini tidak sepenuhnya salah. Jawaban salah dan jawaban tidak diisi memiliki pengaruh terhadap penilaian. Jawaban salah akan diberi nilai 0 dan tidak diisi tidak akan dihitung. Hal ini akan berimbas pada variabel taraf kesukaran butir ([latex]bi[/latex])[1].

Strategi SBMPTN 2018

  1. Gunakan strategi yang sama dengan SBMPTN sebelumnya.
  2. Hanya isi soal yang bisa dikerjakan, jangan asal-asalan.
  3. Jika tidak tahu jawaban, jangan diisi. RULE OF THUMB: Jawaban asal-asalan maksimal 1/3 dari jumlah jawaban pasti. Misalnya: Anda mengerjakan 40 soal yang Anda yakin benar, berarti jika Anda ingin asal memilih jawaban maka maksimal pilih 13 soal saja.
  4. Jangan terpaku dengan soal yang sulit, kerjakan sebanyak mungkin soal yang dapat dikerjakan. Meskipun mudah, isi dengan tepat dan jangan terlalu lama menghabiskan waktu untuk soal yang sulit dikerjakan.

Referensi

  1. Akhtar, Hanif. 2017. Sekilas tentang Teori Respon Butir (http://www.semestapsikometrika.com/2017/07/teori-tes-klasik-memang.html). Diakses 26 April 2018.
  2. doug.numbers. 2014. How can I handle missing values when fitting IRT model? (https://stats.stackexchange.com/a/91948). Diakses 27 April 2018.
  3. Hidayati, Kana. 2002. Keakuratan Hasil Analisis Butir Menurut Teori Tes Klasik dan Teori Respons Butir Ditinjau dari Ukuran Sampel (http://staff.uny.ac.id/sites/default/files/penelitian/Kana%20Hidayati,%20M.Pd./Keakuratan%20Hasil%20Analisis%20Butir.pdf). Diakses 26 April 2018.