Sınav İstatistikleri

Sınav Bilgisi

Bu rapor, sınavın ve soruların istatistiksel (psikometrik) bir analizini vermektedir. Bu raporun üst bölümü tüm sınavın bir özetini vermektedir. Burada ortalama not, ortanca not ve sonuçların standart sapması gibi değerlendirmeler yer alır.

Ortalama not, genelde sınav için %50-75 puan civarında bir ortalama tutturulması önerilse de kursunuz ve öğrenenlerinize bağlı olarak değişiklik gösterecektir. Küçük bir grup için kazanım seviyesi yüksek bir ders veriyorsanız sınav ve mini sınavlarda daha yüksek bir ortalama hedefleyebilirsiniz. Standart sapma, notların ortalamaya olan uzaklığını ve yakınlığını göstererek ortalama ile ilgili size bir bakış açısı sunar. Standart sapma için önerilen aralık %12-18 civarındadır. (Phil Butcher, 2023)

Sınava ilişkin bu temel ölçümlerin ötesinde Moodle, sınava ilişkin olarak farklı analizler de sunar. Bunlardan ilki, not dağılımı çarpıklığı veya kısaca “Çarpıklık”tır. Çarpıklık, sonuç dağılımının asimetrisi veya eğikliğidir.

Bu anlamda üç çarpıklık türünden bahsedebiliriz.

Normal Dağılım (Simetrik Dağılım): Normal dağılım eğrisi, ölçme sonuçlarının orta noktalarda yoğunlaştığı, uç noktalarda seyrekleştiği bir şeklidir. Simetrik dağılımda tepe ve ortanca değer birbirine eşittir.

Pozitif Dağılım (Sağa Çarpık): Ortalama, aşırı puanların olduğu sağa doğru çekilmede ve ortanca ortalamanın solunda kalmaktadır.

Negatif Dağılım (Sola Çarpık): Ortalama aşırı puanların bulunduğu sol tarafa doğru çekilmekte ortanca ortalamanın sağında kalmaktadır.(Doç. Dr. C. Deha DOĞAN, 2023)

Bir eğimin dikliği, bir testin ne kadar ayırt edici olabileceğinin göstergesidir. Negatif bir eğimde sınav, daha yüksek not alan öğrenenler için daha az ayırt edicidir. Pozitif bir eğime sahip sınavda ise sınavın sınavı geçen veya geçemeyen öğrenenleri ayırt etme konusunda kötü bir iş çıkardığı anlamına gelebilir. Tavsiye edilen -1,0 civarında negatif bir sayı aramaktır. (Jason HOGAN, 2023)

İç Tutarlılık Katsayısı Cronbach’ın alfasıdır ve testin tüm soruları boyunca aynı şeyi değerlendirdiğinin bir ölçüsüdür. Hesaplama, puanların varyansını kullanır ve sonuç olarak bir yüzde üretir. 100’lük bir puan imkânsız olmalıdır ancak bu göz önünde bulundurduğunuz bir ölçütse daha yüksek bir puan daha iyidir. İç tutarlılık katsayısı, hata oranı ve standart oran sayıları için de kullanılır.

Hata oranı, standart sapmanın ne kadarının beceri farklılıklarından ziyade şans faktörlerinden oluştuğunu göstermek için iç tutarlılık katsayısını kullanır. Bu ölçümde daha düşük bir puan daha iyidir. Bu konuda zorluk yaşıyorsanız soru havuzundaki bazı soruların diğerlerinden önemli ölçüde daha kolay veya daha zor olması gibi faktörler olabilir ve bu havuzdan bir dizi soru çekiyorsanız bazı öğrenenler diğerlerinden daha zor bir test alıyor olabilir.

Standart hata, testin standart sapma ölçüsü ile hata oranını birleştirerek bir öğrenenin benzer bir sınavı denediğinde alması beklenen not aralığını belirler. Sınav için bir öğrenen standart hatası %5 olan bir testten %85 almışsa öğrenenin %80 ile %90 arasında bir puan alması beklenir. Bu, Moodle geliştirme ekibinin bu puanı %8’in altında tutmaya çalışmanızı önerdiği, düşük tutmak isteyeceğiniz bir sayıdır.

Sınav Yapısı Analizi

Sonraki bölüm tüm soruları tablo formatında gösteren bir analiz sunar. Bu bölümde soruları tek tek düzenlemek veya belirli bir sorunun ayrıntılı analizine ulaşmak için bağlantılar bulunmaktadır. Bu raporun son bölümü, doğru cevapların yüzdesini (zorluk indeksi) ve ayırt edicilik gücü indeksini gösteren bir çubuk grafiktir.

Raporun tamamı (genel bakış ve tüm soruların detaylı analizi), sınav yapısı analiz tablosu gibi çeşitli formatlarda indirilebilir.

Moodle, genel test için birçok hesaplama yapar ancak aynı zamanda soru bazında test hakkında bir rapor oluşturur. Bu rapor, sınavın “Ayarlar” bölümünde yaptığınız tasarımından etkilenir. Tüm öğrenenlerin alacağı soruları özel olarak seçmek yerine bir soru bankasından rastgele sorulardan oluşan bir havuz kullanırsanız daha zayıf bir rapor elde edersiniz. Ayrıca bu raporun size görünmesi için testteki tüm sorulara not vermeniz gerekir.

Bir soru için gösterilen ilk ölçüt, sorunun yer aldığı deneme sayısıdır; eğer bir soru havuzundan çekiyorsanız bazıları diğerlerinden daha fazla testte yer alabilir.

Zorluk endeksi, soruyu doğru cevaplayan (veya birden fazla doğru cevabı olan sorularınız varsa kısmen doğru yanıtlayan) öğrenenlerin sayısını temsil eder. Zorluk indeksi, ortalama puanın maksimum puana bölünmesiyle belirlenir ve yüzde olarak gösterilir. Bu, yanlış ayarlanmış olabilecek bir soru olup olmadığını kontrol etmek veya kursunuzda öğrenenlerinizin daha zayıf olabileceği alanları belirlemek için harika bir ölçüttür. Zorluk indeksini çok kolay soruları belirlemek için de kullanabilirsiniz. Bu, soru bankanızı değerlendirmeye başlamak ve sorunun tasarladığınız şeyi gerçekleştirip gerçekleştirmediğini kendinize sormak için harika bir yerdir.

Moodle ayrıca soru düzeyinde standart sapmayı da belirleyecektir. Burada düşük bir standart sapmanın, bir sorunun mutlaka iyi tasarlanmış olduğu anlamına gelmediğini belirtmekte fayda var. Soru herkes için çok kolay veya çok zorsa puanlarda büyük bir fark olmayacak ve dolayısıyla standart sapma düşük olacaktır. Standart sapma, daha güçlü ve daha zayıf öğrenenleri ayırt etmek için tasarlanmış sorularınız için bakılması gereken daha önemli bir değer hâline gelir.

Son iki temel ölçüt, rastgele tahmin puanı ve kasıtlı ağırlıktır.

Rastgele tahmin puanı, bir öğrenenin sadece rastgele cevaplar seçerek o soru için alacağı puanların yüzdesidir (örneğin, sorunun 4 olası cevabı varsa ve sadece biri doğruysa rastgele tahmin puanı %25,00’tir). Kasıtlı ağırlık, o sorunun sınavda ne kadar değerli olması gerektiğidir. Temel olarak bu soru için maksimum puanın test için maksimum puana bölünmesiyle elde edilen ve yüzde olarak ifade edilen bir değerdir. (Phil Butcher, 2023)

Moodle’ın bir soru hakkında size vereceği üç rapor daha vardır: Sorunun etkili ağırlığı, ayırıcı indeks ve ayırt edicilik gücü.

Etkili ağırlık, sorunun kasıtlı ağırlığıyla karşılaştırılacak bir sayıdır ve her bir sorunun öğrenenin toplam puanı üzerindeki not varyansı miktarını tahmin eder.

Etkili ağırlık, soruyu gerçekten doğru veya yanlış yapan öğrenenlerin yüzdesi değildir. Aynı kolaylık endekslerine sahip iki sorunuz olabilir ancak her ikisi de testte 1 puan değerinde olsa bile farklı etkin ağırlıklara sahip olabilirler. Bunun yerine, etkili ağırlık, öğrenenin bireysel denemelerine bakarak ve öğrenenin testteki puanıyla karşılaştırarak sorunun kovaryansını kullanır. Dolayısıyla bir öğrenenin, bir sorudan 1 puan alması ve final notunun 60 olması durumunda bu soru öğrenenin puanına 80 almasından daha fazla katkıda bulunur.

Ayırıcı indeks, öğrenenlerin o soruda ne kadar başarılı oldukları ile diğer sorularda ne kadar başarılı oldukları karşılaştırılarak bir sorunun kalitesini temsil etmeye çalışır. Ne yazık ki zorluk endeksi ne zaman yüksek ya da düşük olsa ayırt edicilik endeksi de düşük olacaktır.

Ayırt edicilik gücü, bu sorundan kaçınmaya çalışan benzer bir rapordur. Ayırt etme yüzdesi 10 veya daha düşük olan soruların soru metni kırmızı renkle vurgulanır. Ayırt edici güç, zorluk endeksi 30 ila 70 arasında olan sorular için en iyi sonucu verir. 100 puan almak muhtemelen mümkün değildir ancak daha yüksek puanlar daha iyidir.

Son olarak kendi formülünüzle kontrol etmek istiyorsanız sonuçları sınav sonuçları sayfasından veya not defterinizi dışa aktararak indirebilirsiniz. Ancak soruya özel hesaplamaları yapmak için her bir soruyu ve her bir öğrenenin bu sorulardaki puanını içeren bir elektronik tabloya ihtiyacınız olacaktır.

Soru Konuları için İstatistikler

Moodle’ın istatistiklere ilişkin son raporu size soruların zorluk indeksi ve ayırt edicilik gücü hakkında bilgileri gösteren grafiği olacaktır. Grafiğin hemen altında isterseniz bu grafiğe ait verileri görebilirsiniz. Grafik bir bakışta hangi sorularla yakından ilgilenmeniz gerektiği ile ilgili size değerli bilgiler verecektir.