ÖZET - A Comparative Study of Two Usability Evaluation Methods Using a Web-Based E-Learning Application

Samuel Ssemugabi ve Ruth de Villiers tarafından 2007yılında yayınlanan makalede kullanılabilirlik uzmanları  tarafından yapılan Sezgisel Değerlendirme(Heuristic Evaluation) ile son kullanıcılar (öğrenci) tarafından yapılan inceleme-anket değerlendirme (Survey evaluation) yöntemleri kullanılarak bir web tabanlı öğrenme ortamının kullanılabilirliği değerlendirilmiştir. Araştırmada ucuzluk ve kolay kullanım gibi avantajlarının olduğu belirtilen  sezgisel değerlendirmenin kullanılabilirlik sorunlarının tespit edilmesinde ne kadar başarılı olduğu incelenmiştir.

Makalede vurgulanan önemli bir nokta, öğrenme ortamlarının kullanılabilirliğinin değerlendirilmesinin hem eğitim hem de insan-bilgisayar etkileşimi alanlarının sorunu olduğu ve bu ortamların kullanılabilirliğinin değerlendirilmesinde bu iki alanın birlikte ele alınması gerekliliğidir.

Makalede sezgisel değerlendirme (SD), heuristic adı verilen kullanılabilirlik ilkeleri göz önünde bulundurularak uzmanlar tarafından sistemin kullanılabilirlik sorunlarının tespit edilmesi olarak açıklanmıştır. SD'nin genellikle geliştirme sürecinde uygulandığı ancak bu çalışmada olduğu gibi gerçek ürünün değerlendirilmesi için de etkili olduğu vurgulanmıştır.Ucuz ve basit bir yöntem olarak ifade edilen SD'nin aynı zamanda kullanılabilirlik problemlerinin tespiti konusunda etkili, verimli ve yeterli olması halinde web tabanlı eğitim ortamlarının kullanılabilirliğinin değerlendirilmesinde ideal bir yöntem olacağı üzerinde durulmuştur.

Değerlendirme için uygunluğu, erişebilirliği ve kolay kontrol edilebilirliği açısından Walter Sisulu Üniversitesinde Bilişim Sistemleri 3 dersi için kullanılan Info3Net web sitesi tercih edilmiştir. Ders karma öğrenme olarak tasarlanmış ve 80 adet son sınıf öğrencisi tarafından takip edilmiştir.

Sezgisel değerlendirmeyi yapabilmek adına Nielsen'in kullanılabilirlik ilkelerinin yanısıra Squires ve Preece'nin yazılım ile öğrenme ilkelerinden de faydalanılarak 3 kategoriden ve 20 kriterden oluşan bir değerlendirme formu geliştirilmiştir. 20 kriterden 5 tanesi uzman değerlendirmesinden çok kişisel değerlendirmeye uygun olması gerekçesiyle  karşılaştırmada kullnılacak kriter sayısı 15'e düşürülmüştür.

Survey içinse öğrenciler tarafından puanlanmak üzere her bir kriter için alt durumlar oluşturulmuş ve ek olarak her bir kiriter için bu kriterle ilgili sistemde karşılaştığı sorunları yazmaları için bir açık uçlu soruya yer verilmiştir. 61 öğrenci ile yapılan değerlendirme sonucunda 64 kullanılabilirlik problemi tespit edilmiştir. bu porblemler incelendiğinde birbirine yakın olanlar birleştirilermiş ve 55 adet kullanılabilirlik problemi listelenmiştir.

Sezgisel değerlendirme yöntemi için 4 adet uzman kullanılmıştır. Bu uzamanlardan 2 tanesi binsan-bilgisayar etileşiminin yanısıra eğitim alanında da uzman olarak nitelendirilmektedir.Bu uzmalar değerlendirme öncesinde sezgisel değerlendirme süreci, değerlendirilmenin yapılacağı sistem ve değerlendirmeye konu olacak görevler (task) konusunda bilgilendirilmiştir. Uzman değerlendirmesinin ardından 4 uzman tarafından toplam 77 kullanılabilirlik problemi tespit edilmiştir. Problemlerin incelenmesiyle bu sayı 58'e düşürlmüştür.



İkinci aşamada şiddet puanlaması (severity rating) yapılarak tespit edilen problemlerin önem dereceleri belirlenmiştir. Bu değerlendirme yine 4 uzman tarafından gerçekleştirilmiştir. Uzman grubunun ve son kullanıcıların tespit ettiği problemlerden 75 kullanılabilirlik probleminin yer aldığı tek bir liste oluşturulmuş ve her bir problem 4 uzman tarafında 1ile 5 arasında puanlamıştır. Bu puanlamanın ardından yapılan incelemeler sonucunda puan ortalamaları doğrultusunda major(4-5), minor(1-2) ve medium(2-4) şeklinde üç grup oluşturulmuştur. Major ve minor problemlerin uzmanlar ve son kullanıcılar tarafından ne derce tespit edilebildikleri aşağıdaki tabloda yer almaktadır.



Problemlerin sınıflandığı bir başka kriter ise genel, web ve eğitimsel şeklindeki kategorilerdir. Bu sınıflandırmanın ayrıntıları aşağıdaki tabloda görülmektedir.




Makalenin sonuç kısmında becerikli ve tamamlayıcı uzmanlar tarafından yapılması durumunda sezgisel değerlendirmenin çevrimiçi eğitim bağlamında, Survey Evaluation kadar uygun, etkili ve verimli bir yöntem olduğu vurgulanmaktadır. Sezgisel değerlendirme, aynı zamanda ucuz ve uygulamasının kolay olması sebebiyle makalenin araştırmacıları tarafından önerilmektedir.

KAYNAKÇA

Ssemugabi, S., & Villiers, R. (2007, October). A comparative study of two usability evaluation methods using a web-based e-learning application. 2007 Annual Conference of the South African Institute of Computer Scientists and Information Technologists, Garden Route, South Africa.

Makaleye ulaşmak için tıklayınız (PDF)