Makalenin giriş bölümünde KDY'ler için bir çok örnek çalışma yapılmış olmasına karşın yöntemlerin yeterince karşılaştırılmadığı vurgulanmaktadır. Bu eksikliğin nedenleri arasında tanımların, ölçümlerin ve ölçütlerin standart olmaması gösterilmektedir. Bu çalışmada daha önceki çalışmalarda tanımlanan ölçütler bir yaklaşım olarak ele alınmıştır. Bu ölçütler gerçeklik (realness), geçerlik (validity), bütünlük (thoroughness),etkililik (effectiveness) ve tutarlık (consistency) şeklindedir.
Gerçeklik (realness); tespit edilen bir kullanılabilirlik probleminin gerçek bir problem olup olmadığıyla ilgilidir.
Geçerlik (validity); gerçek kullanılabilirlik problemi sayısının toplam bulunan problem sayısına oranı olarak tanımlanır.
Bütünlük (thoroughness); gerçek kullanılabilirlik problemi sayısının sistemde yer alan toplam kullanılabilirlik problemi sayısına oranı olarak tanımlanır.
Etkililik (effectiveness); geçerlik ve bütünlüğün birlikteliği olarak ele alınmaktadır ve örnek çalışmada
[geçerlik x bütünlük] olarak hesaplamaktadır.
Tutarlık (consistency); güvenirlik ve tekrarlanabilirlikle ilişkilidir. Örnek çalışmada tutarlık bir kullanılabilirlik probleminin kaç değerlendirmede ortak olarak tespit edildiği şeklinde ele alınmıştır.
Bu makalede vurgulanmakta olan bir diğer önemli nokta Kullanılabilirlik değerlendirme yöntemlerinin karşılaştırılabilmesi için bu süreçte dikkate alınması gereken iki durum olduğudur. Bunlardan birincisi bazı ortak noktaların belirlenmesidir.
- kullanılabilirlik değerlendirme deneyimleri benzer olan değerlendirmecilerin seçilmesi
- kullanılabilirlik değerlendirme yöntemleri ile değerlendirmecilerin deneyimleri doğrultusunda eşleştirilmesi
- ortak görevler (task) belirlenmesi
- sonuçların raporlaştırılması için ortak bir dökümantasyon formatının belirlenmesi
- KDY lerin karşılaştırılabilmesi için ölçütlerin seçilmesi
- kullanılabilirlik bulgularının gerçekliği, uygunluğu için ölçütlerin belirlenmesi (gerçek bir problem mi ?)
- kullanılabilirlik bulgularının benzer olması için ölçütlerin belirlenmesi
Yukarıda anlatılan ve vurgulanan bu yaklaşım doğrultusunda örnek bir çalışma gerçekleştirilmiştir. Aegean Üniversitesi, Ürün ve Sistem tasarım Mühendisliği Bölümünün web sitesi 4 farklı KDY kullanılarak değerlendirilmiştir.
Kullanılabilirlik değerlendirmeleri Etkileşim Tasarımı dersini almakta olan yüksek lisans öğrencileri tarafından yürütülmüştür. 27 öğrenciden yalnızca 2 tanesinin kullanılabilirlik değerlendirmeyle ilgili sınırlı deneyimi mevcuttur. 3'er kişilik takımlar kendi tercihleri doğrultusunda KDY ler il eşleştirilmiştir. (Sezgisel Değerlendirme-3, Bilişsel Gözden Geçirme-2, Sesli Düşünme-3 ve Sonradan İnceleme-1) Her bir gruba değerlendirme ve bulguların raporlaştrılması için 2 aylık bir süre verilmiştir.
Tüm değerlendirme sonuçalrı elde edildikten sonra yapılan inceleme sonrasında her bir ölçüte göre elde edilen bulgular aşağıdaki tablolarda göstrilmektedir.
SONUÇ
- Tek bir yöntemin uyglanması geniş, kapsamlı bir kullanılabilirlik değerlendirmesi için yeterli değildir. paralel değerlendirmeler yürütlmelidir.
- Hiçbir yöntem diğerine göre daha verimli ve daha tutarlı değildir.
- Deneyimsiz gnç tasarımcıların gerçeklik ve geçerli oranlı bir çok takım için yüksek sayılabilecek sonuçlardır.
KAYNAKÇA
P. Koutsabasis , T. Spyrou , J. Darzentas, Evaluating usability evaluation methods: criteria, method and a case study, Proceedings of the 12th international conference on Human-computer interaction: interaction design and usability, July 22-27, 2007, Beijing, China
0 yorum:
Yorum Gönder