ÖZET - User Interface Evaluation in the Real World: A Comparison of Four Techniques

Robin Jeffries, James R. Miller, Cathleen Wharton ve Kathy M. Uyeda tarfından yapılmış ve 1991 yılında yayınlamış olan "User Interface Evaluation in the Real World: A Comparison of Four Techniques" isimli makale bir yazılımın kullanıcı arayüzünün kullaılabilirliğinin değerlendirilmesinde 4 farklı yöntemin karşılaştırmasını ele alıyor.

Makalede karşılaştırılan 4 değerlendirme yöntemi şu şekilde;

1. Sezgisel Değerlendirme ( Heuristic Evaluation)
2. Yazılım Yönergeleri (Software Guidelines)
3. Bilişsel Gözden Geçirme (Cognitive Walkthrough)
4. Kullanılabilirlik Testi (Usability Testing)

4 farklı değerlendirme grubu oluşturulmuş, her grup aynı kullanıcı arayüzünü farklı bir değrlendirme yöntemini kullanarak değerlendirilmiş ve bu değerlendirmeler sonucunda bulunan kullanılabilirlik sorunları, bu sorunların türleri ve harcanan süre raporlanmıştır. Bu veriler ışığında değerlendirme yöntmelerinin karşılaştırılması yapılmıştır.

Sezgisel değerlendirme yapan birinci grup 4 kişilik bir uzman grubundan oluşmaktadır. Bir insan-bilgisayar etkileşimi araştırma grubunun üyesi olan ve kullanılbilirlik deneyimine sahip bu uzmanlara iki haftalık bir süre verilmiş ve bu süre içinde değlendirme yapmaları ve tespit ettikleri sorunlarla birlikte harcadıkları süreyi de raporlamaları istenmiştir. Kullanılabilirlik testi, bu iş konusunda profesyonel bir kişi tarafından normal bilgisayar kullanıcısı olan 6 kullanıcıyla birlikte yürütülmüştür. Yönerge ve bilişsel gözden geçirme yöntemleri ise ürünün gerçek tasarımcılarına ulaşılması mümkün olmadığından, geliştirme sürecinde yer almayan 3 farklı yazılım mühendisi tarafından gerçekleştirilmiştir.

Elde edilen veriler incelendiğinde toplam 268 kullanılabilirlik sorunu tespit edilmiş, sistemden yada değerlendirme yapan kişiden kaynaklı olanlar çıkarıldığında 223, tekrar ettiği düşünülen sorunlar çıkarıldığında ise 206 sayısına ulaşılmıştır. (SD-105; YY-35; BGG-35; KT-31)

Bu aşamanın ardından elde edilen sorunlar önem derecelerine göre puanlanmış ve bu puan doğrultusunda harcanan zamana göre kar/maliyet oranı hesaplanmıştır. Bu hesaplama sonucunda ortaya çıkan sonuçlar sezgisel değerlendirmenin diğer değerlendirme yöntemlerine göre en büyük kar/maliyet oranına sahip olduğu görülmüştür. Bu oranlar sırasıyla SD-12; YY-2; BGG-3; KT-1 şeklindedir.

Bu araştırma kapsamında yazılım yönergeleri ve bilişsel gözden geçirme yöntemleri gerçek tasarımcılar yerine süreçte yer almayan 3 yazılım mühendisi tarafından gerçekleştirilmişti. Bu kişilerin istemi öğrenilmek için de zaman harcandığı göz önüne alınmış ve bu süre düşülerek kar/maliyet oranı tekrar hesaplanmıştır. Elde edilen sonuçlar  SD-12; YY-6; BGG-3; KT-1 şeklindedir.

Tespit edilen sorunlar kar/maliyet oranının yanı sıra;

• sorunun arayüzün, sistemdeki diğer parçalarla tutarlılığıyla ilgili ne söylediği
• sorunun sadece ilk kullanımda mı karşılaşıldığı yoksa tekrarlar nitelikte mi olduğu,
• sorunun sistemin geneline mi yoksa sadece belli bir kısmına mı ait olduğu,

noktalarından yola çıkılarak içerik açısından da değerlendirilmiştir.

Tüm bu analizler sonucunda makalede elde edilen bulgular ışığında kullanılabilirlik yöntemlerinin karşılaştırılmasıyla ilgili genel bir değerlendirme tablo şeklinde sunulmuştur.





KAYNAKÇA

Jeffries, R., Miller, J., Wharton, C., & Uyeda, K. M. (1991). User interface evaluation in the real world: a comparison of four techniques. Proc. ACM CHI'90 Conf. (New Orleans, LA, April 27 - May 2), 119-124.

Makaleye ulaşmak için tıklayınız (PDF)