Banyak tim mengira usability testing itu sederhana: cukup tunjukkan desain ke beberapa orang, lalu tanya apakah mereka suka atau tidak. Padahal cara seperti itu hanya menangkap opini, bukan perilaku nyata dan opini sering kali tidak mencerminkan apa yang sebenarnya terjadi saat seseorang benar-benar mencoba menyelesaikan sebuah tugas di dalam produk.

Tujuan Menguji Desain dengan Real User

Design testing ada untuk menghadapkan asumsi tim dengan realita, sebelum asumsi tersebut benar-benar tertanam di dalam production code. Usability testing secara spesifik berarti mengamati seorang partisipan mencoba menyelesaikan tugas-tugas yang realistis pada sebuah prototype atau produk yang sudah live, dengan tujuan menemukan pain point yang tidak diantisipasi oleh tim desain. Nielsen Norman Group menggambarkan usability testing sebagai studi perilaku yang terstruktur, menggunakan metode “think aloud”, yang mengungkap tidak hanya apa yang dilakukan user, tetapi juga kenapa mereka melakukannya informasi yang jarang bisa didapat hanya dari sebuah dashboard analitik yang sudah jadi.

Pendekatan think aloud sendiri bukan sekadar istilah NN/G saja. Berdasarkan Wikipedia, think-aloud protocol adalah metode pengumpulan data di mana partisipan diminta mengucapkan apa pun yang ada di pikiran mereka selama mengerjakan sebuah tugas — termasuk apa yang mereka lihat, pikirkan, lakukan, dan rasakan — sehingga peneliti bisa memahami proses kognitif partisipan, bukan hanya hasil akhirnya. GOV.UK, panduan resmi pemerintah Inggris untuk digital service, juga menjelaskan bahwa moderated usability testing dilakukan dengan mengamati partisipan mencoba menyelesaikan tugas tertentu sambil meminta mereka “think aloud”, sehingga tim bisa memahami apa yang mereka lakukan, pikirkan, dan rasakan.

Qualitative dan Quantitative Testing Bukan Saingan

Usability testing bisa bersifat qualitative atau quantitative, dan kedua pendekatan ini menjawab pertanyaan yang berbeda, bukan saling bersaing untuk jawaban yang sama. Qualitative testing fokus mengumpulkan insight, temuan, dan anekdot tentang bagaimana orang menggunakan sebuah produk, dan ini adalah bentuk yang lebih umum dipakai karena memang dikhususkan untuk menemukan masalah yang belum diketahui sebelumnya. Quantitative testing, sebaliknya, fokus mengumpulkan metrik yang konkret paling umum berupa task success rate dan time on task dan paling cocok dipakai untuk menetapkan benchmark yang bisa dilacak di setiap iterasi desain.

  • Sample size untuk studi qualitative: sebuah studi usability kualitatif yang khas untuk satu kelompok user biasanya hanya membutuhkan sekitar lima partisipan untuk menemukan sebagian besar masalah usability yang umum. Angka ini berasal dari riset Nielsen & Landauer (1993), yang menjadi rujukan paling sering dikutip dalam dunia UX research untuk aturan “5 users”.
  • Sample size untuk studi quantitative: perbandingan statistik yang bermakna umumnya membutuhkan jumlah partisipan yang jauh lebih besar, karena tujuannya adalah mengukur sebuah angka dengan tingkat percaya diri (confidence) tertentu, bukan sekadar menemukan sebuah pola.
  • Kapan memilih qualitative: pilih pendekatan ini saat tim belum tahu apa yang salah, dan perlu memahami root cause terlebih dahulu sebelum mendesain ulang apa pun.
  • Kapan memilih quantitative: pilih pendekatan ini saat tim sudah memahami masalahnya, dan membutuhkan angka yang bisa dipertahankan (defensible) untuk melacak perbaikan atau meyakinkan stakeholder atas sebuah keputusan.

Kesimpulan

Pertanyaan “apakah saya harus pakai metode qualitative atau quantitative?” sebenarnya keliru sejak awal, karena keduanya tidak saling menggantikan. Qualitative testing menjawab “apa yang salah dan mengapa”, sementara quantitative testing menjawab “seberapa besar masalahnya dan apakah sudah membaik”. Tim yang matang biasanya memakai keduanya secara bergantian sepanjang siklus desain: qualitative di tahap awal untuk menemukan masalah, dan quantitative di tahap akhir untuk membuktikan bahwa masalah itu benar-benar sudah teratasi.

Penulis:

D7267 – Samson Ndruru

Sumber: