Back to IF3110 Pengembangan Aplikasi Berbasis Web

Topic: Usability Testing & System Monitoring

Questions/Cues

  • Definisi Usability (ISO 9241-11)

  • 3 Komponen ISO

  • 5 Atribut Nielsen

  • Dimensi 5Es (Quesenbery)

  • Mengapa Perlu Monitoring?

  • Keterbatasan Lab Testing

  • Level 1: Standard Logs

  • Level 2: Extended Logs

  • Level 3: Custom Logging

  • Implementasi Data Warehouse

  • Analisis: Ad Hoc vs Dashboard

  • Flow Analysis & Drop-offs

  • Fitur “Insight” Otomatis

Reference Points

  • Slide IF3110-14-Usability-Test-and-Monitoring

  • ISO 9241-11:2018

  • Jakob Nielsen (NNGroup)

  • Whitney Quesenbery

1. Definisi Usability (Standar ISO)

Berdasarkan ISO 9241-11:2018, Usability adalah:

“Tingkat sejauh mana sebuah sistem, produk, atau layanan dapat digunakan oleh pengguna tertentu untuk mencapai tujuan tertentu dengan efektivitas, efisiensi, dan kepuasan dalam konteks penggunaan tertentu.”

Analisis Definisi:

  • Specified Users: Tidak ada produk yang cocok untuk “semua orang”.

  • Specified Goals: Apa yang ingin dicapai user? (Beli barang, cari info, hiburan).

  • Specified Context: Di mana dipakainya? (Kantor tenang, pabrik bising, atau mobile di jalan).

2. Lima Atribut Usability (Jakob Nielsen)

Jakob Nielsen memecah usability menjadi 5 kualitas dasar:

  1. Learnability: Seberapa mudah pengguna menyelesaikan tugas dasar saat pertama kali melihat desain? (Kurva belajar).

  2. Efficiency: Setelah pengguna mempelajari desain, seberapa cepat mereka bisa menyelesaikan tugas? (Kecepatan user ahli).

  3. Memorability: Ketika pengguna kembali setelah lama tidak menggunakan aplikasi, seberapa mudah mereka mengingat cara pakainya? (Tanpa perlu belajar ulang).

  4. Errors: Berapa banyak kesalahan yang dibuat pengguna? Seberapa parah? Dan seberapa mudah mereka memulihkannya?

  5. Satisfaction: Seberapa menyenangkan (pleasant) pengalaman menggunakan desain tersebut?

3. Dimensi 5Es (Whitney Quesenbery)

Pendekatan alternatif yang menyeimbangkan fungsi dan pengalaman:

  1. Effective: Seberapa lengkap dan akurat tujuan tercapai.

  2. Efficient: Seberapa cepat pekerjaan diselesaikan.

  3. Engaging: Seberapa baik antarmuka menarik pengguna ke dalam interaksi dan memberikan kepuasan (Aspek estetika/emosional).

  4. Error Tolerant: Seberapa baik produk mencegah error dan membantu pengguna bangkit dari kesalahan.

  5. Easy to Learn: Seberapa baik produk mendukung orientasi awal dan pembelajaran berkelanjutan.

4. Urgensi Monitoring (Pasca-Rilis)

Mengapa Usability Testing di laboratorium saja tidak cukup?

  • Keterbatasan Lab: Jumlah partisipan sedikit, lingkungan terlalu dikontrol, dan skenario dibuat-buat.

  • Kelebihan Monitoring: Melihat perilaku pengguna asli di dunia nyata (“in the wild”), mendapatkan data kuantitatif dari ribuan sesi, dan menemukan edge cases yang terlewat saat testing.

5. Evolusi Pencatatan Data (Logging Levels)

Slide menjelaskan tiga tahapan kedalaman logging:

Level 1: Standard Logs (Server Logs)

  • Mekanisme: Dicatat otomatis oleh software server (Apache/Nginx/IIS).

  • Format (CLF): IP Address, Timestamp, HTTP Request (GET /index.html), Status Code (200, 404), Bytes Sent.

  • Masalah: Data ini “mentah” dan teknis. Kita tidak bisa melacak sesi user (stateless) dan tidak tahu konteks bisnis (apa yang user lakukan sebenarnya).

Level 2: Extended Logs

  • Mekanisme: Mengonfigurasi server untuk mencatat header HTTP tambahan.

  • Data Tambahan:

    • Cookie: Untuk melacak Session ID (membedakan user unik meskipun IP sama).

    • Referrer: Dari mana user datang (Google, Iklan, Langsung).

    • User-Agent: Perangkat/Browser yang dipakai.

  • Manfaat: Mulai bisa melakukan Session Tracking.

Level 3: Custom Application Logging (Augmented)

  • Mekanisme: Memodifikasi kode aplikasi (software) untuk mencatat event spesifik ke database (RDBMS) atau Data Warehouse.

  • Data: Aktivitas bisnis detail, misal: “User X klik Checkout”, “User Y gagal validasi stok”.

  • Output: Membangun Data Warehouse lengkap tentang perilaku user untuk analisis multidimensi.

6. Analisis dan Visualisasi

Setelah data terkumpul (Recording), langkah selanjutnya adalah analisis:

Metode 1: Ad Hoc Queries

  • Admin/Analis menulis query SQL manual ke database log untuk menjawab pertanyaan spesifik saat itu juga.

  • Contoh: “Berapa user yang gagal login antara jam 9-10 pagi ini?”

Metode 2: Dashboards & Flow Analysis

  • Menggunakan tools visualisasi (seperti Google Analytics) untuk memantau kesehatan aplikasi secara real-time.

Komponen Dashboard Utama:

  • User Acquisition: Grafik sumber trafik (Organic Search, Social, Referral).

  • Behavior Flow: Visualisasi alur perpindahan user dari satu halaman ke halaman lain. Sangat berguna untuk melihat Drop-off Points (di halaman mana user pergi?).

  • Automated Insights: Fitur modern yang memberi tahu anomali secara otomatis (misal: “Page views yesterday were greater than normal”).

Metrik Kunci:

  • Users/New Users: Pertumbuhan basis pengguna.

  • Engagement Time: Berapa lama user aktif di aplikasi.

  • Bounce Rate: Persentase user yang datang dan langsung pergi tanpa interaksi (“Mental”).

Summary

Usability adalah ukuran kualitas pengalaman pengguna yang dinilai berdasarkan standar ISO 9241-11 (Efektivitas, Efisiensi, Kepuasan), prinsip Nielsen (5 Atribut), atau dimensi 5Es Quesenbery. Untuk memastikan usability terjaga di lingkungan produksi, diperlukan sistem Monitoring yang kuat. Implementasi monitoring bergerak dari Standard Logs (data teknis dasar), ke Extended Logs (pelacakan sesi via cookie), hingga Custom Logging (data perilaku bisnis di Data Warehouse). Data ini divisualisasikan melalui Dashboard dan Flow Analysis untuk mendeteksi hambatan (drop-offs) dan mengoptimalkan retensi pengguna.