Belajar Produk — Beberapa Cara Untuk Mengukur Engagement & Retention
Manajemen produk digital adalah salah satu hal yang sedang saya pelajari beberapa tahun belakangan. Salah satu materi product management terbaik yang saya temukan baru-baru ini adalah salah satu episode dari a16z Podcast berjudul The Basics of Growth 2 — Engagement & Retention. Di episode ini dijelaskan beberapa metrics yang umum digunakan untuk mencari tahu apakah target user terus menggunakan produk yang kita buat dan tidak hanya come and go. Tulisan ini adalah catatan saya dari episode tersebut dengan beberapa informasi tambahan sebagai pelengkap.
Acquisition > Engagement > Retention
Prioritas pertama dalam sebuah produk adalah acquisition atau mendapatkan user baru. Setelah itu yang penting adalah membuat user menggunakan produk (engagement) dan terus kembali memakai produk (retention).
Berikut adalah beberapa metrics yang dapat digunakan untuk mengukur engagement dan retention.
Cohort Analysis
Dalam ilmu statistik, cohort adalah sekelompok orang yang memiliki karakteristik yang sama dalam periode tertentu. Dalam kasus engagement & retention, cohort analysis dapat digunakan untuk mengelompokan user dalam waktu tertentu dan melihat seberapa aktif tiap kelompok tersebut untuk kemudian dibandingkan dengan cohort atau kelompok waktu lainnya.
Contohnya untuk website e-commerce, kita melakukan pengelompokan user yang pertama kali mendaftarkan diri ke website di periode waktu yang berbeda (registrant Maret minggu pertama jadi satu kelompok, registrant Maret minggu kedua jadi satu kelompok, dst) dan membandingkan berapa persen dari tiap kelompok itu yang melakukan pembelanjaan di website kita tiap minggunya (berapa persen dari satu kelompok yang belanja seminggu setelah melakukan pendaftaran, berapa persen dari kelompok yang sama melakukan pembelanjaan dua minggu setelah melakukan pendaftaran, dst). Bentuk tabel cohort pada umumnya dapat dilihat seperti di bawah ini.
Tabel ini dapat dipetakan menjadi grafik yang berbentuk seperti di bawah ini.
Grafik cohort kemungkinan besar akan melengkung ke bawah. Indikasi yang baik adalah adalah bila lengkungan menjadi lebih landai. Jika chart berbalik melengkung ke atas, ini adalah tanda yang sangat baik karena itu berarti user kembali memakai produk.
Indikasi yang buruk adalah apabila grafik terus menurun hingga angka nol. Jika ini terjadi akan menjadi sulit untuk menjaga growth rate dari produk karena akan butuh makin banyak user untuk men-counter dan menjaga growth rate.
Untuk membuktikan suatu produk memiliki network effect, cohort terbaru harus lebih aktif dari cohort sebelumnya. Dalam kasus produk seperti OpenTable, website reservasi dan review restoran, semakin banyak restoran yang sign up, semakin tinggi jumlah reservasi di produk tersebut (terlihat dari kenaikan di grafik cohort).
Apabila kamu mengklaim bahwa produk kamu memiliki network effect, investor akan meminta kamu membuktikannya dengan menunjukkan cohort.
Cohort tidak hanya bisa dikelompokan berdasarkan waktu, tapi juga bisa berdasarkan segmen market dan geografi. Contohnya adalah Slack yang melakukan segmentasi berdasarkan berapa jumlah karyawan perusahaan pengguna. Dari sini ditemukan bahwa perusahaan besar yang seluruh team-nya menggunakan Slack memiliki engagement yang lebih tinggi jika dibandingkan dengan engagement di perusahaan kecil yang memiliki team hanya lima orang.
Cohort juga bisa di-segmentasi berdasarkan market dan geografi. Contohnya di Slack, dengan segmentasi berdasarkan besar perusahaan, ditemukan bahwa company besar yang satu organisasi menggunakan Slack memiliki engagement-nya lebih tinggi dibanding perusahaan dengan team kecil sekitar 5 orang.
DAU/MAU
DAU/MAU ratio adalah salah satu metrics terpenting yang digunakan untuk mengukur frekuensi seberapa sering user menggunakan produk, terlepas dari intensitas dan lama session.
DAU (Daily active user) = jumlah unique user yang aktif (melakukan suatu engagement seperti visit, login, like, comment, dll) dalam satu hari. Misalnya jika seorang user login ke aplikasi, maka dia berkontribusi menjadi 1 DAU untuk hari itu. Metric ini bisa untuk mengambil angka dalam satu hari atau angka rata-rata dalam satu periode tertentu.
MAU (Monthly active user) = jumlah unique user yang aktif dalam satu bulan ke belakang. Misalnya jika seorang user login ke aplikasi paling tidak satu kali dalam satu bulan ini, maka dia berkontribusi menjadi 1 MAU untuk bulan itu.
Mengukur frekuensi dapat dilakukan dengan membagi dua metrics di atas menjadi DAU rata-rata dalam satu bulan/MAU ratio.
Tidak semua produk sukses memiliki DAU/MAU yang tinggi. Contohnya produk travel, karena orang tidak tiap hari travel; rata-rata setahun hanya beberapa kali. Tapi untuk produk dengan business model iklan/advertising seperti Facebook, DAU/MAU mesti menunjukan rasio yang tinggi.
Metrics should reflect whatever strategy your products is.
L28
Produk yang memiliki karakter pemakaian harian bisa menggunakan grafik L28 untuk menganalisa engagement produk. L28 adalah sebuah histogram (frequency diagram) yang menunjukan seberapa sering user menggunakan produk dalam waktu satu bulan, disajikan dalam bentuk bar chart.
Jadi berapa user yang visit 1 hari dalam sebulan, 2 hari dalam sebulan, 3 hari dalam sebulan, dan seterusnya sampai 28 hari dalam sebulan (satu bulan dihitung sebagai 28 hari).
Dengan melihat segment yang menggunakan produk 28 hari dalam sebulan, L28 dapat digunakan untuk mengidentifikasi power user (seller, buyer, creators)
Dalam L28, chart yang baik betuknya melengkung seperti senyum. Karena pemakaian dengan frekuensi rendah pasti akan cukup besar dan jumlah user dengan frekuensi pemakaian yang lebih akan semakin sedikit. Tapi jika produk kita bagus, pada akhirnya akan menanjak lagi grafiknya. Facebook, Whatsapp, Instagram adalah beberapa contoh produk yang memiliki grafik seperti ini.
DAU/MAU dan L28 yang telah dibahas di atas adalah core metrics bagi a16z karena audiens yang besar dan engaged sangat langka dan valuable. DAU/MAU dan L28 juga metrics yang sangat susah untuk dicurangi. Berbeda dengan growth dan acquisition yang lebih mudah di-”mainkan” dengan cara memasang ads, promo, atau memberi insentif kepada user.
Contoh: Mengirim lebih banyak notifikasi atau email dengan niatan untuk membuat engagement naik. Mengirim banyak notifikasi bisa membuat casual user muncul, tapi tidak akan berpengaruh banyak kepada user yang sudah hardcore. Jadi bisa meningkatkan MAU tapi tidak berpengaruh besar dalam meningkatkan DAU; hasilnya teknik ini malah bisa membuat DAU/MAU berkurang
Engagement (frequency) dan retention apakah sama? Ada overlap. Contoh cuaca: low frequency (cuma sekali sehari), tapi high retention (dicek setiap hari). Game or ebook high engagement (dibaca terus sampai selesai) low retention (kalo udah selesai dibaca ga ada alasan untuk baca ulang). Modelnya tergantung bisnisnya.
Mengukur engagement untuk produk yang memiliki frekuensi conversion rendah, contohnya website beli rumah online dimana tidak mungkin orang beli rumah sesering itu, bisa dilakukan dengan mengukur off-stream signal. Contohnya: mengukur frekuensi atau time on site user browse, search, membuka email.
Nah, apakah yang bisa kita lakukan setelah mendapatkan metrics yang telah disebutkan di atas? Dari sini kita bisa melakukan iterasi dengan mengembangkan hipotesis, bangun improvement dari hipotesis tersebut, dan melakukan test untuk validasi solusi yang telah dibuat.
Pilih metrics yang tepat untuk produk yang kamu miliki, metrics yang bisa menunjukan jika product yang kamu buat menghasilkan value untuk customer dan bangunlah tim, roadmap, dan segala sesuatunya untuk memperkuat itu.
Growth is good; growth + engagement is really, really really good.
