SuaraSekitar Terkini Kumpulan Berita dan Informasi dari berbagai sumber yang terpercaya
Salah satu pepatah salah kutip dalam bisnis adalah “jika Anda tidak dapat mengukurnya, Anda tidak dapat mengelolanya”. Pernyataan ini (dan variasinya) sering dimaksudkan untuk mengatakan bahwa, untuk meningkatkan sesuatu, kita memerlukan metrik yang tepat yang menangkapnya dan yang harus dilacak untuk memahami apakah upaya kita untuk memperbaikinya efektif.
Sangat menarik bahwa “kutipan” ini sebenarnya kebalikan dari aslinya, yaitu:
“Salah jika mengira jika Anda tidak dapat mengukurnya, Anda tidak dapat mengelolanya – sebuah mitos yang mahal.” — W. Edwards Deming (The New Economics).
Perbedaan antara versi asli dan yang umum digunakan ini menyoroti mengapa berbahaya untuk mengandalkan satu metrik untuk menilai seberapa baik kinerja bisnis: bahwa satu metrik dapat dimanipulasi dengan cara yang tidak terkait dengan apa yang seharusnya diukur. Inilah fenomena yang dijelaskan oleh hukum Campbell.
Hukum Campbell menyatakan bahwa semakin penting suatu metrik dalam keputusan sosial membuat, semakin besar kemungkinan untuk dimanipulasi.
Dengan kata lain, ketika satu metrik digunakan untuk menentukan keberhasilan atau kegagalan, manusia cenderung mencoba mengoptimalkan perilaku mereka untuk meningkatkan metrik tersebut — terkadang dengan konsekuensi yang konyol atau berbahaya. Orang mengelola metrik, daripada menggunakan metrik untuk membantu mengelola masalah mendasar yang diminati.
Contoh klasik adalah “mengajar untuk ujian ” — praktik umum yang akrab bagi semua orang yang telah mengambil tes standar apa pun dari beberapa konsekuensi yang berarti. Misalnya, beberapa kritik terhadap tes standar seperti SAT dan GRE menunjukkan bahwa mereka tidak mengukur pengetahuan atau potensi, tetapi mengukur seberapa baik individu dapat belajar untuk tes.
Serupa hukum, Hukum Goodhart , menyatakan bahwa “Ketika suatu ukuran menjadi target, itu tidak lagi menjadi ukuran yang baik” (seperti yang diparafrasekan oleh Marilyn Strathern). Kedua pernyataan tersebut berasal dari para ilmuwan sosial (Campbell adalah seorang psikolog sosial, dan Goodhart adalah seorang ekonom) yang frustrasi karena metrik tunggal digunakan sebagai pengganti pemahaman yang holistik dan bernuansa tentang perilaku yang rumit.
Daftar Isi
Hukum Campbell dalam Kehidupan Sehari-hari
Kita dapat menemukan banyak contoh insentif yang salah dari hukum Campbell dalam kehidupan kita sehari-hari.
Waktu Tunggu vs. Waktu Tahan di Perawatan Kesehatan
Pertimbangkan contoh ini dibagikan oleh perawat yang bekerja di fasilitas kesehatan rawat jalan. Administrasi perawatan kesehatan sering terobsesi dengan metrik, bahkan sampai tingkat yang konyol atau berbahaya.
Salah satu metrik kinerja yang digunakan oleh fasilitas kesehatan khusus ini adalah berapa lama pasien harus menunggu untuk menunggu panggilan telepon. Karyawan terus didorong untuk meningkatkan metrik ini dan, dengan demikian, mengurangi waktu tunggu pasien (yang tentu saja merupakan tujuan yang masuk akal).
Penyebab umum dari waktu tunggu yang lama adalah bahwa itu akan memakan waktu bagi resepsionis untuk melacak dokter atau perawat pasien dan mentransfer panggilan. Seorang manajer mengetahui bahwa, jika resepsionis membisukan panggilan telepon dan berjalan menyusuri lorong untuk mencari perawat atau dokter, daripada menahan pasien saat mereka mentransfer panggilan, waktu tunggu secara teknis nol (meskipun waktu tunggu keseluruhan untuk pasien seringkali lebih lama daripada jika mereka ditahan).
Metrik meningkat secara drastis, sehingga manajer mendapat bonus besar dan banyak rasa hormat di dalam organisasi. Manajer lain terus bertanya kepadanya bagaimana dia bisa membuat perubahan dramatis pada KPI. Tentu saja, solusinya tidak meningkatkan pengalaman pasien sama sekali!
Rating Racketeering
Siapa pun yang pernah menggunakan layanan gig-ekonomi (Airbnb, Uber, Lyft, dll.) mungkin pernah mengalami hukum Campbell. Banyak dari layanan ini menggunakan peringkat bintang lima untuk mengevaluasi kepuasan pelanggan. Jika peringkat pengemudi atau tuan rumah Airbnb turun di bawah ambang batas tertentu, mereka berisiko kehilangan pekerjaan atau pelanggan mereka. Akibatnya, pengemudi dan tuan rumah termotivasi tidak hanya untuk memberikan layanan berkualitas tinggi (maksud metrik), tetapi juga untuk memanipulasi metrik dengan langsung meminta pelanggan memberi mereka skor sempurna.
Misalnya, salah satu rekan kerja kami baru-baru ini menginap di Airbnb. Di akhir masa tinggalnya, dia menerima pesan ini dari tuan rumahnya:
“Ini akan sangat membantu saya jika Anda menikmati apartemen dan bersedia untuk beri saya lima bintang. Airbnb sebenarnya berhak menghapus tempat yang memiliki peringkat di bawah 4,4 bintang, jadi setiap ulasan bintang lima sangat membantu saya menerima lebih banyak tamu seperti Anda di masa mendatang.”
Dengan menjelaskan bahwa skor dapat memengaruhi kemampuannya untuk melanjutkan di Airbnb, tuan rumah ini jelas berusaha menekan rekan kami untuk memberinya ulasan bintang lima (atau tidak ada ulasan sama sekali ), bukan penilaian yang jujur.
Pemerasan penilaian terjadi di banyak budaya. Misalnya, pengguna Cina di platform belanja populer Taobao sering ditekan untuk memberikan peringkat tinggi. Banyak toko Taobao langsung meminta pelanggannya untuk memberikan ulasan positif. Beberapa dari mereka bahkan memberikan kupon kepada pembeli yang memberikan ulasan bagus — dan beberapa bahkan akan melecehkan pelanggan yang meninggalkan ulasan negatif.
Hukum Campbell dalam Desain
Sementara hukum Campbell berdampak pada banyak industri, hukum ini sangat jahat di dunia desain digital.
Layanan Streaming Anonim
Kisah berikut dibagikan oleh sebuah produk desainer — kami akan memanggilnya Keily — yang ingin tetap anonim. Keyly bekerja untuk layanan berlangganan streaming televisi terkemuka. Meskipun memiliki layanan yang cukup modern, budaya perusahaan ini agak mirip dengan penyedia kabel kuno, dan itu muncul dalam metrik mereka.
Perusahaan ini sangat peduli dengan retensi pelanggan — semakin lama pelanggan bertahan dengannya, semakin banyak uang yang dihasilkannya. Alhasil, pimpinan perusahaan ingin mengurangi pembatalan langganan.
Keily melihat sesuatu yang aneh. Perusahaan mendefinisikan “menyimpan” akun terjadi jika seseorang memasuki alur pembatalan, tetapi kemudian mengabaikannya dan tidak membatalkan langganan mereka. Meskipun metrik ini dimaksudkan untuk menangkap kemampuan untuk mengubah pikiran konsumen dan membuat mereka tetap bersama perusahaan, metrik ini memiliki konsekuensi yang tidak diinginkan — hal ini mendorong desainer perusahaan untuk mempersulit proses pembatalan dengan sengaja.
Selama pengujian pengguna, Keily mengamati bahwa pelanggan akan kewalahan saat mencoba membatalkan akun mereka secara online dan akan menyerah. Dalam metrik analitik perusahaan, jenis perilaku ini dihitung sebagai “menyimpan” akun. Tetapi akun tersebut tidak disimpan — pelanggan hanya mengganti saluran dan menelepon departemen layanan pelanggan untuk membatalkan.
Akibatnya, metrik terlihat bagus, tetapi hasil dari lelucon ini adalah:
- Pelanggan yang lebih marah dan kesal, tidak mungkin untuk kembali atau merekomendasikan perusahaan kepada orang lain
Keily mencoba membawa masalah ini menjadi perhatian pimpinan perusahaan. Dia berargumen bahwa akun hanya disimpan jika perusahaan memecahkan masalah pengguna, bukan jika dengan sengaja mempersulit pembatalan langganan online (praktik gelap yang tidak etis). Kepemimpinan tidak mau mendengarkan, jadi Keily meninggalkan pekerjaannya untuk bekerja di perusahaan dengan kematangan UX yang lebih tinggi.
Obsesi Metrik Melemahkan UX: Kasus Facebook
Fokus Facebook pada peningkatan keterlibatan dengan produknya telah menjadi salah satu studi kasus paling penting dari obsesi metrik dalam beberapa tahun terakhir.
Seperti yang baru-baru ini dilaporkan oleh whistleblower Frances Haugen, budaya perusahaan Facebook sangat menekankan dan mendorong keterlibatan pengguna di platform. Menurut kesaksian Haugen, “ metrik membuat keputusan ” Pimpinan perusahaan memprioritaskan jumlah pengguna aktif harian (DAU) di atas prioritas moral dan etika.
Diduga, pimpinan Facebook lebih suka menggunakan algoritmenya untuk meningkatkan DAU bahkan ketika dihadapkan dengan bukti bahwa hal itu akan merugikan pengguna. Haugen menuduh mereka sengaja memprioritaskan DAU dengan biaya memperburuk:
- Kebiasaan perilaku yang berbatasan dengan kecanduan
-
Gangguan makan di kalangan remaja
- Konten politik yang semakin ekstrem
- Misinformasi
Fokus Facebook pada peningkatan keterlibatan dengan produknya telah menjadi salah satu studi kasus paling penting dari obsesi metrik dalam beberapa tahun terakhir.
Seperti yang baru-baru ini dilaporkan oleh whistleblower Frances Haugen, budaya perusahaan Facebook sangat menekankan dan mendorong keterlibatan pengguna di platform. Menurut kesaksian Haugen, “ metrik membuat keputusan ” Pimpinan perusahaan memprioritaskan jumlah pengguna aktif harian (DAU) di atas prioritas moral dan etika.
Diduga, pimpinan Facebook lebih suka menggunakan algoritmenya untuk meningkatkan DAU bahkan ketika dihadapkan dengan bukti bahwa hal itu akan merugikan pengguna. Haugen menuduh mereka sengaja memprioritaskan DAU dengan biaya memperburuk:
- Kebiasaan perilaku yang berbatasan dengan kecanduan
-
- Gangguan makan di kalangan remaja
- Konten politik yang semakin ekstrem
Meskipun Facebook tidak ‘tidak benar-benar memalsukan atau memanipulasi metrik DAU, memprioritaskannya dengan segala cara jelas merusak niat di belakang metrik — yang bertujuan untuk menangkap kesehatan dan pertumbuhan perusahaan secara keseluruhan. Meskipun DAU tidak dipalsukan, contoh ini konsisten dengan pengamatan mendasar di balik hukum Campbell. Obsesi dengan satu metrik pada akhirnya mendistorsi kenyataan yang seharusnya dievaluasi oleh metrik tersebut. Dalam hal ini, mengakibatkan mengorbankan pengalaman pengguna yang sebenarnya dan hubungan jangka panjang dengan pengguna.
Kasus Facebook adalah contoh ekstrim. Karena sifat produk dan ukuran audiensnya, ketika perusahaan seperti itu terlalu terpaku pada metrik yang sempit, konsekuensinya mengerikan. Namun, contoh hukum Campbell berlimpah di industri kita. Meskipun hal ini tidak selalu memiliki konsekuensi etis seperti dalam kasus Facebook, hal ini masih dapat menjadi bencana bagi tujuan bisnis Cara Menghindari Obsesi Metrik Berbahaya
Jadi, bagaimana profesional UX bisa menghindari jebakan metrik pelacakan yang mudah disalahgunakan?
Pertama, kenali bahwa semua metrik terbatas dalam kemampuannya untuk menggambarkan dunia secara lengkap dan akurat; setiap metrik yang Anda kumpulkan mencerminkan keputusan tentang apa yang Anda anggap penting.
Metrik adalah sinyal yang mencerminkan tujuan atau hasil yang Anda cari, tetapi bukan gambaran lengkapnya. Tidak ada satu pun metrik yang benar-benar mutlak yang sepenuhnya menangkap perilaku atau fenomena dunia nyata. Hanya karena suatu ukuran bersifat kuantitatif, tidak berarti bahwa data yang dikumpulkan akan bebas dari bias. Kerangka Bintang Utara (di mana satu metrik dipilih sebagai indikator ‘kesehatan’ keseluruhan untuk sebuah perusahaan) bisa berbahaya, karena memperkuat batasan yang melekat pada metrik individu tersebut.
Kedua, menggabungkan metrik bersama-sama untuk mendapatkan pemahaman yang lebih lengkap tentang fenomena yang ingin Anda pelajari. Peringkat kepuasan dapat menjadi metrik yang berguna, tetapi dapat menjadi jauh lebih kuat bila dikombinasikan dengan metrik perilaku seperti waktu pada tugas atau tingkat keberhasilan atau dengan metrik analitik. Jauh lebih sulit untuk memainkan semua metrik ini daripada memainkan salah satu dari mereka.
Ketiga, jangan pernah mengandalkan ukuran kuantitatif saja. Triangulasi dengan data kualitatif (seperti wawasan yang berasal dari wawancara pengguna, tes kegunaan, studi lapangan, dan studi buku harian) membantu Anda memahami konsekuensi bernuansa pilihan desain yang mungkin terlewatkan sepenuhnya jika Anda hanya mengandalkan data analitik yang dikumpulkan secara pasif.
Akhirnya, memperlakukan data sebagai alat untuk membantu dalam pengambilan keputusan, tetapi jangan biarkan metrik itu sendiri untuk menentukan keputusan. Jangan kehilangan hutan untuk pohon. Perhatikan apa yang benar-benar penting — membangun hubungan jangka panjang yang positif yang menambah nilai bagi kehidupan pengguna, dan tidak merusak mereka. Kesimpulan
Metrik kuantitatif berguna dan diperlukan untuk bisnis dan desain yang sukses. Tetapi ketika metrik tersebut dioptimalkan dengan mengorbankan segalanya, kami mengecewakan bisnis dan pengguna kami.
Studi kasus ini semuanya menggambarkan konsekuensi negatif dari memprioritaskan pertumbuhan metrik jangka pendek daripada hubungan jangka panjang yang positif dengan pelanggan kami.
Pelajari tentang caranya untuk memilih, menerapkan, dan menafsirkan metrik dengan tepat dan etis dalam seminar Analytics & UX, dan Mengukur UX & ROI kami.
Referensi
W. Edward Deming. 2019. Ekonomi Baru untuk Industri, Pemerintah, Pendidikan. (3rd. Ed.) MIT Press, Cambridge, MA
Charles Goodhart . 1975. Masalah Manajemen Moneter: Pengalaman Inggris. Dalam Makalah dalam Ekonomi Moneter. Sydney: Reserve Bank of Australia.
Marilyn Strathern. 1997. ‘Meningkatkan peringkat’: audit dalam sistem Universitas Inggris. Eropa Review, 5, 3 (Juli 1997), 305 – 321. DOI:10.1017/s1062798700002660.