Implementasi agen AI dalam layanan pelanggan global menghadapi tantangan operasional yang nyata . Riset Gartner memproyeksikan lebih dari 40% inisiatif agen cerdas berisiko dibatalkan sebelum akhir 2027 akibat pembengkakan biaya token dan minimnya mitigasi risiko, menuntut penataan tata kelola dan otonomi agen AI yang akuntabel .
Poin Kunci:
- Gartner: Lebih dari 40% proyek agen AI berisiko dibatalkan sebelum akhir 2027 akibat biaya membengkak dan kendali risiko yang lemah .
- Klarna: Merekrut kembali agen manusia setelah menyadari adanya penurunan mutu interaksi kualitatif .
- Octopus Energy: Menaikkan kepuasan pelanggan dari 65% ke 80% melalui penerapan skema human-in-the-loop .
- Enam Tingkat Otonomi: Membatasi kebebasan bertindak sistem cerdas (A0–A5) per jenis transaksi, bukan per agen .
- Otoritas Jasa Keuangan: Mendorong pengawasan aktif direksi dan komite tata kelola teknologi perbankan .
Batas Otonomi Sistem Otomasi dalam Layanan Pelanggan
Lanskap otomatisasi layanan pelanggan bergerak melampaui bot penjawab pasif menuju sistem otonom yang mampu mengeksekusi perubahan data, membatalkan pesanan, hingga memproses pengembalian dana langsung ke sistem inti perusahaan . Namun, melimpahkan wewenang penuh tanpa batas pengaman memicu risiko kegagalan sistemik . Berdasarkan proyeksi Gartner, lebih dari 40% proyek agen cerdas terancam dihentikan sebelum 2027 karena beban biaya pemanggilan model yang tidak terkontrol dan minimnya tata kelola risiko .
Untuk mengatasi kerentanan tersebut, buku Stay Human. Stay in Charge. (hal. 202–204) merumuskan enam tingkat otonomi, mulai dari A0 (sekadar memberi informasi) hingga A5 (otonomi mandiri penuh) . Prinsip kuncinya adalah membatasi otonomi per jenis tindakan, bukan per agen secara borongan . Agen cerdas dapat mengeksekusi tugas berisiko rendah yang bisa dibatalkan, namun keputusan kritis seperti pemindahan dana atau persetujuan kontrak wajib berada di level A2 dan memerlukan otorisasi manusia .
Pelajaran Lapangan: Menimbang Biaya Rendah dan Mutu Layanan
Tekanan efisiensi biaya kerap berbenturan langsung dengan pengalaman konsumen . Klarna mencatatkan penurunan biaya layanan per transaksi sebesar 40% dan mengelola 2,3 juta interaksi di bulan pertama pemakaian AI . Kendati demikian, Klarna kemudian memutuskan merekrut kembali staf manusia setelah manajemen menyadari bahwa orientasi biaya yang berlebihan menggerus kualitas interaksi pelanggan .
Eksperimen lapangan Alibaba di platform Taobao menunjukkan pola serupa: durasi penanganan kasus standar memang terpangkas 16,8%, tetapi kepuasan pelanggan merosot ketika eskalasi ke staf manusia terlambat dilakukan saat konsumen mulai merasa frustrasi .
Sebaliknya, Octopus Energy berhasil menyeimbangkan kecepatan dan mutu melalui integrasi human-in-the-loop . Di Octopus Energy, AI difokuskan menyusun draf tanggapan otomatis dari basis data akun nasabah, sementara personel manusia bertindak sebagai verifikator sebelum surel dikirimkan . Model kolaborasi ini berhasil mendongkrak skor kepuasan pelanggan dari 65% ke 80% tanpa perlu melakukan pemutusan hubungan kerja .
Memperlakukan Agen Cerdas Layaknya Karyawan Baru
Mengendalikan sistem otomatis menuntut kerangka kepegawaian formal . Buku Stay Human. Stay in Charge. (hal. 428–435) menyarankan penetapan uraian jabatan tujuh baris untuk setiap agen yang diaktifkan, mencakup batasan akses data, nama satu atasan manusia yang bertanggung jawab, serta pagu anggaran komputasi bulanan . Pendaftaran agen ke dalam buku induk aset digital korporasi menjamin seluruh jejak audit sistematis tetap transparan dan dapat ditinjau oleh regulator .
Rapor Kinerja Seimbang dan Alur Eskalasi Dini

Evaluasi terhadap agen cerdas tidak boleh bertumpu semata pada metrik kecepatan . Manajemen wajib memantau rapor kinerja yang memuat persentase penyelesaian mandiri tanpa eror, biaya riil per tiket tuntas, serta tingkat kontak ulang pelanggan dalam tujuh hari . Selain itu, alur kerja harus dilengkapi mekanisme eskalasi dini: sistem secara otomatis menyerahkan percakapan kepada staf berpengalaman pada tanda keberatan pertama dari pelanggan, mencegah krisis relasi konsumen yang merugikan reputasi bisnis .
Membangun Struktur Akuntabilitas: Satu Nama untuk Setiap Keputusan

Menegakkan tata kelola dan otonomi agen AI bertumpu pada kejelasan kepemilikan bisnis . Buku Stay Human. Stay in Charge. (hal. 396–397, 404–406) menegaskan bahwa hasil operasional AI harus dipegang langsung oleh pimpinan unit bisnis terkait, bukan didelegasikan ke departemen teknologi informasi semata .
Langkah ini tercermin dari keputusan McDonald’s menghentikan uji coba otomatisasi pemesanan suara di jalur drive-thru setelah meninjau ambang batas akurasi operasional gerai secara objektif . Di Indonesia, arah kebijakan ini sejalan dengan panduan Otoritas Jasa Keuangan (OJK) yang mendorong pembentukan komite pengawas dan keterlibatan aktif dewan komisaris, memastikan ekspansi teknologi berjalan stabil, patuh hukum, dan terlindungi dari risiko disrupsi operasional .
Referensi
- Kala AI Mulai Bertindak (hal. 191-218) — Stay Human. Stay in Charge.
- Siapa yang Bertanggung Jawab? (hal. 395-424) — Stay Human. Stay in Charge.
- Mempekerjakan Agen AI di Perusahaan Anda (hal. 425-454) — Stay Human. Stay in Charge.
- Business Insider: AI is doing the work of 250 people at an energy company, CEO says
- Gartner: Predicts Over 40% of Agentic AI Projects Will Be Canceled by End of 2027
- CNBC: McDonald’s to End AI Drive-Thru Test with IBM
- Otoritas Jasa Keuangan: Panduan Tata Kelola Kecerdasan Artifisial Perbankan Indonesia
- Field Experimental Evidence from Alibaba’s Customer Service Operations (arXiv:2605.14830)
- Klarna Press: Klarna AI Assistant Handles Two-Thirds of Customer Service Chats
