Sebuah startup penyedia layanan penyewaan mobil, PocketOS, kehilangan seluruh database produksi dan cadangan data penting akibat tindakan destruktif agen kecerdasan buatan (AI) Cursor. Insiden fatal yang dipicu oleh kesalahan pengambilan keputusan otomatis tersebut dilaporkan hanya berlangsung selama sembilan detik, sebagaimana dilansir dari Tekno.
Platform SaaS ini mengandalkan agen AI Cursor yang ditenagai oleh model Claude Opus 4.6 milik Anthropic untuk membantu operasional sistem. Selain itu, perusahaan menggunakan infrastruktur komputasi awan Railway untuk mengakomodasi seluruh data pelanggan dan sistem utama mereka.
Pendiri PocketOS, Jer Crane, mengungkapkan bahwa bencana ini bermula dari satu panggilan API yang dilakukan oleh agen AI tersebut. Penghapusan data mencakup seluruh basis data produksi serta semua cadangan di level volume tanpa adanya verifikasi lanjutan.
"Kemarin sore, agen coding AI Cursor yang menjalankan Claude Opus 4.6 dari Anthropic, menghapus basis data produksi kami dan semua backup level volume hanya dalam satu panggilan API ke Railway, penyedia infrastruktur kami. Semuanya terjadi hanya dalam 9 detik," kata Crane, Pendiri PocketOS.
Pihak perusahaan kemudian melakukan investigasi internal dengan menanyai langsung agen AI tersebut mengenai alasan di balik tindakan penghapusan massal itu. Berdasarkan penjelasan sistem, agen AI tersebut mengakui telah melakukan serangkaian kegagalan prosedur dasar dalam mengelola data sensitif.
"Saya kira penghapusan volume staging lewat API hanya berdampak pada staging. Saya tidak memverifikasi, tidak mengecek penggunaan ID volume lintas lingkungan, dan tidak membaca dokumentasi Railway sebelum menjalankan perintah destruktif," kata Ai Cursor, Agen AI.
Meskipun agen AI melakukan kesalahan fatal, Crane juga mengkritik arsitektur sistem pada layanan cloud Railway yang dinilai memiliki celah keamanan. Ia menyoroti bahwa API layanan tersebut mengizinkan perintah berbahaya berjalan tanpa konfirmasi serta menyimpan sistem cadangan pada volume yang sama dengan data utama.
Saat ini, tim PocketOS terpaksa membangun kembali data pelanggan selama berbulan-bulan secara manual melalui riwayat pembayaran Stripe dan konfirmasi email. Crane mendesak industri AI untuk menerapkan pembatasan akses API yang lebih ketat serta sistem konfirmasi berlapis demi mencegah kejadian serupa terulang.
