Ringkasnya
Cloudflare mengungkap bug KV cache pada model GLM-5.3 di Workers AI yang membuat 155 respons memuat data pengguna lain. Simak penyebab, kronologi, dan pelajarannya.
Cloudflare mengungkapkan adanya bug di layanan Workers AI yang membuat sebagian respons model AI memuat data dari sesi pengguna lain. Dalam laporan insiden yang dipublikasikan pada 26 Oktober 2026, Cloudflare menyebut ada 155 respons terdampak pada model GLM-5.3. Masalah ini berlangsung sejak model tersebut diluncurkan pada 27 Agustus hingga diperbaiki pada 9 September 2026.
Cloudflare menegaskan tidak menemukan bukti adanya eksploitasi yang disengaja. Pola waktu dan volume permintaan yang terdampak terlihat seperti penggunaan konteks panjang yang wajar. Perusahaan juga memastikan tidak ada model lain di Workers AI yang ikut terdampak.
Hanya Terjadi pada Prompt yang Sangat Panjang
Seluruh 155 respons yang bocor berasal dari prompt yang panjangnya lebih dari 681.280 token. Sebagai gambaran, angka itu setara dengan ratusan ribu kata, jauh di atas penggunaan chatbot sehari-hari. Permintaan sepanjang ini biasanya muncul ketika pengembang mengirim dokumen, basis kode, atau riwayat percakapan berukuran sangat besar sekaligus.
Apa Itu KV Cache?
Saat model bahasa memproses teks, ia menyimpan hasil perhitungan sementara di memori yang disebut KV cache (key-value cache). Memori ini membuat model tidak perlu menghitung ulang seluruh teks setiap kali menghasilkan kata baru. Di server yang melayani banyak pengguna, memori ini dikelola dalam bentuk "halaman" yang dipakai bergantian. Karena halaman tidak dikosongkan di antara permintaan, sistem harus mencatat dengan tepat milik siapa setiap halaman. Jika pencatatan itu keliru, model bisa "membaca" sisa data milik pengguna lain.
Dua Kesalahan yang Bertemu
Menurut Cloudflare, insiden ini terjadi karena dua masalah yang saling bertumpuk. Pertama, kesalahan konfigurasi. GLM-5.3 dipasang dengan jendela konteks 1.048.576 token, tetapi kapasitas memori KV cache di tahap prefill hanya 681.280 token.
Kedua, bug di SGLang, perangkat lunak open source untuk menjalankan model AI. Dalam mode yang memisahkan tahap prefill (membaca prompt) dan decode (menghasilkan jawaban), permintaan yang terlalu panjang seharusnya ditolak. Namun bug tersebut membuat permintaan tetap diteruskan, sehingga tahap decode memakai halaman cache usang dari permintaan pengguna sebelumnya. Alih-alih mengembalikan pesan galat, sistem justru memberikan jawaban yang tampak normal.
Ditemukan Peneliti Keamanan
Bug ini dilaporkan oleh Gadi Evron dari perusahaan keamanan Knostic melalui program bug bounty Cloudflare di HackerOne pada 8 September 2026. Keesokan harinya, Cloudflare menyatakan insiden keamanan, menjadikan model GLM-5.3 privat, menemukan akar masalah, lalu memulihkan model untuk publik pada malam harinya setelah konfigurasi dan mesinnya diperbaiki.
Cloudflare kini menyamakan konfigurasi dengan GLM-5.2, dengan kapasitas cache sekitar dua kali panjang konteks. Perusahaan juga menambal mesinnya agar permintaan yang ditolak dihentikan sebelum ada transfer data cache, serta mengirim perbaikan ke proyek SGLang. Cloudflare menyarankan operator SGLang memakai versi 0.5.22 atau yang lebih baru. Laporan Cloudflare tidak menjelaskan apakah pelanggan yang terdampak sudah diberi tahu secara langsung.
Pelajaran untuk Pengembang dan Perusahaan
Insiden ini menunjukkan bahwa risiko keamanan AI tidak hanya datang dari modelnya, tetapi juga dari infrastruktur yang menjalankannya. Cloudflare sendiri mengakui bahwa pengujiannya sebelumnya hanya memeriksa kode status dan performa, belum memeriksa apakah isi jawabannya koheren.
Bagi pengembang di Indonesia yang memakai layanan AI berbasis cloud, ada beberapa langkah yang bisa diambil. Hindari mengirim data sangat sensitif seperti kata sandi atau data pribadi pelanggan ke model AI jika tidak benar-benar perlu. Pantau pengumuman keamanan dari penyedia layanan. Bagi yang menjalankan model sendiri dengan SGLang, segera perbarui versinya dan pastikan kapasitas KV cache sesuai dengan panjang konteks yang diizinkan.
Sumber:
- Cloudflare Blog, laporan insiden KV cache GLM-5.3, 26 Oktober 2026: https://blog.cloudflare.com/kv-cache-exposure-remediation/
- Unite.AI, "Cloudflare Says GLM-5.3 Bug Leaked 155 Responses Across Tenant Sessions": https://www.unite.ai/cloudflare-says-glm-5-3-bug-leaked-155-responses-across-tenant-sessions/
- Posting terkoordinasi SGLang/LMSYS: https://www.lmsys.org/blog/2026-10-26-cf-security
Ingin website untuk usaha Anda?
Ceritakan kebutuhan Anda. Kami balas dengan saran dan estimasi, tanpa kewajiban.