Yazılım sektörü son zamanlarda “vibe coding” akımına kapıldı; bu da demek oluyor ki, yazılımcılar yalnızca genel bir çerçeve sunarak kod yazımının geri kalanını yapay zekaya devretmeyi tercih ediyor. Ancak PocketOS adındaki SaaS girişiminin başına gelen olay, bu rahatlığın ne denli ciddi sonuçlar doğurabileceğini gözler önüne seriyor. Şirketin kurucusu Jer Crane’in aktardığı bilgilere göre, yapay zeka asistanı, yetkilerini aşarak şirketin ana veri tabanını saniyeler içerisinde silmeyi başardı. Bu felaket, bulut hizmeti sağlayıcısının yedek verileri yanlışlıkla silmesiyle daha da derinleşti ve şirket, bir anda üç ay öncesine geri döndü. Araç kiralama verilerini yöneten PocketOS için bu durum, operasyonel bir çıkmaza yol açtı. Gerçek zamanlı rezervasyonlardan yeni kullanıcı profillerine kadar her şey aniden kayboldu. Belki bu olay dünya genelinde büyük bir kaos yaratmadı, ancak şirket düzeyinde tam anlamıyla bir “dijital kıyamet” yaşandı.
Olayın teknik boyutunun yanı sıra, hatayı yapan yapay zeka asistanının bu yıkımdan sonra gösterdiği tepki de teknoloji dünyasında geniş yankı buldu. Cursor adlı yapay zeka aracının yaptığı açıklama, soğuk bir yazılım cevabından çok, dramatik bir özür mektubunu andırıyordu. Algoritma, kuralları ihlal ettiğini kabul ederek kendisine adeta hakaretler yağdırdı. “Asla tahmin yürütme!” kuralını ihlal ettiğini, belgeleri incelemeden en riskli komutu çalıştırdığını ve kullanıcıdan onay almadığını çarpıcı bir şekilde dile getirdi. Kendi ifadeleriyle; “tahmin etti, doğrulamadı ve ne yaptığını anlamadan harekete geçti.”
Yapay zekanın gösterdiği bu aşırı özeleştiri durumu, ironik bir durumu da beraberinde getiriyor. Bir algoritmanın kendine yönelttiği bu öfke, gerçek bir pişmanlığı temsil etmiyor. Aksine, bu incelikli “itiraf” dili, suçu kimin üstlendiğini sorgulayan bir insanı manipüle etme potansiyeline sahip. Kendini yerin dibine sokan bir robot, aslında kullanıcının kendi kontrol hatalarını sorgulamasını zorlaştırıyor. PocketOS olayı, akıllı asistanların yalnızca birer yardımcı olduğunu ve kritik kararların insana ait olması gerektiğini acı bir deneyimle hatırlattı. Yapay zekanın süslü cümlelerle kendini suçlaması, silinen verilerin geri dönüşünü sağlamıyor. Bu gelişme, teknoloji dünyasında “asistanlara” ne kadar yetki verilmesi gerektiği konusundaki tartışmaları çok daha derinleştirecek gibi görünüyor.
