Daha büyük yapay zekâ modelleri geliştirmek isteyen şirketler, giderek kaliteli eğitim verisi bulmakta zorlanıyor. Firmalar interneti tarayarak yeni veriler ararken, kullanıcıların hassas bilgilerinin de bu süreçte modele dahil olma riski artıyor. Google Research ekibi ise büyük dil modellerinin (LLM) bu verileri “ezberlemesini” önlemek için yeni yöntemler üzerinde çalışıyor.
LLM’lerin ezberleme riski
LLM’ler her zaman öngörülebilir sonuçlar vermiyor; aynı girişe farklı yanıtlar üretebiliyor. Ancak bazı durumlarda eğitim verisindeki ifadeleri birebir tekrar edebiliyorlar. Eğer bu veriler kişisel bilgileri içeriyorsa, kullanıcı gizliliği ihlal edilebiliyor. Telif hakkıyla korunan içeriklerin çıktılarda yer alması ise geliştiriciler için ayrı bir sorun oluşturuyor.
Bu noktada devreye differential privacy (farklılaştırılmış gizlilik) giriyor. Eğitim sürecinde kontrollü gürültü eklenerek modelin verileri doğrudan ezberlemesi engelleniyor.
Performans ve kaynak dengesi
Farklılaştırılmış gizlilik, modellerin doğruluk oranını ve işlem gücü ihtiyacını etkiliyor. Google ekibi, bunun yapay zekâ modellerinin ölçeklenme yasalarını nasıl değiştirdiğini araştırdı. Çalışmalar, performansın “gürültü-veri oranına” bağlı olduğunu ortaya koydu.
Sonuçlara göre, daha fazla gürültü çıktıları zayıflatıyor. Ancak bu durum, daha büyük bir işlem gücü (FLOPs) ya da daha fazla eğitim verisiyle dengelenebiliyor.
VaultGemma: Google’ın yeni gizlilik modeli
Bu araştırmaların sonucu olarak Google, VaultGemma adını verdiği yeni bir açık ağırlıklı modeli tanıttı. VaultGemma, farklılaştırılmış gizlilik sayesinde ezberleme riskini azaltıyor ve gelecekte Google’ın gizlilik odaklı yapay zekâ yaklaşımına yön verebilecek bir deney niteliği taşıyor.
Model, Google’ın Gemma 2 tabanlı temel modeline dayanıyor ve 1 milyar parametreye sahip. Büyük ölçekli modeller kadar güçlü olmasa da, Google Research, VaultGemma’nın benzer boyuttaki standart modellere yakın performans gösterdiğini belirtiyor.
VaultGemma, özel olmayan yapay zeka modellerine kıyasla şaşırtıcı derecede iyi performans gösteriyor. Kredi: Google Küçük modeller için daha etkili
Araştırmaya göre, farklılaştırılmış gizlilik büyük ve genel amaçlı modeller için değil, daha küçük ve özel görevler için tasarlanmış LLM’ler için daha uygun görünüyor. Bu da şirketlerin, belirli yapay zekâ özellikleri için gizlilik odaklı modeller geliştirmesine olanak sağlayabilir.
Kullanıma açıldı
VaultGemma şu anda Hugging Face ve Kaggle üzerinden indirilebiliyor. Modelin ağırlıkları açık paylaşılmış olsa da tamamen açık kaynak değil. Google, kullanıcıların modeli istedikleri gibi düzenleyip dağıtmasına izin veriyor, ancak kötüye kullanımın önlenmesi için lisans koşullarına uyulmasını şart koşuyor.
