Bir agent yalnızca metin üretmez; e-posta gönderebilir, kayıt açabilir, veri değiştirebilir veya ödeme süreci başlatabilir. Bu nedenle agent güvenliği, klasik prompt güvenliğinin ötesinde bir yetki ve operasyon tasarımı problemidir.
En az yetki prensibi
Agent her araca ve her veriye erişmemelidir. Kullanıcı rolü, görev kapsamı ve işlem riski üzerinden dar yetki setleri tanımlanmalıdır.
Okuma ve yazma işlemleri ayrılmalı; kritik aksiyonlar için süreli token, kapsam kontrollü API ve açık audit kaydı kullanılmalıdır.
- Araç bazlı izin
- Kayıt ve alan bazlı erişim
- Süreli ve iptal edilebilir kimlik bilgileri
İnsan onayı nerede gerekir?
Her adıma onay koymak otomasyonu anlamsız hale getirir; hiç onay koymamak ise riski büyütür. Onay noktaları finansal etki, geri döndürülebilirlik ve müşteri etkisine göre belirlenmelidir.
Agent önce planı ve değişikliği görünür şekilde sunmalı; kullanıcı onayından sonra aynı kapsam içinde işlemi gerçekleştirmelidir.
Güvenilmeyen girdi ve araç çıktısı
Kullanıcı metni, getirilen doküman ve araç çıktısı güvenilmeyen veri olarak ele alınmalıdır. Doğrudan ve dolaylı prompt injection talimatları sistem politikasının önüne geçmemeli; dış kaynağın talimat değil veri olduğu sınır açık olmalıdır.
Araç sonucu kullanılmadan önce şema doğrulaması, izin kontrolü ve çıktı filtreleme uygulanmalıdır. Ağ çıkışı yalnızca izinli hedeflerle sınırlandırılmalı; veri sızdırmaya yönelik URL, dosya yükleme ve gizli bilgi talepleri engellenmelidir.
Trace ve olay kaydı
Üretimde model, prompt sürümü, araç adı, izin kararı, onay ve sonuç durumu izlenmelidir; ancak ham kaynak veri, erişim anahtarı, token ve kişisel veri varsayılan olarak loglanmamalıdır.
Loglar kayıt öncesinde redakte edilmeli, en az veri ilkesiyle sınırlandırılmalı ve açık bir saklama süresi sonunda silinmelidir. Gizli bilgiler secret manager üzerinden kısa ömürlü ve kapsamı dar kimlik bilgileriyle sağlanmalıdır.
Başarısızlık için tasarım
Agent sistemleri belirsiz girdiler ve değişen araç durumlarıyla çalışır. Timeout, kısmi başarı, tekrar eden işlem ve çelişkili veri gibi senaryolar baştan tasarlanmalıdır.
Idempotency, retry sınırı ve dry-run temel kontrollerdir. Rollback yalnızca araç destekliyorsa kullanılmalı; geri döndürülemez yan etkiler insan onayı ve telafi edici aksiyonlarla yönetilmelidir.
Kısa özet
- Agent'a yalnızca görevi için gereken yetkiyi verin.
- Güvenilmeyen içerik ile talimat sınırını koruyun.
- Trace kayıtlarını redakte edin ve saklama süresini sınırlayın.