Yapay Zeka Ajanları İçin Korkuluklar ve Yönetişim: Tanım ve Mekanizmalar

Bir yapay zeka ajanına tek başına, kendi araçları üzerinde işlem yapma gücü vermek, hemen bir güven sorusunu gündeme getirir: yapma hakkına sahip olduğu şeye kim karar verir, ve bu çerçeveyi aşmadığı sonradan nasıl doğrulanır? Korkuluklar ve yönetişim bu soruya birlikte yanıt verir: biri her eylemin teknik düzeyinde, diğeri sistemin tamamının organizasyonel düzeyinde.

Ayrıntılı Tanım

Korkuluklar (guardrails), bir yapay zeka ajanının yapma hakkına sahip olduğu şeyi sınırlayan somut mekanizmalardır: eylem başına kesin izinler, kısıtlı erişim kapsamı, kotalar, hassas kararlarda insan onay noktaları. Yönetişim ise bu korkulukların düşünüldüğü, karara bağlandığı ve denetlendiği daha geniş çerçevedir: bunları yapılandırma hakkına kim sahiptir, riskler nasıl belgelenir, sistemin öngörüldüğü gibi davrandığı sonradan nasıl doğrulanır.

Bugün yapay zeka yönetişimi tartışmasını, farklı mantıklarla, iki referans çerçeveliyor. NIST'in AI Risk Management Framework'ü (AI RMF 1.0), Amerika Birleşik Devletleri'nde Ocak 2023'te yayımlanan, dört işlev etrafında yapılandırılmış gönüllü bir çerçevedir: Govern (yönet, kültürü ve sorumlulukları tanımlayan yatay işlev), Map (belirli bir sistemin risklerini haritalandır), Measure (bu riskleri ölç) ve Manage (bunları yönet). Avrupa Birliği'nin AI Act'i ise tam tersine, bağlayıcı bir düzenleyici metindir: yüksek riskli olarak sınıflandırılan sistemler için bir risk yönetim sistemi (madde 8), eğitim verilerine ilişkin bir yönetişim (madde 10), teknik dokümantasyon (madde 11), otomatik olay günlüğü tutma (madde 12), kullanıcılara yönelik şeffaflık ve etkili bir insan denetimi (madde 13 ve 14) zorunlu kılıyor. Yüksek riskli sistemler için ana yükümlülükler, ek III kapsamındaki sistemler için Aralık 2027'den, ek I kapsamındakiler için ise Ağustos 2028'den itibaren uygulanmaya başlıyor.

Doğaları farklı olsa da (gönüllü karşısında bağlayıcı), bu iki çerçevenin ortak noktası, izlenebilirlik (olup biteni günlüğe kaydetmek) ve insan denetimine, hangi yargı yetkisi olursa olsun, ciddi bir yapay zeka yönetişiminin pazarlığa açık olmayan unsurları olarak yaptığı vurgudur.

Nasıl Çalışır

Etkili bir korkuluk sistemi, en genişten en kesine, birden fazla düzeyde işler. En geniş düzeyde, hangi araçların bir sisteme bağlandığına ve hangi eylem kategorilerinin akla bile gelebileceğine karar verilir. Orta düzeyde, kimin, insan ya da ajan, hangi aracı hangi kapsamla (salt okunur ya da okuma ve yazma) kullanma hakkına sahip olduğu tanımlanır. En kesin düzeyde, her tekil eylem talep edildiği anda doğrulanır: izin var mı, bu kesin eylemi gerçekten kapsıyor mu, argümanlar geçerli mi.

Bu korkulukları inşa etmenin en sağlam ilkesi deny-by-default'tur (varsayılan olarak reddetme): sonradan durum durum kısıtlanacak geniş bir erişimden yola çıkmak yerine, açık bir izin verilmedikçe hiçbir şeye izin verilmez. Bunu kurmak daha külfetlidir, ama güvenlikte en sık yapılan hatayı önler: bir izni unutmak yerine bir kısıtlamayı unutmak.

Yönetişim ise buna bir sorumluluk ve doğrulanabilirlik katmanı ekler: falanca korkuluğu kim, ne zaman yapılandırdı ve bir soru ortaya çıktığında bir denetim gerçekte ne olduğunu sonradan yeniden kurmayı mümkün kılıyor mu.

Atako'dan Somut Bir Örnek

Atako'da izin modeli, tam olarak bu varsayılan reddetme ilkesi üzerine kurulu. Bir aracı (Slack, GitHub, HubSpot ya da başka bir entegrasyon) şirket düzeyinde bağlamak, açık bir "grant" oluşturulmadıkça hiçbir ajana erişim sağlamaz. Bir grant, kesin bir ajanı kesin bir bağlantıyla ilişkilendirir; izin verilen kesin eylemlerin bir listesiyle (tüm GitHub'a genel bir erişim değil, örneğin yalnızca list_issues ve create_issue), bir kapsamla (salt okunur ya da okuma-yazma) ve isteğe bağlı bir sona erme tarihiyle birlikte. Bir yazma eylemi hatayla salt okunur bir grant'in listesine eklenmiş olsa bile, kapsam yürütülmesini yine de engeller: bu çifte bir kontroldür.

Atako'nun belgelediği karar yolu şu şemayı izler: ajan bir eylem niyetini ifade eder, platform bir grant'in var olduğunu, eylemin izinli listede yer aldığını, kapsamın yeterli olduğunu, argümanların geçerli olduğunu doğrular, ancak o zaman üçüncü taraf sağlayıcı nezdinde çağrıyı yürütür ve sonucu ajana geri iletir, asla erişim sırrının kendisini değil. Başarısız olan her adım günlüğe kaydedilen bir ret üretir; bu doğrudan ajan gözlemlenebilirliğini besler.

İptal tarafında, erişimi kesmek anlık ve kesindir: bir bağlantıyı iptal etmek, şifrelenmiş sırrı anında, hiçbir yumuşama süresi olmadan siler, ve buna bağlı tüm ajanlar erişimi anında kaybeder. Bu, şüphe durumunda hızlı hareket etmek için tasarlanmış son çare bir korkuluktur.

Sık Yapılan Hatalar

Sık yapılan bir hata, bir araca erişim vermenin o araca tam erişim vermeye eşdeğer olduğuna inanmaktır. İyi bir yönetişim sistemi, bir hizmete erişimi (bağlantı) her zaman onun üzerinde işlem yapma iznini (kesin eylemleri ve kapsamıyla grant) ayırır.

İkinci hata: yapay zeka yönetişimini pratik etkisi olmayan düzenleyici kâğıt işine indirgemek. İster NIST'inki gibi gönüllü bir çerçeveden geçsin ister Avrupa AI Act'i gibi bağlayıcı bir metinden, aynı somut gereklilikler karşımıza çıkar: riskleri belgelemek, eylemleri günlüğe kaydetmek, hassas kararlarda döngüde bir insan tutmak. Bunlar operasyonel mekanizmalardır, biçimsellik değil.

Üçüncü hata: teknik korkuluklarla insan onayını karıştırmak. İzinler ve kotalar her seferinde insan müdahalesi olmadan otomatik olarak uygulanır. İnsan onayı farklı bir korkuluktur, riski bir kişinin gönderilmeden önce bakması için süreci bilerek yavaşlatmayı haklı çıkardığı eylemlere ayrılmıştır.

Son olarak, erişilebilir bir denetimin gerekliliğini hafife almak klasik bir hatadır. Kötü eylemleri doğru biçimde engelleyen korkuluklar faydalıdır, ama neyin izinli, reddedilmiş ya da yürütülmüş olduğuna dair başvurulabilir bir geçmiş olmadan, bir müşterinin ya da bir düzenleyicinin er ya da geç soracağı soruya sakin bir şekilde yanıt vermek imkânsız hale gelir: bu ajan tam olarak ne yaptı, ve neden.