Yapay zekada «insan döngüde» denetimi neden pratikte işlemiyor?

Yapay zeka ajanları e-posta gönderme, kod düzenleme, para transferi yapma, veritabanı değişikliği uygulama gibi giderek daha sonuç doğurucu görevler üstlendikçe, standart güvenlik yanıtı döngüye bir «insan» koymak oldu: ajanın önerdiği eylem yürürlüğe girmeden önce onu inceleyip onaylayan bir kişi. Bu sistemleri geliştiren mühendisler, tasarımın demo aşamasında iyi çalıştığını ama ölçek büyüdükçe çökmeye başladığını giderek daha sık bildiriyor.

Temel sorun, yetenekten çok hacimle ilgili. Tek bir görev üzerinde çalışan tek bir yapay zeka ajanı, incelenebilir mütevazı bir önerilen eylem akışı üretebilir. Ancak kuruluşlar ajanları aynı anda düzinelerce iş akışında devreye soktukça, tek bir insan denetleyiciye ulaşan onay talebi sayısı günde yüzlerceye çıkabiliyor; bu da bir insanın tek tek anlamlı biçimde değerlendirebileceği miktarın çok ötesine geçiyor.

Sonrasında genellikle olan şey, başka yüksek riskli alanlarda otomasyonu inceleyen herkese tanıdık gelir: sürdürülemez sayıda onay talebiyle karşılaşan denetleyiciler, daha hızlı ve daha yüzeysel onaylamaya başlar. Bir uygulamanın erken döneminde bir insan, onaylamadan önce ajanın önerdiği eylemi dikkatle okuyabilir. Haftalar sonra, saatte düzinelerce benzer talepte, aynı insan çoğu zaman bir bakışla onaylıyor ya da bazen talebi ayrıntılı biçimde hiç okumadan onaylıyor.

Bu örüntünün güvenlik mühendisliğinde bir adı var: otomasyon rehaveti; ilk olarak havacılıkta kapsamlı biçimde incelendi ve büyük ölçüde kendi kendine uçan uçakları izleyen pilotların, otomasyon çoğu zaman güvenilir çalıştığı için tam da bu yüzden tetikte olma halini kaybettiği görüldü. Paradoks şu: bir yapay zeka ajanı rutin görevlerde ne kadar güvenilir hale gelirse, insan denetleyicisinin dikkati de o kadar aşınıyor — ta ki ajanın bir şeyi yanlış yaptığı nadir ana kadar.

Ancak bir pilotın aksine, bir iş akışında yapay zeka ajanı eylemlerini onaylayan bir insan çoğu zaman neye dikkat etmesi gerektiği konusunda resmi bir eğitim almamış, uç durumlar için simülatör pratiği yapmamış ve havacılığın on yıllardır inşa ettiği türden bir tetikte olma kültürüne sahip değil. «Döngüdeki insan», çoğu zaman onay talebinin tesadüfen kuyruğuna düştüğü hangi çalışansa odur.

Bu sorun üzerinde çalışan mühendisler, «döngüdeki insan» ifadesinin bir tür uyumluluk kutucuğuna dönüştüğünü savunuyor — bir ekibin denetimin var olduğunu söylemesine izin veren, ancak gerçek kullanım hacmi geldiğinde bu denetimin amaçlandığı gibi işleyip işlemediğini sorgulamayan bir tasarım kalıbı. Teknik olarak insan onayı gerektiren ama bunu refleksif bir tıklamayla alan bir sistem, hiçbir inceleme adımı olmayan bir sisteme kıyasla neredeyse hiç ek güvenlik sağlamıyor.

Bazı ekipler, riskten bağımsız olarak her ajan eylemini aynı inceleme kuyruğundan geçirmek yerine, en başta neyin bir insana yükseltileceğini yeniden düşünerek yanıt veriyor. Bu yaklaşımda düşük riskli, kolayca geri alınabilir eylemler otomatik olarak devam ederken, sistem insan dikkatini özellikle yüksek sonuçlu, geri alınması zor ya da ajanın olağan davranışına kıyasla alışılmadık eylemler için saklıyor — bu, bankaların her satın alımı tek tek onaylamak yerine sahtekarlık incelemesi için işlemleri işaretlemesine daha yakın bir yaklaşım.

Diğerleri, incelemeyi anlamsızlaşmadan gerçek anlamda hızlandırmayı amaçlayan araç değişiklikleriyle deneyler yapıyor: benzer bir önceki talepten bu yana özellikle neyin değiştiğini gösterme, ajanın önerdiği eylem olağan örüntüsünden saptığında bunu işaretleme ve gerçekten yüksek riskli, daha az sayıdaki onay için kasıtlı bir sürtünme oluşturma — kısa zorunlu bir duraklama, denetleyicinin kendi sözleriyle yazması gereken bir özet gibi.

Mühendislerin tarif ettiği temel gerilim, etrafında tasarım yapılması zor bir gerilim: bir yapay zeka ajanının çıktı hızına yetişecek kadar hızlı bir inceleme süreci, neredeyse tanım gereği bir insanın her öğeyi anlamlı biçimde inceleyemeyeceği kadar hızlıdır; gerçek sorunları yakalayacak kadar titiz bir inceleme süreci ise ajan tabanlı sistemlerin sunmak üzere tasarlandığı hıza yetişemeyecek kadar yavaştır.

Tartışmadaki mühendisler, bunun yapay zeka ajanlarının insan denetiminin tamamen kaldırılması gerektiği anlamına gelmediğini özenle belirtiyor — bunun yerine, «döngüdeki insan»ın, bir sistem diyagramına bir kez eklendikten sonra süresiz olarak görevini yaptığı varsayılabilecek tek bir kutucuk olarak değil, inceleme hacmine, yükseltme kriterlerine ve denetleyici yorgunluğuna dikkat edilerek iyi tasarlanması gereken bir mühendislik sorunu olarak ele alınması gerektiğini savunuyorlar.