
Aynı isteği biraz farklı ifade et, bir dil modeli bambaşka bir yanıt versin. QuantPi proje ekibine göre üretken yapay zekâ test edilirken en sık karşılaşılan sorun tam olarak bu. Araştırmacılar kendi kendine test oluşturan, kararsızlığı ve önyargıyı tespit eden, denetçiler için belgeler hazırlayan bir platform geliştirdi. Platformu iş adaylarını öneren bir sistem üzerinde de denediler — sonunda da yapay zekâ yanıtlarına ne kadar güvendiğini kendin görebilirsin.
Üretken yapay zekâ iş adaylarını değerlendirmede, müşterilere hizmet vermede ve iş kararlarını desteklemede giderek daha sık yardımcı oluyor. En büyük gücü hızı. Ancak kolayca gözden kaçan bir zayıflığı var: bir sorunun ifadesindeki, dildeki ya da bağlamdaki küçük bir değişikliğe tamamen farklı tepki verebiliyor. Şirketler için bu, iki yönlü bir görev demek. Bu tür anormallikleri tespit etmeleri gerekiyor, ayrıca riskin test edildiğini ve kontrol altında olduğunu kanıtlayan belgelere de ihtiyaç duyuyorlar.
Avrupa İnovasyon Konseyi’nin desteklediği QuantPi projesi bu sorunun üzerine gitti. Üretken yapay zekânın risklerini yönetmek için PiCrystal teknolojisi etrafında kurulmuş bir platform geliştirdi. Araç, test paketlerini otomatik olarak oluşturuyor, modelin davranışını kontrol ediyor ve sonuçları Avrupa Birliği Yapay Zekâ Yasası’nın gereklilikleriyle bağlantılı, denetime hazır belgelere dönüştürüyor. Platform sistemleri üç açıdan inceliyor: kararsız çıktılar, önyargı ve denetim sırasında sunulabilecek kanıtların bulunabilirliği.
Bu tür testlerde en sık ne ortaya çıkıyor? QuantPi’nin politika ve hibe sorumlusu Lukas Bieringer lafı dolandırmadan yanıtlıyor: “Bu, girdilerin gerçekçi biçimde değiştiği durumlarda tipik olarak tutarsız ya da kararsız davranıştır; aynı istem sınıfı, ifadeye, dile ya da bağlama göre önemli ölçüde farklı çıktılar veriyor.”
Uygulamada bir sistem basit bir kıyaslama testini sorunsuz geçebilir, sonra isteklerini kendi tarzlarında ifade eden gerçek kullanıcılarla karşılaşınca çuvallayabilir. Önyargılar ve gruplar arasındaki eşitsizlikler, yani ortalama sonuçlarda görünmeyen farklar ancak o zaman ortaya çıkar.
Ekip bunu somut bir örnekte denedi. Büyük bir dil modeline dayanan bir aday öneri sistemi, işe alım platformu Stepstone ve yapay zekâ güvence laboratuvarı TÜV AI.Lab ortaklığıyla değerlendirildi. Sonuç, özgeçmişi böyle bir sisteme düşebilecek herkes için önemli. İşe alımda kullanılan yapay zekâ araçlarını test etmek, büyük ve temsil gücü yüksek veri kümeleri gerektiriyor. Farklı grupların birbiriyle örtüşen özelliklerinin incelenebildiği kesişimsel test ancak bunlarla mümkün. Ortalama alma burada bir perde gibi işliyor: sistemin tek tek kesimlere nasıl davrandığındaki önemli farkları gizliyor.
QuantPi’nin ikinci fikri, kanıt katmanını sunum katmanından ayırmak. Bu, basit bir gözlemden çıkıyor: bir şirketteki farklı insanların aynı sistem hakkında farklı bilgilere ihtiyacı var.
Bu görünümlerin birbirinden kopmaması için tek bir kural var. Bieringer şöyle açıklıyor: “Temel tasarım ilkesi şu: tüm görünümler aynı istatistiksel kanıt tabanından türetilmeli, böylece yönetim kurulu düzeyindeki bir ifade her zaman belirli bir test sonucuna kadar izlenebilsin.”
Otomasyon, insan muhakemesinin gereksiz hale geldiği anlamına gelmiyor. Sistemin ne için kullanılacağını insanlar belirliyor, adalet ya da güvenlik tanımlarından hangisinin geçerli olacağını seçiyor, kabul eşiklerini koyuyor ve bir aracın devreye alınıp alınmayacağına, ertelenip ertelenmeyeceğine ya da geri çekilip çekilmeyeceğine karar veriyor. Rollerin paylaşımı net: platform riski ölçüyor, hangi düzeyinin kabul edilebilir olduğuna ise sorumlu insanlar karar veriyor.
Bir kez yapılan test de sonsuza kadar yetmiyor. İzleme, durum her değiştiğinde devreye giriyor: model güncellemesinden, gözden geçirilmiş bir istemden ya da yeni bir geri getirme dizininden sonra. Girdi kayması, çıktı kayması ve kurallardaki değişiklikler de yeniden değerlendirme gerektiriyor, çünkü bunların her biri önceki sonuçları geçersiz kılabilir.
Bieringer’e göre birçok şirket için en büyük engel artık kuralların farkında olmak değil. Bunu açıkça söylüyor: “Yapamadıkları şey, bir onaylanmış kuruluşun ya da denetçinin önünde ayakta kalacak teknik uygunluk kanıtları üretmek; özellikle geleneksel kıyaslama raporlarının yetersiz kaldığı ve uyumlaştırılmış standartların bugüne kadar bulunmadığı üretken sistemlerde.” QuantPi’nin platformu tam da bu boşluğu doldurmak için tasarlandı; teknik testleri, farklı ekiplerin devreye almadan önce ve sonra kullanabileceği kanıtlara dönüştürüyor.
Üretken yapay zekâ huysuz olabilir: aynı soru başka sözcüklerle sorulduğunda tamamen farklı bir yanıt çıkabilir ve ortalama test sonuçları belirli gruplara eşit davranılmadığını gizleyebilir. QuantPi projesi, bu tür sistemlerin sağlam bir değerlendirmesi için otomatik ve tekrarlanabilir testlerin, temsil gücü yüksek verilerin ve analistten yönetim kuruluna kadar herkes için ortak bir kanıt tabanının gerektiğini gösteriyor. Hangi riskin kabul edilebilir olduğu konusundaki son söz ise yine insanlara ait.
5 soru · bir dakika