Tek bir komutla büyük yapay zeka modellerini alt eden bir araştırmacı tarafından kurulan Paris merkezli girişim, şirketlerin kendi yapay zeka sistemlerini kontrol etmelerine yardımcı olmak için 11 milyon dolar topladı.
Tek bir komutla büyük yapay zeka modellerini alt eden bir araştırmacı tarafından kurulan Paris merkezli girişim, şirketlerin kendi yapay zeka sistemlerini kontrol etmelerine yardımcı olmak için 11 milyon dolar topladı.

(P1) Fransız siber güvenlik girişimi White Circle, büyük dil modellerini kullanan işletmeler için yeni bir güvenlik katmanı olan yapay zeka kontrol platformunu genişletmek amacıyla tohum yatırım turunda 11 milyon dolar topladı. Bu finansman, işletmelerin veri sızıntısı, halüsinasyonlar ve komut enjeksiyonu saldırıları gibi model sağlayıcıları tarafından oluşturulan genel güvenlik filtrelerinin ötesindeki risklerle mücadele ettiği bir dönemde geldi.
(P2) White Circle'ın kurucusu ve CEO'su Denis Shilov, Fortune'a verdiği demeçte, "Jailbreak'ler (kısıtlamaları aşma) sorunun sadece bir parçası. İnsanların yanlış davranabileceği pek çok yol olduğu gibi, modeller de yanlış davranabilir. Biz aslında davranışı dayatıyoruz" dedi.
(P3) Yatırım turu, yapay zeka sektörü liderlerinden oluşan bir listenin katılımıyla gerçekleşti ve şirketin yaklaşımına olan güçlü güveni simgeledi. Destekçiler arasında OpenAI Geliştirici Deneyimi Başkanı Romain Huet, Anthropic'ten Durk Kingma, Mistral kurucu ortağı Guillaume Lample ve Hugging Face kurucu ortağı Thomas Wolf yer alıyor. Şirket, fonları yeni yetenekler istihdam etmek, ürün geliştirmeyi hızlandırmak ve ABD, İngiltere ve Avrupa genelindeki müşteri tabanını büyütmek için kullanacak.
(P4) Şirketler basit sohbet robotlarından dosyalara erişme veya geri ödeme yapma gibi eylemlerde bulunabilen otonom yapay zeka ajanlarına geçtikçe, özel bir kontrol katmanına duyulan ihtiyaç daha acil hale geliyor. White Circle'ın platformu, bir şirketin kullanıcıları ile yapay zeka modelleri arasında yer alarak, özel politikaları uygulamak için tüm girdi ve çıktıları gerçek zamanlı olarak izliyor; bu, model sağlayıcılarının kendilerinin mükemmelleştirmek için karmaşık teşviklere sahip olduğu bir işlev.
Paris merkezli girişim, Shilov'un 2024 sonlarında her lider yapay zeka modelinin güvenlik korkuluklarını aşabilen evrensel bir jailbreak komutu geliştirdiği araştırmasından doğdu. Bulguları X'te viral olduktan sonra, Anthropic gibi büyük yapay zeka laboratuvarları onu modellerini test etmeye davet etti ve bu da onu şirketlerin sadece daha iyi modellere değil, daha iyi kontrollere ihtiyacı olduğuna ikna etti.
White Circle'ın yazılımı, çok çeşitli model yanlış davranışlarını yakalamak üzere tasarlanmıştır. Bir kullanıcının kötü amaçlı yazılım oluşturma girişimini engelleyebilir, bir model halüsinasyon görüp bir müşteriye yetkisiz bir geri ödeme sözü verdiğinde bunu işaretleyebilir veya bir yapay zeka ajanının hassas finansal verileri sızdırmasını durdurabilir. Platform halihazırda bir milyardan fazla API isteğini işledi ve girişim Lovable ile birkaç fintech ve hukuk şirketi tarafından kullanılıyor, ancak spesifik gelir rakamları açıklanmadı.
Bağımsız bir hakem olarak güvenilirliğini pekiştirmek için White Circle'ın araştırma kolu, OpenAI, Google ve xAI dahil olmak üzere sağlayıcılardan alınan 15 yapay zeka modeli üzerinde bir milyondan fazla deney yürüten bir çalışma olan "KillBench"i yayınladı. Çalışma, yüksek riskli senaryolarda ortaya çıkan gizli önyargıları ortaya çıkararak sıradan kullanımda fark edilmeyen riskleri vurguladı.
Bu yatırım, yapay zeka sektörü etrafında büyüyen "kazma ve kürek" ekonomisine yapılmış güçlü bir bahistir. OpenAI, Anthropic ve Mistral gibi rakip yapay zeka laboratuvarlarından yöneticilerin katılımı, üçüncü taraf bir uygulama katmanının kurumsal yapay zeka yığınının gerekli bir bileşeni olduğuna dair geniş bir fikir birliğine işaret ediyor. Bu durum, yapay zeka altyapısına ve güvenliğine odaklanan yatırımcılar için yeni ve kritik bir pazar kategorisinin ortaya çıktığını gösteriyor.
Bu makale sadece bilgilendirme amaçlıdır ve yatırım tavsiyesi teşkil etmez.