AI ajanını değerlendirirken sonuç, ortam ve başarısızlık maliyeti birlikte ölçülmeli

Bir AI ajanına üretim sürecinde yetki vermeden önce çıktısını, çalışma koşullarını ve başarısızlığın maliyetini değerlendirmek gerekir. İkna edici bir yanıt, doğru talimatın bulunduğunu veya kullanılabilir bir dosya üretildiğini kanıtlamaz. Ekim ayındaki dört yayın, model sıralamasından daha işe yarar bir değerlendirme tasarımına işaret ediyor.

Docker, 14 Ekim'de Harbor ile Sandboxes entegrasyonunu duyurdu; kararlı sürüm 23 Ekim için planlanmıştı. Expo'nun 8 Ekim tarihli yazısı, beceriyi bulmayı onu uygulamaktan ayırıyor. NVIDIA'nın 14 Ekim tarihli Siemens örneği nihai mühendislik çıktısını doğrulamaya odaklanıyor. Aynı gün yayımlanan OpenAI Third Moment Research yazısı, işlem izleri ile tekrar veya insan incelemesi kararını anlatıyor. Bunlar yayıncıların aktardıklarıdır, kendi test sonuçlarımız değildir.

Aynı yanlış sonuç farklı arızalardan doğabilir

Yanlış bir rapor, ajanın talimatı bulamadığını, bulduğu talimatı yanlış uyguladığını veya eski verilerle doğru prosedürü yürüttüğünü gösterebilir. Tek bir başarı puanı bu nedenleri birleştirir. Ekip böyle bir ölçüme dayanarak model değiştirirse sorunun kaynağını öğrenmeden para harcar.

Dört yayının birlikte önerdiği yaklaşım, önce girdileri ve ortamı sabitlemek, sonra izlenen yolu gözlemek ve çıktıyı bağımsız doğrulamaktır. Talimat keşfi ölçülebilir hale gelir. Yalıtım, önceki çalışmadan kalan dosyaların veya sınırsız ağ erişiminin sağladığı tesadüfi avantajı azaltır. Çıktı kontrolü ise iş gereksiniminin karşılanıp karşılanmadığını belirler.

Değerlendiricinin güven sınırı, işi yapan ajandan ayrı olmalıdır. Ajan kendi kontrolünü veya referans verisini değiştirebiliyorsa geçer puan bağımsız kanıt olmaktan çıkar. Ancak tüm ağı kapatmak da güncel bir API gerektiren işi gerçek dışı koşullarda ölçebilir. Tekrarlanabilir regresyon için kaydedilmiş servis yanıtları, gerçek entegrasyon için ayrı canlı denemeler kullanılabilir.

Bir platform seçerken yalnızca başarı oranını istemeyin. Girdi dağılımını, izin verilen araçları, durma koşullarını ve çıktı kabul ölçütlerini de inceleyin. Eksik fakat makul görünen teslimatı reddeden bir kontrol, yüksek bir toplam puandan daha değerli olabilir.

Tekrar politikası değerlendirmeye dahildir

Deneme bütçesi olmadan başarı eşiği eksik kalır. Onuncu denemede başarı, çözümün mümkün olduğunu gösterir; ekonomik olduğunu göstermez. Araç ücretleri, bekleme, tekrarlar ve insan incelemesi de kaydedilmelidir. Harici bir hesaplama sürerken durumu tekrar tekrar sormak, ilerleme sağlamadan tüketimi artırabilir.

Bu yüzden daha ucuz model aramadan önce yararsız durum geçişlerini azaltmak anlamlıdır. Uzun işlemin bir iş kimliği ve tamamlanma sinyali olsun. Geçici hatayı, geçersiz girdiyi ve kesin reddi ayırmadan yeniden çalıştırmayın. Süre sınırını da belirtin: gece bitebilecek bir iş ile müşterinin yanıt beklediği etkileşimli işlem aynı değildir. Tamamlanmayan denemeler paydadan çıkarılmamalıdır.

Varsayımsal örnek: sipariş satırlarını belgelerden çıkarma

Bu bir tasarım örneğidir, müşteri sonucu değildir. Ajan PDF siparişlerini tanımlı JSON yapısına dönüştürüyor. Test kümesinde dijital belge, tarama, iki sayfaya yayılan tablo ve toplamı çelişkili belge bulunuyor. Kontroller alanları, türleri, aritmetiği ve her satırın dayandığı sayfayı kapsıyor. Belirsiz durum için insan incelemesi geçerli sonuç sayılıyor.

İlk çalışmada belgeler ve araç sürümleri sabitlenir. Sonraki deneme yalnızca talimat erişimini değiştirir. Başka bir deneme OCR hatasını ve yeniden başlatmayı sınar. Aynı siparişi iki kez oluşturmak, JSON doğru görünse de başarısızlıktır. Çelişkili toplamı insana göndermek, uydurma bir uzlaştırmadan daha doğru olabilir.

Nadir fakat ağır sonuçlu durumları ayrı değerlendirin. Kolay belgelerdeki ortalama başarı, dosya içine gizlenmiş talimatı veya iki kuruluşun kayıtlarının karışmasını açıklamaz. Referansları kimin yönettiği, girdi sürümlerinin nasıl saklandığı ve verimsiz çalışmanın nasıl durduğu pilot başlamadan belirlenmelidir.

Veri işlemede AI rehberi doğrulama sınırını açıklar. Belge ayrıştırma vakası uygulama bağlamını gösterir. Kendi süreciniz için girdileri ve kabul ölçütlerini konuşabiliriz.