“%94 daha hızlı” ve “haftada 8 saat”: vaka rakamlarını nasıl okur, kendiminkini nasıl sayarım

Ekim'in tek bir haftasında OpenAI rakamlı dört vaka yayımladı, Close satış temsilcisinin haftada 8 saat nasıl kazandığını anlattı ve her rakamın kendi hesaplama yöntemi var. İşletme sahibine bu tür rakamlar ticari teklifle gelir: “%94 daha hızlı”, “uzmanla %88,6 uyum”. Bu sayıları nasıl okuduğumu ve kendiminkileri nasıl saydığımı göstereyim, çünkü benim sitemde de yüzdeler ve saatler var.

Altı vaka ve altı sayma yöntemi

OpenAI 20 Ekim'de Schlotzsky's ve Cinnabon franchise sahibinin vakasını başlığa taşıdı: ChatGPT Work ile nakit mutabakatı %94 daha hızlı. Sayfanın açıklamasında rakam zaten farklı: menü fiyatlarının yeniden belirlenmesi %95 daha hızlı ve nakit akışında 100 bin dolar “serbest bırakabilecek” bir senaryo. Tam metin elimde yok, başlığa ve açıklamaya dayanıyorum; onlardan bile iki farklı süreç ve ana tutarın yanındaki “-ebilir” kipi görülüyor.

OpenAI 22 Ekim'de 1.000 kişilik pilotun ardından Uber'de 30.000'den fazla çalışan için ChatGPT Work'ün devreye alındığını duyurdu. Notta sonuç yok, şirketler bunu sonra vermeyi vadediyor. OpenAI 21 Ekim'de AT&T hukuk departmanının planlarını anlattı: doğal dilde talepler için bir “giriş kapısı”, emsal kararların seçimi. Yine rakam yok, ama bir ilke var: kararlar avukatlarda kalıyor.

OpenAI 20 Ekim'de Terminal X vakasında en ayrıntılı rakamı verdi: 500 değerlendirilmiş yargıda GPT-6.1 Sol üzerindeki kontrol ajanı kıdemli değerlendiriciyle %88,6 oranında örtüştü, bir sonraki modelde bu %86,4. Fark 54 ölçütlük bir rubrikle ölçülmüş, yani yöntem anlatılmış. Bir müşterideki yıllık 2,4 milyon dolar tasarruf ise Terminal X'in kendi sözleriyle aktarılıyor ve nasıl hesaplandığı vakada yok.

Close 20 Ekim'de kendi satış temsilcisinin, Chloe Chat asistanının ona haftada 8 saatten fazla nasıl kazandırdığına dair anlatımını yayımladı: toplantı hazırlığı 15 dakikadan birkaç dakikaya, arama sonrası e-posta 10-15 dakikadan birkaç dakikaya; beş toplantılı bir günde bu bir saatten fazla ediyor. Rakamlar onun kendi rakamları ve programına bağlı. OpenAI 16 Ekim'de Benefit Street Partners örneğini başka bir türde gösterdi: portföy yöneticisi kredi değerleme takip aracını kendisi yaptı, düzeltmelerle birlikte toplam 10-12 saat; 300 küsur sayfalık kredi sözleşmelerinin analiz aracı ilk incelemeyi 20 dakikada veriyor, ardından bir insan bir saat ya da daha uzun okuyor. Burada makinenin süresi insanın süresinin yanında duruyor.

Rakamın arkasında ne olmalı

On temsilcili bir servis şirketinin sahibini ele alalım. “Haftada 8 saat”i okuyor, onla çarpıyor ve 80 saat bekliyor. Ama vakadaki temsilcinin günde beş toplantısı ve dünyanın her yerine araması var; onun çalışanlarının ise iki toplantısı ve mesajlaşma uygulamasında yazışması. Sonuç: bir rakamı başka bir işletmeye yalnızca elde edildiği koşullarla birlikte taşıyabilirsiniz. Her rakamda dört şey ararım: ne ölçüldü, hangi hacimde, hangi dönemde ve makineden sonra sonucu kim kontrol etti.

Kendi rakamlarımı nasıl sayıyorum

Kendi rakamlarıma da aynı dört soruyu soruyorum: ne ölçüldü, hangi hacimde, hangi dönemde ve sonucu kim kontrol etti.

Bir üretim şirketi için 2024'te, Excel spesifikasyonlarından ürünü parçalara ayıran ve nerede, ne kadar, neyin gerektiğini hesaplayan programı baştan sona ben yaptım; malzemeler 1C'deki kataloğa göre eşleştiriliyor. Teknik şartnameyi şubattan itibaren hazırladık, nisandan itibaren aktif geliştirme sürdü, çalışan sürümü yazın teslim ettim. Program bir siparişi ortalama 65 saniyede işliyor, eskiden bu 4-5 saat alıyordu. Her gün 11 kişi kullanıyor, her biri günde yaklaşık 4 saat kazanıyor, bu ayda yaklaşık 900 saat. Toplam anlaşılır parçalardan oluşuyor: sipariş başına 65 saniye, 11 kişi, kişi başı günde yaklaşık 4 saat. Siteden ve entegrasyonlardan sorumlu olduğum Güney Afrika'daki araç kiralamada yeni sistemle araçlar 3 kat daha hızlı teslim ediliyor, ortalama sipariş tutarı %30 arttı, bakım giderleri %25 azaldı. Takvimi tam da bunun için yaptığım kiralamalar arasındaki boş sürenin ne kadar kısaldığını ise kesin söyleyemem, bu yüzden o rakam bende yok.

ABD'deki PDR şirketi için belge parser'larını 2023'te yapmaya başladım. 2023 ortasından itibaren belgelerin yaklaşık yarısı elle düzeltme olmadan geçiyordu, 2024'te yaklaşık %75, 2025'te yaklaşık %95, 2026'da ise AI doğrulayıcılarını bağlayıp yayın sürümünü çıkardığımda yaklaşık %99,9. Bu oranlar parser'lardan geçen belgelere ait. Parser'lar haftada yaklaşık 60 saatlik elle yapılan işi serbest bırakıyor: eskiden bu belgeleri birkaç çalışan tabloya elle aktarıyordu. Bir müşteri parser'ın kendisinde ne kadar kazandıracağını sorarsa, belge örneklerini incelemeden rakam vadetmeyeceğimi söylüyorum.

Başkasının vakasıyla ne yapardım

Tabanı bulun. “Şu kadardı, bu kadar oldu” olmadan “%94 daha hızlı”, bilinmeyenin yüzdesidir. Taban yoksa rakam merak için uygundur, bütçe için değil.

Ölçüleni tahmin edilenden ayırın. Terminal X'te %88,6 500 yargı üzerinde ölçülmüş, 2,4 milyon ise şirketin sözleriyle aktarılmış. İki rakam da doğru olabilir, ama ağırlıkları farklı.

Makineden sonraki insanı arayın. Benefit Street Partners'ta 20 dakika makine ve bir saat insan yan yana yazılmış; vakada insan yoksa sonucu kimin kontrol ettiğini ve bunun ne kadara mal olduğunu sorun.

Satın almadan önce kendi verinizle sayın. 20 belgenizi ya da 20 toplantınızı alın, senaryoyu çalıştırın ve kendiniz hesaplayın.

AI'ın veri işlemede nerede yardımcı olduğu ve sonucun nasıl kontrol edileceği hakkında: veri işlemede AI: çıkarma ve doğrulama. Alana göre: sonucun kontrol edilebildiği süreçte AI. Sözü geçen rakamlı projeler: belge ve fotoğraf parser'ları, 65 saniyede sipariş hesabı ve Güney Afrika'da araç kiralama. Aynı konuda: parser'lar haftada 60 saat serbest bırakınca bizde ne oldu ve ekibe kötü kararlar öğreten metrikler; daha önce kabul edilen iş başına AI maliyeti hakkında yazmıştım. Size yüzdeli bir vaka getirildiyse ve bundan belgelerinize neyin uygulanabileceğini anlamak istiyorsanız, bunların ne tür belgeler olduğunu anlatın: Görevi konuşalım.