Granite Speech 5.0 ve Meet'te 63 dilde çeviri: konuşma deşifresi kendi sunucunuza taşınıyor

IBM, konuşmayı sizin donanımınızda deşifre eden ve çeviren üç ses modelini Apache 2.0 lisansıyla yayımladı. Google ise Meet'e 63 dil arasında çeviri ekledi. İşletme sahibi için anlamı şu: görüşme ve toplantı deşifresi ayrı bir ücretli hizmet olmaktan çıktı. Onu kendi sunucunuzda tutabilir, dakika başına ödeme yapmaz ve müşteri konuşmalarını dışarı vermezsiniz.

Bu hafta ne çıktı

IBM Granite ekibi 21 Ekim'de Hugging Face blogunda üç güncellemeyi anlattı. Yeni granite-speech-5.0-2b İngilizce, Fransızca, Almanca, İspanyolca, Portekizce ve Japonca konuşmayı deşifre ediyor, bu diller ile İngilizce arasında çeviri yapıyor. Ürün adlarını ve soyadlarını bozmaması için ona 2.000 terime kadar liste verilebiliyor. İngilizce testlerdeki ortalama WER'e göre açık modeller arasında ikinci sırada, %5,06. Küçük granite-speech-5.0-470m-turboctc çok dilli oldu, noktalama işaretlerini kendisi koyuyor ve yaklaşık 1,6 kat hızlanarak 19.870 RTFx'e çıktı. granite-speech-4.1-2b-plus ise birden fazla konuşmacının olduğu kayıtlar için iyileştirildi: uzun kayıtlarda hata %24 düştü. Üçü de Transformers, vLLM ve llama.cpp üzerinde, Mac'te ise mlx-audio ile çalışıyor. Dil listesinde Rusça yok, benim için sürümün en büyük eksiği bu.

Google 22 Ekim'de Workspace güncellemeler blogunda Meet'teki konuşma çevirisinin tek toplantıda 63 dilin herhangi ikisi arasında çalıştığını duyurdu. Dil kendiliğinden algılanıyor, her katılımcı çeviriyi kendisi için açıyor. Sınırlar belirgin: temel Workspace planları ve Google AI Pro için toplantı başına 90 dakika, AI Expanded Access ve Ultra için 8 saat. Toplantı kayıtlarında, telefon aramalarında ve istemci tarafında şifrelenen toplantılarda çeviri yok. Google sesin saklanmadığını ve üzerinde eğitim yapılmadığını yazıyor. Dağıtım 22 Ekim'de başladı.

HubSpot 14 Ekim'de satış blogunda deşifre servislerinin karşılaştırmasını yayımladı. Oradaki fikir tek ama doğru: deşifre, ondan sonra gelen iş için gerekli. Kısa özet, görevler, kimin ne dediği, CRM kartına kayıt. Yazar doğruluk konusunda G2 ve Capterra'daki yorumlara dayandığını yazıyor ve satın almadan önce kendi gerçek görüşmenizi servisten geçirmenizi öneriyor. Bu öneriye katılıyorum.

Bir de kendi modelinizin zamanla neden ucuzladığına dair teknik bir not. Dharma-AI ekibi 21 Ekim'de Hugging Face blogunda Portekizce kompozisyonları kontrol etmek için kullandıkları Qwen3-4B modelinin tokenizer sözlüğünü nasıl yeniden kurduklarını anlattı. 151.669 kayıtlık sözlük bütün diller için tasarlanmıştı, model ise tek dilde yazıyordu. Yeniden kurulumdan sonra çıkış katmanı yaklaşık 152.000 satırdan 65.000 satıra küçüldü, ölçülen çıkarım maliyeti %77 düştü. Makale henüz hakem incelemesinde, rakamlar değişebilir. Ama model sizde durunca bu tür kaldıraçlar sizin olur.

İşletme sahibi için ne anlama geliyor

Araç kiralamayı ele alalım. Yönetici gün içinde onlarca arama alıyor: kirayı uzatmak, çiziği bildirmek, sigortayı sormak. Bir hafta sonra müşteri kendisine indirim sözü verildiğini söylüyor, yönetici bunu hatırlamıyor. Arama kaydedilmiş ve deşifre edilmişse anlaşmazlık bir dakikada çözülür: metni açtınız, cümleyi buldunuz. Böyle bir akışta servise her dakika için ödemek pahalı, müşteri konuşmalarını üçüncü taraf bir servise vermeyi de çoğu kişi istemiyor. Kendi sunucunuzdaki model iki soruyu da ortadan kaldırıyor.

Toplantılarda da durum benzer. Başka ülkedeki tedarikçiyle Meet'te görüşmeyi artık tercümansız yürütmek mümkün. Ama kayıtta çeviri olmayacak, toplantı tutanağını ayrıca hazırlamak gerekecek.

Bende nasıl işliyor

2023 sonu ve 2024 başında Londra'daki bir danışmanlık şirketi için yerel Whisper modeliyle çalışan bir altyazı sistemi yaptım. Sistem Google Drive klasöründen videoları, podcast ve YouTube bağlantılarını alıyor, sesi çıkarıyor, konuşmayı tanıyor ve zaman damgalı SRT dosyası veriyordu. Kayıt dakikası için ödeme gerekmiyordu: sunucunun maliyeti vardı ama hacim için ayrı ücret yoktu. Altyazıların videoya bindirilmesi planlardaydı, ama müşteri projeyi durdurdu.

ABD'deki PDR şirketinde 2021'den beri sunucuyu ve telefon sistemini ben yürütüyorum. Orada sistem her aramayı kaydediyor, AI ise kimin aradığını ayırıyor: lead mi, mevcut müşteri mi, sigorta şirketi mi, ve çalışanın nasıl yanıt verdiğini. Kimin ne zaman ve neden aradığını her zaman biliyoruz. Ayrıştırmanın içeride nasıl kurulduğunu açıklamıyorum. Granite modellerini kendimde denemedim, ama böyle kayıtlarda denerdim: telefon sesi, gürültü, iki ses.

Ben ne yapardım

20-30 gerçek kayıt toplardım: gürültülü, aksanlı, iki kişinin aynı anda konuştuğu. Ödeme yapmadan önce her modeli veya servisi bunların üzerinde çalıştırırdım.

Tanımayı ayrıştırmadan ayırırdım. Önce konuşma metne dönüşür, sonra ayrı bir model sorulara yanıt verir: kim aradı, ne söz verildi, geri aramak gerekiyor mu. O zaman tanıma modeli, gerisine dokunmadan değiştirilebilir.

Kayıtların ve deşifrelerin nerede durduğuna ve kimin gördüğüne önceden karar verirdim. Müşteriyle konuşmanın metni onun kişisel verisidir, CRM kartıyla aynı erişim hakları gerekir.

Yıllık parayı hesaplardım. Günde on civarı aramada dakika başına ödemeli servis kendi sunucunuzdan ucuz; yüzlerce arama ve sürekli toplantı akışında kendi modeliniz kendini amorti eder. Kesin sınırı hacmi saydıktan sonra söylerdim.

İlgili yazılar

Model sonuçlarını nasıl kontrol ettiğimi Veri işlemede AI: çıkarma ve doğrulama yazısında anlattım. Yaklaşım: Sonucu doğrulanabilen süreçte AI ve Belgeler, veriler ve tekrarlanabilir işleme için Python. Vaka çalışmaları: yerel Whisper ile videodan SRT altyazı ve ABD'deki PDR şirketinin teknik ortağı. Aynı konudaki yazılardan: kim aradı ve neden: aramaların AI ile ayrıştırılması, neden ücretsiz araçlarla kuruyorum ve kendi modelim ile API arasında nasıl seçim yapıyorum. Daha önce deşifre aracı ile modelinin ayrı ayrı kontrol edildiğini yazmıştım. Görüşme veya toplantı kayıtlarınız birikiyorsa, onlardan ne çıkarılması gerektiğini anlatın. Görevi konuşalım.