Blogger'lar için yerel Whisper ile videodan SRT altyazı, 2023–2024

2023 sonu ve 2024 başında, YouTube, Instagram ve diğer platformlar için içerik üreten gezginler ve blogger'lar için aif adlı bir sistem geliştirdim. Sistem bir videoyu ya da bir kaydın bağlantısını alıyor, sesi ayıklıyor, konuşmayı yerel bir Whisper modeliyle tanıyor ve zaman damgalı bir altyazı dosyası üretiyordu. Bu, iş birliğimizi Londra'daki bir danışmanlık şirketi için yazılım geliştirme, 2023–2024 sayfasında anlattığım aynı şirketin ilişkili bir projesiydi.

Görev

Ücretli transkripsiyon hizmetleri genellikle abonelikle çalışır ve çekim hacmi büyük olduğunda bu, hissedilir bir gider kalemine dönüşür. Amaç, kullanıcıların içeriklerini üçüncü taraf bir hizmete ödeme yapmak yerine ücretsiz araçlarla işleyebilmesini sağlamaktı.

Nasıl çalışıyordu

Girdiler Google Drive'daki videolar, podcast bağlantıları ve YouTube bağlantılarıydı; üçü de fiilen kullanılıyordu. MP4 videolar bir Google Drive klasöründe duruyordu, bağlantılardan ise sistem ses kanalını alıyordu.

Klasördeki videolar için önce ses ayıklanıyor, uzun kayıtlar gerektiğinde parçalara bölünüyordu. Bundan sonra yol ortaktı: konuşma, bir bulut API'si üzerinden değil, yerel olarak çalışan bir Whisper modeliyle tanınıyordu. Sonuç bir SRT altyazı dosyası olarak kaydediliyordu: metin parçalara bölünmüş, her parçanın bir başlangıç ve bitiş zamanı var. Hazır dosya, Google Drive'da transkripsiyonlar için ayrılmış ayrı bir klasöre geri yükleniyordu.

Google Drive videoları için sistem her dosyanın durumunu ve ilerlemesini Google Sheets'e kaydediyordu. Geçici dosyalar yüklemeden sonra siliniyor, daha önce işlenmiş bağlantılar ise aynı kayıt iki kez çalıştırılmasın diye takip ediliyordu.

Mühendislik tercihleri

İşleri Python ve Flask ile yazılmış küçük bir servis kabul ediyordu. Servis talebin alındığını hemen onaylıyor ve tanıma işlemini ayrıca başlatıyordu; uzun bir video işlenirken talebi açık tutmuyordu.

Tanıma yerel bir model ve ücretsiz araçlarla yapıldığından kaydın dakikası başına ödeme gerekmiyordu. Çok sayıda video yayınlayan bir blogger için bu, ücretli bir aboneliğe kıyasla çok büyük bir tasarruf anlamına gelebilirdi. Sunucunun kendisinin de bir maliyeti var, ancak işlenen hacim için ayrı bir ücret yoktu.

Neler yapıldı, neler planda kaldı

Kullanıcı zaman damgalı bir SRT altyazı dosyası alıyor ve kurgu sırasında onunla çalışıyordu. Bir sonraki adım, altyazıların videoya otomatik olarak gömülmesi ve böylece doğrudan hazır bir video elde edilmesiydi. Bu kısmı tamamlayamadım: müşteri projeyi durdurdu.

Ben yine de bunun çok güzel bir proje olduğunu düşünüyorum ve üzerinde çalışmak keyifliydi.

Benzer bir göreviniz mi var?

Ses ve videoları yazıya dökmeniz ya da kendi sunucunuzda dosya işleme sürecine bir model yerleştirmeniz gerekiyorsa AI iş akışları, Python ile veri işleme ve Google Workspace otomasyonu sayfalarına bakın. Bu şirket için yaptığım diğer projeler Londra'daki bir danışmanlık şirketi için yazılım geliştirme, 2023–2024 sayfasında.

Hangi kayıtların işlenmesi gerektiğini ve sonucun nasıl görünmesi gerektiğini anlatın. Projenizi konuşalım