SRT სუბტიტრები ვიდეოდან ლოკალურ Whisper-ზე ბლოგერებისთვის, 2023–2024

2023 წლის ბოლოს და 2024 წლის დასაწყისში შევქმენი სისტემა aif მოგზაურებისა და ბლოგერებისთვის, რომლებიც კონტენტს YouTube-ის, Instagram-ისა და სხვა პლატფორმებისთვის იღებენ. ის იღებდა ვიდეოს ან ჩანაწერის ბმულს, აუდიოს გამოყოფდა, მეტყველებას ლოკალური Whisper მოდელით ცნობდა და ქმნიდა სუბტიტრების ფაილს დროის ნიშნულებით. ეს იმავე კომპანიის დაკავშირებული პროექტი იყო, რომელთან თანამშრომლობაზეც გვერდზე პროგრამების შემუშავება ლონდონის საკონსულტაციო კომპანიისთვის, 2023–2024 ვყვები.

ამოცანა

ტრანსკრიფციის ფასიანი სერვისები, როგორც წესი, გამოწერით მუშაობს, და გადაღებების დიდი მოცულობისას ეს შესამჩნევი ხარჯის მუხლი ხდება. ამოცანა იყო, რომ მომხმარებლებს საკუთარი კონტენტის დამუშავება უფასო ინსტრუმენტებით შეძლებოდათ და მესამე მხარის სერვისისთვის ფული არ გადაეხადათ.

როგორ მუშაობდა

შემავალ მონაცემებად Google Drive-ის ვიდეოები, პოდკასტების ბმულები და YouTube-ის ბმულები გამოიყენებოდა, და სამივე ვარიანტი რეალურად მუშაობდა. MP4 ფორმატის ვიდეოები Google Drive-ის საქაღალდეში იდო, ბმულებიდან კი სისტემა აუდიოტრეკს იღებდა.

საქაღალდიდან აღებული ვიდეოებისთვის ჯერ აუდიო გამოიყოფოდა, გრძელი ჩანაწერები კი საჭიროების შემთხვევაში ნაწილებად იყოფოდა. შემდეგ გზა საერთო იყო: მეტყველებას ცნობდა Whisper მოდელი, გაშვებული ლოკალურად და არა ღრუბლოვანი API-ის მეშვეობით. შედეგი SRT სუბტიტრების ფაილად ინახებოდა: ტექსტი ფრაგმენტებად არის დაყოფილი და თითოეულს აქვს დაწყებისა და დასრულების დრო. მზა ფაილი ისევ Google Drive-ში იტვირთებოდა, ტრანსკრიფციებისთვის განკუთვნილ ცალკე საქაღალდეში.

Google Drive-ის ვიდეოებისთვის სისტემა თითოეული ფაილის სტატუსსა და პროგრესს Google Sheets-ში წერდა. დროებითი ფაილები ატვირთვის შემდეგ იშლებოდა, უკვე დამუშავებული ბმულები კი აღირიცხებოდა, რომ ერთი და იგივე ჩანაწერი ხელახლა არ გაშვებულიყო.

საინჟინრო გადაწყვეტილებები

დამუშავების მოთხოვნებს იღებდა პატარა სერვისი Python-სა და Flask-ზე. ის მაშინვე ადასტურებდა, რომ მოთხოვნა მიღებულია, და ამოცნობას ცალკე უშვებდა, ისე, რომ მოთხოვნა ღია არ რჩებოდა, სანამ გრძელი ვიდეო მუშავდებოდა.

ამოცნობა ლოკალურ მოდელსა და უფასო ინსტრუმენტებზე მიმდინარეობდა, ამიტომ ჩანაწერის ყოველ წუთზე გადახდა საჭირო არ იყო. ბლოგერისთვის, რომელიც ბევრ ვიდეოს აქვეყნებს, ეს ფასიან გამოწერასთან შედარებით უზარმაზარ დანაზოგს შეიძლება ნიშნავდეს. სერვერიც ფული ღირს, თუმცა დამუშავებული მოცულობისთვის ცალკე გადასახადი არ იყო.

რა გაკეთდა და რა დარჩა გეგმებში

მომხმარებელი იღებდა SRT სუბტიტრების ფაილს დროის ნიშნულებით და შემდეგ მონტაჟისას იყენებდა. შემდეგ ნაბიჯად იგეგმებოდა სუბტიტრების ვიდეოზე ავტომატური დადება, რომ შედეგად მაშინვე მზა ვიდეო მიიღებოდა. ეს ნაწილი ბოლომდე ვერ მივიყვანე: დამკვეთმა პროექტი შეაჩერა.

მე თვითონ ამას ძალიან კარგ პროექტად ვთვლი, და მასზე მუშაობა საინტერესო იყო.

მსგავსი ამოცანა გაქვთ?

თუ გჭირდებათ აუდიოსა და ვიდეოს ტრანსკრიფცია ან მოდელის ჩაშენება ფაილების დამუშავებაში საკუთარ სერვერზე, იხილეთ AI სამუშაო პროცესები, მონაცემების დამუშავება Python-ით და Google Workspace-ის ავტომატიზაცია. ამ კომპანიისთვის შესრულებული სხვა პროექტები თავმოყრილია გვერდზე პროგრამების შემუშავება ლონდონის საკონსულტაციო კომპანიისთვის, 2023–2024.

მომწერეთ, რომელი ჩანაწერების დამუშავებაა საჭირო და რა სახით გჭირდებათ შედეგი. ამოცანის განხილვა