DeepInfer 155 ტრლნ ტოკენით დღეში, „შავი ოქტომბერი“ და 47 გაუქმებული დატა-ცენტრი: AI-ის ბიუჯეტი

ოქტომბრის ერთ კვირაში რამდენიმე სიახლე გამოვიდა, რომლებიც ცალ-ცალკე „დიდ კომპანიებზე“ ჩანს, ერთად კი ცვლის იმას, როგორ უნდა დაითვალოს მცირე ბიზნესმა AI-ზე ხარჯები. DeepSeek-მა თავისი სერვერული სტეკი გახსნა და აჩვენა, რომ ტოკენები შეიძლება გროშები ღირდეს. CNews წერს აშშ-ში 47 დატა-ცენტრის მშენებლობის გაუქმებაზე. „შავმა ოქტომბერმა“ (Black October) კი შეგვახსენა, რომ AI-ინსტრუმენტები თქვენს ჯაჭვში ისევე უნდა განახლდეს, როგორც ნებისმიერი სხვა პროგრამა. მოგიყვებით, როგორ ვკითხულობ ამ სიახლეებს.

რა გამოვიდა

Latent Space-მა 21 ოქტომბერს DeepInfer-ის რელიზი გაარჩია. ეს DeepSeek-ის სერვერული სტეკია, რომელზეც მოდელი V4.1 Flash მუშაობს. ციფრები DeepSeek-ის ანგარიშიდან: დღეში 155 ტრლნ ტოკენი ერთი კლასტერიდან, შემავალ ქეშში მოხვედრის 96 %, გენერაციისას წამში 230 ტოკენი, პრომპტების ქეში 72 საათამდე ცოცხლობს, OpenAI-თან კი 12 საათი. შემავალი და გამომავალი ტოკენების მილიონზე $0,15 და $0,60 ფასებით ავტორებმა ერთ GPU-ბარათზე საათში $38 შემოსავალი დაითვალეს, 80 %-ზე მეტი მარჟა ბარათზე საათში $5–8 თვითღირებულებისას და ანაზღაურება 81 დღეში. ორი დათქმა იქვე: ეს თავად DeepSeek-ის განცხადებებია დამოუკიდებელი აუდიტის გარეშე, KV-ქეშის მართვა და დატვირთვის დაბალანსება კი ღია კოდში არ შევიდა. vLLM-ის გუნდმა უპასუხა, რომ GB200-ზე შესადარებელ კონფიგურაციაში დეკოდირებით სულ 6 %-ით ჩამორჩება.

CNews 20 ოქტომბერს ექსპერტებზე დაყრდნობით წერს, რომ აშშ-ში AI-ინფრასტრუქტურის $10 ტრლნ-იანმა ბუმმა „ბზარი გაიჩინა“: დატა-ცენტრების მშენებლობის დაგვიანება, სესხების გაძვირება, ადგილობრივი მცხოვრებლების უკმაყოფილება, 47 გაუქმებული პროექტი და ინვესტორების ეჭვები ანაზღაურებაში.

გამოთვლების ბაზრის მოწყობაზე Latent Space-ზე ორი საუბარი იყო. 22 ოქტომბერს Erik Bernhardsson-მა, Modal-ის CEO-მ, ახსნა, რატომ ჰგავს GPU-ზე კონტრაქტი მართკუთხედს, ბარათების ფიქსირებული რაოდენობა ფიქსირებული ვადით, მაშინ როცა რეალური დატვირთვა დღის განმავლობაში ხან იზრდება, ხან ეცემა. Modal ათასობით კლიენტის მოთხოვნას ერთ პულში აგროვებს: კომპანიამ წლიურ შემოსავალში $1 მლრდ გადააჭარბა და $750 მლნ მოიზიდა $16 მლრდ შეფასებით. ამასთან Erik რისკზე საუბრობს: თუ GPU გაიაფდება, ვინც სიმძლავრეები დღევანდელ ფასებში დააფიქსირა, ძვირი მარაგით დარჩება. 20 ოქტომბერს Evan Conrad-მა SF Compute-იდან ისაუბრა გამოთვლების ბირჟაზე ფიზიკური მიწოდებით: მყიდველი მუშა ბარათებს იღებს, ფასში კი შედის, შეიძლება თუ არა ამოცანის შეწყვეტა და როგორი ქსელი სჭირდება მას.

და „შავი ოქტომბერი“ Latent Space-ის 23 ოქტომბრის დაიჯესტში: 48 საათში გამოვიდა RCE PHP-ში, ხვრელი GitLab-ში CVSS 10 შეფასებით, რომელიც 2014 წლიდან არსებობდა და 19.5.1-ში დაიხურა, და Node.js-ში Brotli-ს დეკოდერის RCE-ის გასწორება. LiteLLM 1.107.0-ში პაროლების სტილერი აღმოჩნდა, Railway-მ კლიენტებს საიდუმლოების შეცვლა სთხოვა, Zeabur კი 321 810 ანგარიშის გაჟონვის შემდეგ იხურება. აქ LiteLLM ყველაზე მნიშვნელოვანია: ეს პროქსია, რომლითაც კომპანიები მოდელებთან მიდიან, ანუ ზუსტად ის შუალედური ფენა, სადაც თქვენი გასაღებები დევს.

რას ნიშნავს ეს ბიზნესისთვის

ავიღოთ საწარმოო კომპანია, რომელიც შემოსულ სპეციფიკაციებს მოდელში ატარებს. DeepSeek-ის ფასით დღეში ექვსი მილიონი შემავალი ტოკენი დოლარზე ნაკლები ღირს. მაგრამ თუ პროქსი, რომლითაც მოთხოვნები გადის, ნახევარი წელი არ განუახლებიათ და მასში სტილერია, ერთი ინციდენტი მოდელის წლიურ ბიუჯეტს გადაფარავს. ტოკენები იაფდება, ფლობის ღირებულება კი სხვა რამისგან შედგება: ვინ აახლებს ბიბლიოთეკებს, სად დევს გასაღებები, რა ღირს შედეგის შემოწმება ადამიანის მიერ და რა მოხდება, თუ მოდელის მომწოდებელი ფასს გაზრდის ან დაიხურება.

მეორე დასკვნა, დატა-ცენტრებისა და მართკუთხა კონტრაქტების სიახლეებიდან: ნუ დააფიქსირებთ სიმძლავრეებს, რომლებიც მთელი დღე-ღამე არ გჭირდებათ. ფერმა სეზონურ მკრეფავებს შტატში მთელი წელი არ ინახავს.

როგორ ვითვლი ხარჯებს ჩემთან

აშშ-ის PDR-კომპანიაში პარსერები სადაზღვევო ხარჯთაღრიცხვებს, აქტებსა და VIN-იან ფოტოებს კითხულობენ. საფუძველი Python-ზეა დაწერილი: OpenCV სურათს ამზადებს, Tesseract ტექსტს ცნობს, Camelot PDF-იდან ცხრილებს იღებს, Pandas მონაცემებს ასუფთავებს. მოდელები მხოლოდ ბოლოს ერთვება: AI-ვალიდატორები უკვე ამოღებულ მონაცემებს ამოწმებენ, და სამ სერვისს ვიყენებ, Anthropic-ს, OpenAI-სა და Gemini-ს, თითოეულს თავისი ამოცანისთვის. ვიხდით დოკუმენტის შემოწმებაში. 2026 წელს ეს ვალიდატორები ჩავრთე და სარელიზო ვერსია გამოვუშვი: დოკუმენტების დაახლოებით 99,9 % ხელით შესწორების გარეშე გადის. პარსერები კვირაში დაახლოებით 60 საათის ხელით სამუშაოს ათავისუფლებენ.

სხვა მაგალითი. 2023 წლის ბოლოს და 2024 წლის დასაწყისში ლონდონის საკონსულტაციო კომპანიისთვის სუბტიტრების სისტემა გავაკეთე: ვიდეო Google Drive-ის საქაღალდიდან ან YouTube-ის ბმული, გამოსავალზე კი SRT ფაილი დროის ნიშნულებით. მეტყველებას ლოკალური მოდელი Whisper ცნობდა, ამიტომ ჩანაწერის ყოველ წუთზე გადახდა არ იყო საჭირო. სერვერი ფული ღირდა, მაგრამ მოცულობისთვის ცალკე საფასური არ იყო. სუბტიტრების ვიდეოზე დადება გეგმებში იყო, მაგრამ დამკვეთმა პროექტი შეაჩერა. აქ მიღებული შედეგის, მზა სუბტიტრების ფაილის, ფასი ტოკენის ფასზე მნიშვნელოვანია.

რას გავაკეთებდი

დაითვალეთ ერთი მიღებული შედეგის ღირებულება: დოკუმენტის, რომელმაც შემოწმება გაიარა, ან პასუხის, რომელიც კლიენტმა მიიღო. მასში შედის ტოკენები, თანამშრომლის დრო შემოწმებაზე და სერვერის ხარჯების წილი. ამ ჯამში ტოკენები ჩემთან მთავარი არ არის.

პროექტში AI-ბიბლიოთეკებისა და პროქსიების სია ვერსიებით შეინახეთ და განრიგით განაახლეთ. „შავი ოქტომბრის“ შემდეგ შეამოწმეთ LiteLLM, pip, certifi და სისტემური სერტიფიკატები, შეცვალეთ გასაღებები, თუ ისინი Railway-ზე გადიოდა.

ნუ მიებმებით მოდელის ერთ მომწოდებელს. პარსერებში ვალიდატორები სამ სერვისზე მაქვს, თითოეული თავისი ამოცანისთვის, და ეს მანევრის თავისუფლებას ტოვებს.

ამოცანებისთვის, რომლებიც სტაბილურად და დიდი მოცულობით მოდის, დაითვალეთ ლოკალური მოდელის ვარიანტი საკუთარ სერვერზე, როგორც სუბტიტრების პროექტში. იშვიათი და პიკური ამოცანებისთვის აიღეთ API და გადაიხადეთ ფაქტობრივი მოხმარებით.

სად ეხმარება AI დოკუმენტების გარჩევაში და როგორ შევამოწმოთ შედეგი: AI მონაცემების დამუშავებაში და განყოფილება AI პროცესში, სადაც შედეგი შემოწმებადია. ქეისები: დოკუმენტებისა და ფოტოების პარსერები PDR-კომპანიისთვის და სუბტიტრები ლოკალურ Whisper-ზე. იმავე თემაზე: როგორ ვირჩევ საკუთარ მოდელსა და API-ს შორის და როგორ ვკითხულობ ციფრებს ვენდორების ქეისებიდან; ადრე ვწერდი, რომ ტოკენებთან ერთად მიღებული ამოცანებიც უნდა დაითვალოს. თუ გინდათ გაიგოთ, რეალურად რა უჯდება AI თქვენს პროცესს, აღწერეთ ამოცანა: ამოცანის განხილვა.