DeepInfer günde 155 trilyon token, “Black October”, iptal edilen 47 veri merkezi: AI bütçesi

Ekimin bir haftasında, tek tek bakınca “büyük şirketlerin konusu” gibi görünen, ama birlikte küçük işletmenin yapay zeka giderlerini hesaplama biçimini değiştiren birkaç haber çıktı. DeepSeek kendi sunucu yığınını açtı ve token'ların kuruşlara mal olabileceğini gösterdi. CNews ABD'de 47 veri merkezinin inşaatının iptal edildiğini yazıyor. “Black October” ise zincirinizdeki yapay zeka araçlarının da diğer her yazılım gibi güncellenmesi gerektiğini hatırlattı. Bu haberleri nasıl okuduğumu anlatayım.

Neler yayımlandı

Latent Space 21 Ekim'de DeepSeek'in V4.1 Flash modelini çalıştıran sunucu yığını DeepInfer'in yayımlanmasını inceledi. DeepSeek raporundaki rakamlar: tek kümeden günde 155 trilyon token, girdi önbelleğinde %96 isabet, üretimde saniyede 230 token, prompt önbelleği OpenAI'daki 12 saate karşı 72 saate kadar yaşıyor. Milyon girdi ve çıktı token'ı için 0,15 ve 0,60 dolarlık fiyatlarla yazarlar kart başına saatte 38 dolar gelir hesapladı. Kart başına saatte 5-8 dolar maliyetle bu, %80'den fazla marj ve 81 günde geri dönüş demek. Aynı yazıdan iki çekince: bunlar bağımsız denetimden geçmemiş, DeepSeek'in kendi beyanları, KV önbellek yönetimi ve yük dengeleme de açık koda girmedi. vLLM ekibi, GB200'de benzer yapılandırmada decode aşamasında yalnızca %6 geride kaldığını yanıtladı.

CNews 20 Ekim'de uzmanlara dayanarak ABD'deki 10 trilyon dolarlık yapay zeka altyapısı patlamasının “çatladığını” yazıyor: veri merkezi inşaatlarında gecikmeler, borçlanma maliyetinin artması, yerel halkın memnuniyetsizliği, iptal edilen 47 proje ve yatırımcıların geri dönüşe dair şüpheleri.

Hesaplama pazarının işleyişi üzerine Latent Space'te iki sohbet var. 22 Ekim'de Modal'ın CEO'su Erik Bernhardsson, GPU sözleşmesinin neden bir dikdörtgene benzediğini anlattı: sabit süre için sabit sayıda kart, gerçek yük ise gün içinde inip çıkıyor. Modal binlerce müşterinin talebini tek bir havuzda topluyor. Şirket yıllık 1 milyar dolar geliri geçti ve 16 milyar dolar değerlemeyle 750 milyon dolar topladı. Erik bir riskten de söz ediyor: GPU'lar ucuzlarsa, kapasiteyi bugünkü fiyatlarla sabitleyen pahalı bir stokla kalır. 20 Ekim'de SF Compute'tan Evan Conrad fiziksel teslimatlı bir hesaplama borsasını anlattı: alıcı çalışır durumda kartlar alıyor, fiyata da görevin kesintiye uğratılıp uğratılamayacağı ve hangi ağa ihtiyaç duyduğu dahil.

Son olarak Latent Space'in 23 Ekim tarihli özetinde “Black October”: 48 saat içinde PHP'de bir RCE, CVSS puanı 10 olan, 2014'ten beri yaşayan ve 19.5.1'de kapatılan bir GitLab açığı, Node.js'te de Brotli çözücüsündeki RCE'nin düzeltmesi çıktı. LiteLLM 1.107.0'da parola çalan bir zararlı yazılım (stealer) bulundu, Railway müşterilerinden gizli anahtarlarını değiştirmelerini istedi, Zeabur 321.810 hesabın sızmasından sonra kapanıyor. Burada en önemlisi LiteLLM: şirketlerin modellere eriştiği proxy, yani anahtarlarınızın durduğu katmanın ta kendisi.

İşletme için ne anlama geliyor

Gelen spesifikasyonları bir modelden geçiren bir üretim şirketini ele alalım. DeepSeek fiyatıyla günde altı milyon girdi token'ı bir dolardan az tutuyor. Ama isteklerin geçtiği proxy altı aydır güncellenmediyse ve içinde stealer varsa, tek bir olay modelin yıllık bütçesini aşar. Token'lar ucuzluyor, sahip olma maliyeti ise başka şeylerden oluşuyor: kütüphaneleri kim güncelliyor, anahtarlar nerede duruyor, sonucun bir insan tarafından kontrolü kaça mal oluyor ve model sağlayıcısı fiyatı yükseltir ya da kapanırsa ne olacak.

İkinci sonuç, veri merkezleri ve dikdörtgen sözleşmeler haberlerinden: günün her saati gerekmeyen kapasiteyi sabitlemeyin. Bir çiftlik de mevsimlik toplayıcıları yıl boyu kadroda tutmaz.

Kendi giderlerimi nasıl hesaplıyorum

ABD'deki PDR şirketinde parser'lar sigorta keşiflerini, tutanakları ve VIN'li fotoğrafları okuyor. Temeli Python'da: OpenCV görüntüyü hazırlıyor, Tesseract metni tanıyor, Camelot PDF'lerden tabloları çıkarıyor, Pandas verileri temizliyor. Modeller yalnızca en sonda devreye giriyor. Yapay zeka doğrulayıcıları zaten çıkarılmış verileri kontrol ediyor ve üç servis kullanıyorum, Anthropic, OpenAI ve Gemini, her biri kendi görevi için. Belgenin kontrolü için ödüyoruz. 2026'da bu doğrulayıcıları bağladım ve üretim sürümünü çıkardım: belgelerin yaklaşık %99,9'u elle düzeltme olmadan geçiyor. Parser'lar haftada yaklaşık 60 saatlik elle işi ortadan kaldırıyor.

Başka bir örnek. 2023 sonu ve 2024 başında Londra'daki bir danışmanlık şirketi için bir altyazı sistemi yaptım: girişte Google Drive klasöründen bir video ya da YouTube bağlantısı, çıkışta zaman damgalı bir SRT dosyası. Konuşmayı yerel Whisper modeli tanıyordu, bu yüzden kaydın her dakikası için ödeme gerekmiyordu. Sunucu para tutuyordu, ama hacim için ayrı bir ücret yoktu. Altyazıların videoya gömülmesi planlardaydı, ama müşteri projeyi durdurdu. Burada kabul edilen sonucun, yani hazır altyazı dosyasının fiyatı, token fiyatından daha önemli.

Ben ne yapardım

Kabul edilen tek bir sonucun maliyetini hesaplayın: kontrolden geçen bir belge ya da müşterinin kabul ettiği bir cevap. İçinde token'lar, çalışanın kontrole harcadığı süre ve sunucu giderlerinden bir pay var. Bu toplamda token'lar bende ana kalem değil.

Projedeki yapay zeka kütüphanelerinin ve proxy'lerin sürümleriyle birlikte bir listesini tutun ve onları bir takvime göre güncelleyin. “Black October” sonrasında LiteLLM, pip, certifi ve sistem sertifikalarını kontrol edin, anahtarlar Railway'den geçtiyse değiştirin.

Tek bir model sağlayıcısına bağlanmayın. Parser'lardaki doğrulayıcılarım üç serviste, her biri kendi görevi için, bu da hareket alanı bırakıyor.

Düzenli ve büyük hacimle giden işler için, altyazı projesinde olduğu gibi kendi sunucunuzda yerel model seçeneğini hesaplayın. Seyrek ve ani yüklenen işler için API kullanın ve kullandığınız kadar ödeyin.

Yapay zekanın belgeleri ayrıştırmada nerede yardım ettiği ve sonucun nasıl kontrol edileceği: Veri işlemede yapay zeka ve sonucun kontrol edildiği süreçte yapay zeka bölümü. Projeler: PDR şirketi için belge ve fotoğraf parser'ları ve yerel Whisper ile altyazı. Aynı konuda: kendi modelim ile API arasında nasıl seçim yapıyorum ve tedarikçi vakalarındaki rakamları nasıl okuyorum; daha önce maliyeti kabul edilen görev başına saymak gerektiğini yazmıştım. Yapay zekanın sürecinizde gerçekte kaça mal olduğunu anlamak istiyorsanız, görevi anlatın: Görevi konuşalım.