70 sayfalık taramalar ve aracın dört bir yandan fotoğrafı: disk, nesne depolama ya da Drive

Cloudflare büyük dosyalara yapılan kısmi isteklerin önbelleğe alınmasını yeniden yaptı, Fly.io nesne depolama üzerine kurduğu kendi dosya sisteminin nasıl veri kaybettiğini anlattı, EchoFile adlı startup ise Google Drive, Dropbox ve SharePoint arasında dosya taşıma pilotunu başlatıyor. İşletme sahibi için bütün bunların arkasında tek soru var: şirkette her gün çoğalan taramalar, fotoğraflar ve PDF'ler nerede durmalı ve onlardan kim sorumlu.

Neler yayımlandı

Cloudflare 23 Ekim'de Origin Range Requests'i bütün tarifelerde açtı. Range isteği, oynatıcının ya da indirme yöneticisinin dosyanın bir parçasını, şu bayttan şu bayta kadar, istemesi ve sunucunun 206 Partial Content ile cevap vermesidir. Eskiden Cloudflare dosyayı bölge ayarlarında belirlenen sabit boyutlu aralıklara bölüyordu ve birkaç megabaytlık bir istek, origin'den 128 MiB çekmesine yol açabiliyordu. Önbellek Pingora'ya taşındıktan sonra aralıklar, önbelleğin dosyaları diskte zaten sakladığı chunk'larla örtüştü ve ayarlanacak bir şey kalmadı. Kendi R2 depolamaları için ilk bayta kadar geçen sürenin p99'u yaklaşık yarıya indi, önbellek katmanları arasındaki trafik yaklaşık %6 azaldı. Tek bir Cache Rule ile açılıyor.

Fly.io 22 Ekim'de Sprites için dosya sisteminin değiştirilmesini anlattı. Disk kökü hâlâ nesne depolama; makine uyuyup başka bir sunucuda uyanabilsin diye. Ama nesne depolama bir nesnenin bir kısmını değiştiremiyor, Linux programları ise dosyanın ortasındaki baytları sürekli yeniden yazıyor. Başlangıçta bunu, metadata'sı SQLite'ta duran ve içinde ext4 olan 100 GB'lık disk imajıyla çalışan değiştirilmiş bir JuiceFS yapıyordu. Writeback modunda önce metadata yazılıyor, sonra chunk yükleniyordu; makine bu iki adım arasında öldürülürse metadata olmayan bir chunk'ı gösteriyor, ext4 salt okunur moda düşüyor ve checkpoint'ler de kurtarmıyordu, çünkü aynı chunk'ları paylaşıyorlardı. 400 makineyi yaklaşık 5000 yazma ve kurtarma döngüsünden geçirdiler; bir kısmı checkpoint alma yeteneğini kalıcı olarak kaybetti ve sistem Sprites Block Device ile değiştirildi.

CustomerThink 18 Ekim'de EchoFile pilotunu yazdı: dosyaları Google Drive, Dropbox ve Microsoft SharePoint arasında indirmeden, yeniden paketlemeden ve yeniden yüklemeden taşıyan bir konektör. Kurucu Lauren Spivey Smith buna iki sistem arasındaki boru diyor; pilot katılımcıları toplanıyor.

İşletme için ne anlama geliyor

Araç kiralamayı ele alalım. Her teslim ve iadede araç her yönden fotoğraflanıyor, telefondan sekiz-on kare. Haftada yirmi teslim; yılda binlerce fotoğraf birikiyor. Veritabanına koyarsanız veritabanı şişer ve kopyalar ağırlaşır. Sunucu diskine koyarsanız disk en olmadık anda biter. Ortak Google Drive'a koyarsanız bir yıl sonra belirli bir teslimin fotoğrafını kimse bulamaz.

Sonuç: dosyanın önceden yazılmış üç özelliği olmalı. Nerede duruyor, kimin erişimi var ve ne zaman silinebilir. Veritabanı bağlantıyı ve bu üç cevabı tutar; baytların kendisi ise daha ucuz ve daha güvenilir olduğu yerde yaşar: sonradan kimin kullanacağına göre nesne depolamada, diskte ya da Drive'da. Fly.io'nun hikâyesi de bunu anlatıyor: metadata ve baytlar ayrı duruyorsa tutarlılıklarından siz sorumlusunuz.

Bende nasıl çalışıyor

2021'den beri çalıştığım ABD'deki PDR şirketinde gelen sigorta belgeleri 60-70 sayfaya kadar çıkıyor; PDF, tarama ya da telefon fotoğrafı olarak geliyor. Onları Python'daki parser'larım okuyor, fotoğraf parser'ları VIN'i tanıyor. Şu an belgelerin yaklaşık %99,9'u elle düzeltme olmadan geçiyor ve bu, haftada yaklaşık 60 saatlik işi serbest bırakıyor. Ters yöndeki PDF'leri, tutanakları, teklifleri ve faturaları Puppeteer ile üretiyorum.

Eylül ve Ekim 2026'da yaptığım “Birlikte Kahve” adlı şirket içi serviste çalışanlar ödeme ekran görüntülerini ekliyor. Bunlar Yandex Object Storage'daki özel bir bucket'ta duruyor ve yalnızca Node.js üzerindeki gateway'den açılıyor, doğrudan alınamıyor. Sunucu ortak ve 2 GB belleği var, konteynerlerin sıkı limitleri var ve dosyalar dışarıda yaşıyor.

Londra'daki bir danışmanlık şirketi için 2023-2024'te Quote Finder yaptım: Puppeteer ve headless Chrome makaleyi açıyor, alıntıyı vurguluyor, ekran görüntüsü ve video alıyordu. Hazır dosyalar Google Drive'a gidiyordu, çünkü onlarla sonra insanlar çalışıyordu. Aynı şirketin altyazı sistemi videoları Google Drive klasöründen alıyor, geçici dosyaları yükledikten sonra siliyordu.

Cape Town'daki araç kiralamada aracın her yönden fotoğrafı kontrol sırasında yükleniyor ve rezervasyonda görünüyor; ödeme ise ekran görüntüsünden kontrol ediliyor. Bu görüntü üzerinden bir kontrol; bankayla hiçbir şey karşılaştırılmıyor ve bunu açıkça söylüyorum.

Origin Range Requests'i ve Fly.io'nun blok cihazını kendim denemedim. Ama “veritabanı bağlantıyı tutar, baytlar ayrı durur” ilkesi bütün bu projelerimde var.

Ben ne yapardım

Haftada kaç dosya oluştuğunu ve ne kadar yer tuttuğunu hesaplayın. Bu rakam olmadan depolama konuşmasının anlamı yok.

Dosyaları kimin kullandığına göre ayırın. Programlar nesne depolamadan ya da diskten, veritabanındaki bağlantıyla okur. İnsanlar Drive ya da SharePoint'te çalışır; dosya oraya kopya ya da bağlantı olarak gider.

Ömrünü yazın. Ödeme ekran görüntüsü bir yıl sonra silinebilir, imzalı tutanak yasanın istediği kadar saklanır, geçici işleme dosyası hemen silinir.

Doğrudan erişimi kapatın. Özel depolamadaki dosyalar yalnızca kimin izni olduğunu kontrol eden sizin sunucunuz üzerinden verilir.

Veritabanı kopyasıyla dosya kopyasının birlikte alındığından emin olun; yoksa geri yüklemeden sonra bağlantılar boşluğu gösterir.

Tanıma sonucunu nasıl kontrol ettiğimi ve kararı ne zaman insana bıraktığımı Veri işlemede yapay zeka: çıkarma ve doğrulama yazısında anlattım. Hizmet alanları: Python ile belge ve veri işleme ve yayınlanabilen ve geri yüklenebilen altyapı. Projeler: belge ve VIN fotoğrafı parser'ları, Güney Afrika'da araç kontrollü kiralama ve Quote Finder. Aynı konuda: hiç geri yüklenmemiş yedek ve 2026'da belgelerden veri çıkarma. Daha önce tablo ve diyagramlı PDF'lerde arama hakkında yazmıştım. Taramalar ve fotoğraflar kuralsız birikiyorsa nereden geldiklerini ve sonra kimin baktığını anlatın: Görevi konuşalım.