70-გვერდიანი სკანები და მანქანის ფოტო ყველა მხრიდან: დისკი, ობიექტური საცავი თუ Drive

Cloudflare-მა დიდი ფაილების ნაწილობრივი მოთხოვნების ქეშირება გადააკეთა, Fly.io-მ მოყვა, როგორ კარგავდა მონაცემებს მისი თვითნაკეთი ფაილური სისტემა ობიექტური საცავის თავზე, ხოლო სტარტაპი EchoFile Google Drive-ს, Dropbox-სა და SharePoint-ს შორის ფაილების გადატანის პილოტს უშვებს. ბიზნესის მფლობელისთვის ამ ყველაფრის უკან ერთი კითხვაა: სად უნდა იდოს სკანები, ფოტოები და PDF-ები, რომლებიც კომპანიას ყოველდღე ემატება, და ვინ აგებს მათზე პასუხს.

რა გამოვიდა

Cloudflare-მა 23 ოქტომბერს ყველა ტარიფზე Origin Range Requests გახსნა. Range-მოთხოვნა ის არის, როცა პლეერი ან ჩამოტვირთვის მენეჯერი ფაილის ნაწილს ითხოვს, ბაიტებს ამდენიდან ამდენამდე, და სერვერი 206 Partial Content-ით პასუხობს. ადრე Cloudflare ფაილს ზონის პარამეტრებში მითითებული ფიქსირებული ზომის დიაპაზონებად ჭრიდა, და რამდენიმე მეგაბაიტზე მოთხოვნას შეეძლო origin-იდან 128 MiB გამოეთრია. ქეშის Pingora-ზე გადასვლის შემდეგ დიაპაზონები იმ chunk-ებს დაემთხვა, რომლებითაც ქეში ფაილებს დისკზე ისედაც ინახავს, და დასაყენებელი აღარაფერი დარჩა. მათი R2 საცავისთვის პირველ ბაიტამდე დროის p99 დაახლოებით ორჯერ დაეცა, ტრაფიკი ქეშის დონეებს შორის დაახლოებით 6%-ით შემცირდა. ერთი Cache Rule-ით ირთვება.

Fly.io-მ 22 ოქტომბერს თავისი Sprites-ისთვის ფაილური სისტემის შეცვლა აღწერა. დისკის root მათთან ისევ ობიექტურ საცავშია, რომ მანქანას დაძინება და სხვა სერვერზე გაღვიძება შეეძლოს. მაგრამ ობიექტურ საცავს ობიექტის ნაწილის შეცვლა არ შეუძლია, ხოლო Linux-პროგრამები ფაილის შუაში ბაიტებს მუდმივად გადაწერენ. თავიდან ამას გადაკეთებული JuiceFS აკეთებდა, მეტამონაცემებით SQLite-ში და 100 GB დისკის image-ით, რომელშიც ext4 იყო. writeback-რეჟიმში ის ჯერ მეტამონაცემებს წერდა, მერე chunk-ს ტვირთავდა; თუ მანქანას ამ ნაბიჯებს შორის კლავდნენ, მეტამონაცემები chunk-ზე მიუთითებდა, რომელიც არ არსებობს, ext4 read-only-ში გადადიოდა, ხოლო checkpoint-ები არ შველოდა, რადგან იმავე chunk-ებს იყოფდნენ. მათ 400 მანქანა ჩაწერისა და აღდგენის დაახლოებით 5000 ციკლში გაატარეს, ნაწილმა checkpoint-ების გაკეთების შესაძლებლობა სამუდამოდ დაკარგა, და სისტემა Sprites Block Device-ით შეცვალეს.

CustomerThink-მა 18 ოქტომბერს EchoFile-ის პილოტზე დაწერა: კონექტორი, რომელსაც ფაილები Google Drive-ს, Dropbox-სა და Microsoft SharePoint-ს შორის გადააქვს ისე, რომ ჩამოტვირთვას, გადაპაკებასა და თავიდან ატვირთვას არ გაიძულებთ. დამფუძნებელი Lauren Spivey Smith მას ორ სისტემას შორის მილს უწოდებს; პილოტის მონაწილეებს კრებენ.

რატომ სჭირდება ეს ბიზნესს

ავიღოთ ავტომობილების გაქირავება. ყოველი გაცემისა და მიღებისას მანქანას ყველა მხრიდან უღებენ ფოტოს, რვა-ათი კადრი ტელეფონით. კვირაში ოცი გაცემა, და წელიწადში ათასობით ფოტო გროვდება. თუ მონაცემთა ბაზაში დებთ, ბაზა იბერება და ასლები მძიმდება. თუ სერვერის დისკზე, დისკი ყველაზე უხერხულ მომენტში მთავრდება. თუ საერთო Google Drive-ში, ერთ წელიწადში კონკრეტული გაცემის ფოტოს ვეღარავინ იპოვის.

დასკვნა: ფაილს სამი თვისება უნდა ჰქონდეს, წინასწარ ჩაწერილი. სად დევს, ვის აქვს მასზე წვდომა და როდის შეიძლება მისი წაშლა. ბაზა ბმულსა და ამ სამ პასუხს ინახავს, ხოლო თავად ბაიტები იქ ცხოვრობს, სადაც უფრო იაფი და საიმედოა: ობიექტურ საცავში, დისკზე ან Drive-ში, იმის მიხედვით, ვინ გამოიყენებს მერე. Fly.io-ს ისტორია იმავეზეა: როცა მეტამონაცემები და ბაიტები ცალ-ცალკე დევს, მათ თანხვედრაზე თქვენ აგებთ პასუხს.

როგორ მაქვს ეს მოწყობილი

აშშ-ში PDR-კომპანიაში, სადაც 2021 წლიდან ვმუშაობ, შემომავალი სადაზღვევო დოკუმენტები 60-70 გვერდამდეა და PDF-ად, სკანად ან ტელეფონის ფოტოდ მოდის. მათ ჩემი პარსერები Python-ზე კითხულობს, ფოტო-პარსერები VIN-ს ცნობს. ახლა დოკუმენტების დაახლოებით 99,9% ხელით შესწორების გარეშე გადის, და ეს კვირაში დაახლოებით 60 საათ სამუშაოს ათავისუფლებს. PDF-ებს უკუმიმართულებით, აქტებს, ხარჯთაღრიცხვებსა და ინვოისებს, Puppeteer-ზე ვაგენერირებ.

შიდა სერვისში „ყავა ერთად“, რომელიც 2026 წლის სექტემბერსა და ოქტომბერში გავაკეთე, თანამშრომლები გადახდების სკრინშოტებს ამაგრებენ. ისინი Yandex Object Storage-ის პრივატულ bucket-ში დევს და მხოლოდ Node.js-ზე აწყობილი gateway-ით იხსნება, პირდაპირ მათი მიღება შეუძლებელია. სერვერი საერთოა, 2 GB მეხსიერებით, კონტეინერებს მკაცრი ლიმიტები აქვს, და ფაილები გარეთ ცხოვრობს.

ლონდონის საკონსულტაციო კომპანიისთვის 2023-2024 წლებში Quote Finder-ს ვაკეთებდი: Puppeteer და headless Chrome სტატიას ხსნიდა, ციტატას ანათებდა და სკრინშოტსა და ვიდეოს იღებდა. მზა ფაილები Google Drive-ში მიდიოდა, რადგან მათთან შემდეგ ადამიანები მუშაობდნენ. იმავე კომპანიის სუბტიტრების სისტემა ვიდეოს Google Drive-ის საქაღალდიდან იღებდა, ხოლო დროებით ფაილებს ატვირთვის შემდეგ შლიდა.

კეიპტაუნის გაქირავებაში მანქანის ფოტო ყველა მხრიდან დათვალიერებისას იტვირთება და ჯავშანში ჩანს, ხოლო გადახდა სკრინშოტით მოწმდება. ეს შემოწმება გამოსახულებით არის; ბანკთან შედარება არ ხდება, და ამას პირდაპირ ვამბობ.

Origin Range Requests და Fly.io-ს ბლოკური მოწყობილობა ჩემთან არ შემიმოწმებია. მაგრამ პრინციპი „ბაზა ბმულს ინახავს, ბაიტები ცალკე დევს“ ყველა ამ პროექტში მაქვს.

რას გავაკეთებდი

დათვალეთ, კვირაში რამდენი ფაილი ჩნდება და რამდენს იწონის. ამ ციფრის გარეშე საცავზე საუბარს აზრი არ აქვს.

გაყავით ფაილები იმის მიხედვით, ვინ იყენებს. პროგრამები ობიექტური საცავიდან ან დისკიდან ბაზის ბმულით კითხულობენ. ადამიანები Drive-ში ან SharePoint-ში მუშაობენ, და იქ ფაილი ასლით ან ბმულით ხვდება.

ჩაწერეთ სიცოცხლის ვადა. გადახდის სკრინშოტის წაშლა ერთ წელიწადში შეიძლება, ხელმოწერიანი აქტი იმდენ ხანს ინახება, რამდენსაც კანონი ითხოვს, დამუშავების დროებითი ფაილი მაშინვე იშლება.

დახურეთ პირდაპირი წვდომა. პრივატული საცავიდან ფაილები მხოლოდ თქვენი სერვერით გაიცემა, რომელიც ამოწმებს, ვის შეიძლება.

შეამოწმეთ, რომ ბაზის ასლი და ფაილების ასლი ერთად კეთდება, თორემ აღდგენის შემდეგ ბმულები სიცარიელეში მიუთითებს.

როგორ ვამოწმებ ამოცნობის შედეგს და როდის გადავცემ გადაწყვეტილებას ადამიანს, სტატიაში AI მონაცემების დამუშავებაში: ამოღება და შემოწმება დავწერე. მიმართულებები: დოკუმენტებისა და მონაცემების დამუშავება Python-ზე და ინფრასტრუქტურა, რომლის გამოშვება და აღდგენა შეიძლება. ქეისები: დოკუმენტებისა და VIN-იანი ფოტოების პარსერები, გაქირავება სამხრეთ აფრიკაში მანქანების დათვალიერებით და Quote Finder. იმავე თემაზე: ბექაპი, რომელიც არავის აღუდგენია და მონაცემების ამოღება დოკუმენტებიდან 2026 წელს. ადრე ვწერდი PDF-ში ცხრილებითა და დიაგრამებით ძიებაზე. თუ სკანები და ფოტოები წესების გარეშე გიგროვდებათ, მოყევით, საიდან მოდის და ვინ უყურებს მერე: ამოცანის განხილვა.