საერთო GPU რესურსი: დაშვების კვოტა და მოთხოვნის პრიორიტეტი

საერთო GPU რესურსი მეზობელი დატვირთვის თავისუფალ სიმძლავრეს იყენებს, თუ სისტემა დავალების დაშვებას, გამოთვლის განთავსებასა და მოთხოვნათა რიგს არჩევს. სხვაგვარად ინტერაქტიული პროდუქტი ღამის დამუშავებას ერთ რიგში ეჯიბრება, გუნდი კი დაგეგმვის პრობლემის მოსაგვარებლად დამატებით მოწყობილობას ყიდულობს.

Red Hat-ის 20 ოქტომბრის პუბლიკაცია AI 3.5-ში llm-d-ით პრიორიტეტულ მომსახურებას აღწერს. Kubernetes-ის 14 ოქტომბრის მასალა Kueue-ის დაშვებას Headlamp-ით იკვლევს; დამატებული ხედები მხოლოდ წასაკითხია, პлагინი alpha ეტაპზეა. Ai2-ის 9 ოქტომბრის აღწერა GPU დროის ბიუჯეტსა და იერარქიულ სამართლიან განაწილებას ეხება. NVIDIA-ს 15 ოქტომბრის მასალა GB300-ზე Muse Spark Open-ის განთავსებასა და prefill/decode-ის გაყოფას განიხილავს. ეს სხვადასხვა ფენაა და არა დადასტურებული ერთიანი სტეკი.

ლოდინს სამი განსხვავებული მიზეზი აქვს

დავალება შეიძლება კვოტის დაშვებას ჯერ კიდევ Pod-ის შექმნამდე ელოდეს. დაშვებული სამუშაო შესაბამის კვანძს ელოდება. უკვე გაშვებული მოდელის სერვისი კი მეზობელი მომხმარებლების დატვირთვის გამო კონკრეტულ მოთხოვნას აყოვნებს. კვანძის დამატება ყველა შემთხვევაში სწორი გამოსავალი არ არის.

წყაროები დეფიციტს სხვადასხვა დონეზე აჩენს. Kueue დაშვების საზღვარს გვიჩვენებს. Ai2 დროის განაწილებას ეკონომიკურ მნიშვნელობას აძლევს. მომსახურების ფენა არსებულ წარმადობას მომხმარებლებს შორის ანაწილებს. აპარატურა და გამოთვლის არქიტექტურა კი გამოსაყენებელ წარმადობას განსაზღვრავს.

შეთანხმებული ფენები ღამის დავალებებს თავისუფალ რესურსზე უშვებს და დღის ინტერფეისს პრიორიტეტს აძლევს. თითოეული ტიპისთვის ცალკე სრული პიკური მარაგი შესაძლოა აღარ იყოს საჭირო. თუმცა ხანგრძლივმა ინტერაქტიულმა მოთხოვნამ თავისუფალი ღამის ფანჯარა შეიძლება გააქროს. პაკეტური სამუშაოს ვადა ამ შეზღუდვას უნდა ითვალისწინებდეს.

ეს პროდუქტის შესაძლებლობაცაა: ერთ ინფრასტრუქტურაზე მომსახურების სხვადასხვა კლასი შეიძლება განისაზღვროს. ფასი ან შიდა განაწილება კონკრეტულ დაპირებას უნდა შეესაბამებოდეს. საზომი მომხმარებლის გამოცდილებას უნდა ეხებოდეს; GPU-ის მაღალი საერთო დაკავება ყველა პროდუქტის ჯანმრთელობას არ ნიშნავს.

პრიორიტეტი დაყოვნებას სხვას გადასცემს

მაღალი პრიორიტეტი მხოლოდ შეზღუდული რესურსის სახით მუშაობს. თუ ყველა გუნდი ყველაფერს სასწრაფოდ მონიშნავს, იერარქია არჩევანს აღარ გამოხატავს. დროის ბიუჯეტი და მომსახურების შეთანხმებული კლასი აჩვენებს, ვინ იღებს სიმძლავრეს და რას თმობს დანარჩენი სამუშაო.

ცალკე რესურსი გამართლებულია მკაცრი იზოლაციის, ხანგრძლივი შეუწყვეტელი გამოთვლისა და განსხვავებული მოდელის კონფიგურაციისთვის. მისი ფასი თავისუფალი მარაგია, რომელსაც სხვები ვერ იყენებენ. გაზიარება ამ მარაგს ამცირებს, მაგრამ რიგში ლოდინის ამტანობასა და სამართლიანობის მართვას მოითხოვს.

Prefill და decode განსხვავებულ დატვირთვას ქმნის. გრძელი შეყვანის დამუშავება და ტოკენების თანმიმდევრული გაცემა ერთ აპარატურულ პროფილს არ მოითხოვს აუცილებლად. გაყოფამ ეფექტიანობა შეიძლება გაზარდოს, მაგრამ მდგომარეობის გადაცემას, მარშრუტიზაციასა და მომსახურების სირთულეს ამატებს. გადაწყვეტილება საკუთარ მოთხოვნათა ნაზავს უნდა დაეფუძნოს და არა მწარმოებლის მაქსიმალურ გრაფიკს.

ეკონომიკურ შედარებაში დაგვიანების ფასიც შედის. დაბალი ანგარიში შეიძლება არ ღირდეს, თუ დავალება სამუშაო ვადას აცდენილია. დაბალი ღირებულების ანგარიშისთვის მუდმივად ცარიელი მარაგიც ზედმეტია. არჩევანი დატვირთვის მნიშვნელობასა და მოქნილობას მიჰყვება.

პირობითი პროდუქტი: ჩატი დღისით, დოკუმენტები ღამით

ამ საპროექტო მაგალითში ინტერფეისს შეზღუდული მაღალი პრიორიტეტი აქვს, არქივი კი დარჩენილ სიმძლავრეზე შეთანხმებული ვადით მუშავდება. ცალკე იზომება დაშვების ლოდინი, განთავსება და პირველ ტოკენამდე დრო.

თუ ჩატი შენელდა, პაკეტური სამუშაო კი ჯერ დაშვებული არ არის, კონკურენციას შესაძლოა ის არ ქმნიდეს. თუ დაშვებული დავალება ვერ თავსდება, კვანძების შეზღუდვებია შესამოწმებელი. თუ რიგი მოდელის მოქმედ სერვისშია, Kueue-ის კვოტა მომხმარებლის პასუხს ვერ გამოასწორებს. ეს გამიჯვნა ინვესტიციას სწორ ვიწრო ადგილას მიმართავს.

მოკლე დამოუკიდებელი პიკები გაზიარებას უხდება. მუდმივად გაჯერებულ ნაკადს სასესხებელი მარაგი ნაკლებად რჩება. შესყიდვამდე მოთხოვნა დროში უნდა აისახოს და პაკეტური სამუშაოს გადატანის ზღვარი შეფასდეს. ზოგჯერ განრიგისა და კლასის შეცვლა ამაჩქარებლების გაორმაგებაზე მეტს იძლევა.

ფონური დავალებების გზამკვლევი აპლიკაციის რიგებს ხსნის. Debian-ის Google Cloud-ის ქეისი ოპერირების კონტექსტს იძლევა. ინფრასტრუქტურის განხილვა დატვირთვის ტიპითა და შედეგის ვადით დავიწყოთ; აპარატურა მათგან გამომდინარეობს.