Kimi K3.1 Pro ღია წონებს გვპირდება: როგორ ვყოფ ამოცანებს საკუთარ მოდელსა და ღრუბლოვან API-ს შორის

Moonshot-მა Kimi K3.1 Pro გამოუშვა და წონების გახსნას 4 ნოემბრამდე გვპირდება. დამოუკიდებელი შეფასებები მას პირველი რიგის დახურული მოდელების გვერდით აყენებს. იმავე დროს n8n-მა ცხრილი გამოაქვეყნა, რომელი ღია მოდელი რომელ ვიდეობარათში ეტევა, Vercel-მა ღია მოდელების გამოწერა 30 დოლარად დაამატა, Ollama-მ კი გადაწყვეტილებების პატარა მოდელები ისწავლა. ბიზნესის მფლობელისთვის კითხვა ძველია: რა დავთვალოთ ჩვენთან, რა გავცეთ API-ში და რა წესით გავყოთ.

რა გამოვიდა

საიმონ უილისონმა 23 ოქტომბერს Kimi K3.1 Pro-ზე დაწერა: მოდელი API-ით ხელმისაწვდომია, წონები 2026 წლის 4 ნოემბრამდეა დაპირებული. ფასი 2 დოლარია მილიონ შემავალ ტოკენზე და 10 მილიონ გამომავალზე, იმდენივე, რამდენიც GPT-6.1 Sol-ს აქვს, და ორჯერ იაფი, ვიდრე Claude Opus 5.5. Highspeed ვერსია 2-3-ჯერ სწრაფია ორმაგ ფასად. Artificial Analysis-ის ინდექსით მოდელმა 55 ქულა დააგროვა Claude Opus 5.5-ის 58-ის წინააღმდეგ.

Latent Space-მა 24 ოქტომბერს შეჯამებაში დეტალები და შენიშვნები შეკრიბა. მოდელი 2,8 ტრილიონი პარამეტრისაა, მათგან 104 მილიარდი აქტიურია, კონტექსტი მილიონი ტოკენია. და იქვე არითმეტიკა: 2,8 ტრილიონი პარამეტრი 16-ბიტიან სახით დაახლოებით 5,6 ტბ-ია ან 1,4 ტბ 4-ბიტიანში. ავტორები პირდაპირ წერენ: „შეიძლება საკუთარ თავთან გაშვება“ და „ჩვეულებრივ კომპიუტერზე მუშაობს“ სხვადასხვა თვისებაა. ლიცენზია და პატარა Flash ვერსია ჯერ არ გამოუცხადებიათ.

Vercel-მა 23 ოქტომბერს Kimi K3.1 Pro-ს ორივე ვერსია AI Gateway-ში დაამატა: პროვაიდერის ფასები დანამატის გარეშე, ბიუჯეტი გასაღებზე და პროვაიდერის გადართვა ჩავარდნისას. ერთი კვირით ადრე, 15 ოქტომბერს, იმავე Vercel-მა Token Pass გაუშვა: თვეში 30 დოლარად გუნდი 80 დოლარის კრედიტს იღებს GLM 5.3-სა და Kimi K3-ზე, გამოუყენებელი ნაშთი იწვება, კრედიტის ამოწურვისას კი მოთხოვნები დამატებითი გადახდის გარეშე ჩერდება. პატარა გუნდისთვის ეს ხარჯების გასაგები ჭერია.

n8n-მა 22 ოქტომბერს გამოაქვეყნა სტატია საკუთარ მოდელებსა და ღრუბლოვან API-ებზე. ყველაზე სასარგებლო იქ ცხრილია: Qwen3 8B დაახლოებით 8 გბ ვიდეომეხსიერებაში 8-ბიტიან ვარიანტში, Mistral Small 3.1 24B-ზე 12-16 გბ-ში 4-ბიტიანი კვანტიზაციით და 44-55 გბ-ში მის გარეშე, Llama 4 Scout 109B-ზე 55-დან 80 გბ-მდე. რჩევა, რომელსაც მხარს ვუჭერ: ჯერ ამოცანა ღია მოდელებში API-ით გაატარეთ, იპოვეთ ყველაზე პატარა, რომელიც სტაბილურად ართმევს თავს, და მხოლოდ ის დააყენეთ თქვენთან. პაკეტური დამუშავებისთვის GPU-სერვერის დაქირავებას მხოლოდ მუშაობის დროით გვირჩევენ.

და Ollama v0.40.11-ის რელიზი 25 ოქტომბრიდან, ვერსიის შენიშვნები: macOS-ზე მეტყველების გენერაცია გაჩნდა OpenAI-თან თავსებადი ენდპოინტით, d3 ოჯახმა კი vLLM Semantic Router-ის გადაწყვეტილებების მოდელები მოიტანა 2B, 4B, 9B და 27B-ზე: მიეცით ტექსტი ან სურათი, მიიღეთ კი ან არა, ვარიანტი სიიდან ან შეფასება ალბათობით. ეს იმის ლოკალური ანალოგია, რასაც OpenAI Decisions API-ად ყიდის.

რატომ სჭირდება ეს ბიზნესს

ავიღოთ წარმოება, სადაც ნაკეთობების შემადგენლობა Excel-ის სპეციფიკაციებშია, გვერდით კი კონტრაქტორების ფასები და საკონსტრუქტორო დოკუმენტაცია. ამ ფაილების გარე სერვისში გაგზავნა არ გინდათ, მოცულობა კი სტაბილურია: ყოველდღე ერთი და იგივე ტიპის დოკუმენტები. ეს პატარა მოდელის შემთხვევაა საკუთარ სერვერზე: დაახარისხოს, პოზიციების ნომრები ამოიღოს, მონიშნოს, რა აკლია. იშვიათი რთული ამოცანა, არასტანდარტული ხარჯთაღრიცხვა ახალი მომწოდებლისგან, ღრუბლოვანი მოდელისთვის მიცემა უფრო იაფია: ის კვირაში ერთხელ ხდება.

წესი ამ მაგალითიდან მარტივია. მუდმივი მოცულობა და მგრძნობიარე მონაცემები ამოცანას საკუთარი სერვერისკენ წევს. იშვიათი და რთული ამოცანები, სადაც ერთ დოკუმენტზე სიზუსტეა მნიშვნელოვანი, ღრუბლისკენ წევს. დანარჩენს არითმეტიკა წყვეტს: მოთხოვნები თვეში აპარატურისა და იმ ადამიანის წინააღმდეგ, ვინც მას ემსახურება.

როგორ მაქვს ეს მე

აშშ-ის PDR კომპანიის დოკუმენტების პარსერებში სამ ღრუბლოვან სერვისს ვიყენებ, Anthropic-ს, OpenAI-სა და Gemini-ს, თითოეულს თავის ამოცანაზე. იქ ყოველ ხარჯთაღრიცხვაზე სიზუსტეა მნიშვნელოვანი: დოკუმენტები 60-70 გვერდამდეა და შეცდომა ერთ სტრიქონში ფული ღირს. ვალიდატორების მიერთების შემდეგ დოკუმენტების დაახლოებით 99,9 % ხელით შესწორების გარეშე გადის, თანამშრომელი კი მხოლოდ საბოლოო შემოწმებას აკეთებს.

მეტყველებას კი, პირიქით, ლოკალურად ვატარებდი. 2023 წლის ბოლოს და 2024-ის დასაწყისში ლონდონის საკონსულტაციო კომპანიისთვის სუბტიტრების სისტემა გავაკეთე ლოკალურ Whisper მოდელზე: ვიდეო Google Drive-იდან, პოდკასტები, YouTube, გამოსავალზე SRT დროის ნიშნულებით. ჩანაწერის წუთში გადახდა არ სჭირდებოდა.

ჩემი სტუდიის სერვერი საერთოა, 2 გბ მეხსიერებით, იქ Docker-ში საიტი და შიდა სერვისი „ყავა ერთად“ ტრიალებს. ვერც ერთი მოდელი იქ ვერ ჩაეტევა და არც ვიჩემებ, რომ ჩაეტევა. Kimi K3.1 Pro არ გამიშვია: Latent Space-ის შეჯამების მოცულობით მას მონაცემთა ცენტრი სჭირდება, მცირე ბიზნესის სერვერი მას ვერ გაწვდება. მას API-ით შევხედავდი, როგორც კიდევ ერთ მომწოდებელს დანარჩენების გვერდით.

რას გავაკეთებდი

ამოცანებს სამ დასტად გავყოფდი: მუდმივი ნაკადი მგრძნობიარე მონაცემებით, იშვიათი რთული შემთხვევები და ყველაფერი, სადაც შეცდომა არაფერი ღირს.

პირველი დასტისთვის n8n-ის ცხრილიდან ყველაზე პატარა მოდელს ავიღებდი, რომელიც ჩემს რეალურ მაგალითებს სტაბილურად გადის. 50-100 ნამდვილ დოკუმენტზე შევამოწმებდი და არა დემოზე.

მეორე დასტისთვის AI Gateway-ს მსგავს შლუზს ან საკუთარ პროქსის დავაყენებდი გასაღებზე ბიუჯეტით. მაშინ მოდელის შეცვლა კონფიგში ერთი სტრიქონია.

წლის თვითანაზღაურების წერტილს დავთვლიდი: GPU-ს ქირა ან ბარათის ყიდვა პლუს მომსახურების საათები ტოკენების ანგარიშის წინააღმდეგ. სანამ მოცულობა პატარაა, ღრუბელი იაფია და ეს ნორმალურია.

დაკავშირებული მასალები

მოდელების შედეგის შემოწმებაზე: სტატია AI მონაცემთა დამუშავებაში: ამოღება და შემოწმება და გვერდი AI პროცესში, სადაც შედეგი შემოწმებადია. ქეისები: დოკუმენტების პარსერები PDR კომპანიისთვის და SRT სუბტიტრები ლოკალურ Whisper-ზე. იმავე თემაზე მიმოხილვებიდან: რატომ ვაშენებ უფასო ინსტრუმენტებზე, მეტყველების მოდელები საკუთარ სერვერზე, რა იცვლება მცირე ბიზნესის AI-ბიუჯეტში და მოდელი მოწყობილობაზე და ობიექტების პარკი. ადრე: AI-ს თვითღირებულება მიღებული ამოცანებით და ცოდნის გრაფი თუ ვექტორული RAG. თუ წყვეტთ, დამუშავების რომელი ნაწილი შეინახოთ თქვენთან, მომიყევით მოცულობასა და დოკუმენტების ტიპებზე. ამოცანის განხილვა.