ჰიბრიდული ძიება: რატომ არის ტოკენიზაცია ემბედინგებთან ერთად მნიშვნელოვანი

თანამშრომელი AC-42-ის ინსტრუქციას ეძებს, მაგრამ ძიება მსგავს AC-24 მოწყობილობაზე დოკუმენტებს წინ აყენებს. სხვა მოთხოვნა შენახულ café-ს შეყვანილ cafe-ს ვერ უკავშირებს. თუ ძიება AI მხარდაჭერას კონტექსტს აწვდის, მოდელმა შეიძლება დამაჯერებლად მცდარი ინსტრუქცია განმარტოს. მოდელის შეცვლა საჭირო ობიექტსა და მსგავს ტექსტს შორის განსხვავებას ვერ აგვარებს.

ჰიბრიდული ძიება სემანტიკური ემბედინგის სიგნალს BM25-ის მსგავს ლექსიკურ რანჟირებას უთავსებს. პირველი მნიშვნელობასა და პერიფრაზებში ეხმარება; მეორე კონკრეტულ ტერმინებს პოულობს. თუმცა ლექსიკური მოძიება ტექსტის ანალიზისას მიღებულ ტოკენებზე მუშაობს. თუ ძიება იდენტიფიკატორს, ვერსიას ან უცხოენოვან სიტყვას ტოვებს, ეს ეტაპი შეამოწმეთ.

ცვლილებები ტექსტის ანალიზის ინსტრუმენტებში

Weaviate-ის 2026 წლის 14 მაისის სტატია 1.37 ვერსიის შესაძლებლობებს აღწერს: თვისების დონის ანალიზს, აქცენტების ნორმალიზაციასა და ტოკენიზაციის შემოწმების API-ს. მომწოდებელი ორ ცალკე ნაკრებს აჩვენებს: ინდექსირებულ ტოკენებსა და მოთხოვნის დამუშავების ტოკენებს. ასე ჩანს, სად ცვლის ნორმალიზაცია ან სტოპსიტყვები ლექსიკურ სიგნალს.

აღწერა მონაცემთა ბაზის კონკრეტულ ვერსიას ეხება. ის ყველა ძრავის ეკვივალენტურ კონტრაქტს ან არსებულ Weaviate დანერგვას არ ადასტურებს. შეამოწმეთ კონფიგურაცია, კლიენტის ბიბლიოთეკა და ინდექსის ცვლილების მოთხოვნები. ფართო საინჟინრო პრინციპია ტექსტის წარმოდგენის შემოწმება მოდელის საბოლოო პასუხის შედარებამდე.

განსხვავებულ ველებს განსხვავებული წესები სჭირდება

პროდუქტის აღწერასა და იდენტიფიკატორს სხვადასხვა დანიშნულება აქვს. აღწერაში რეგისტრის ნორმალიზაცია და სიტყვების პუნქტუაციისგან გამოყოფა სასარგებლოა. იდენტიფიკატორში დეფისს, ქვედა ტირეს ან რეგისტრს შეიძლება მნიშვნელობა ჰქონდეს. საერთო ანალიზატორმა შეიძლება აღწერები გააუმჯობესოს და ობიექტების ზუსტი განსხვავება დააზიანოს.

Weaviate word, lowercase, whitespace და field მეთოდებს ჩამოთვლის. მაგალითში word სტრიქონს User_42 - café სიტყვებად და რიცხვად ყოფს, field კი მთლიანს ერთ ტოკენად ინახავს. მეთოდი ველის რეალური საძიებო ქცევის მიხედვით აირჩიეთ. სრული მნიშვნელობის შენარჩუნება ზუსტ დამთხვევას ეხმარება, მაგრამ თავისუფალი ფორმის კითხვას ავტომატურად არ შეეფერება.

ჰიპოთეტურმა კატალოგმა შეიძლება გამოყოს იდენტიფიკატორი, სახელი, აღწერა და დოკუმენტის ენა. პირდაპირი იდენტიფიკატორის მქონე მოთხოვნა ჯერ ზუსტ ველს ამოწმებს; „როგორ გავწმინდო ფილტრი?“ ტექსტურ ინსტრუქციებს ეძებს. ეს შეთავაზებული არქიტექტურაა და თქვენს მონაცემებზე გამოცდა სჭირდება. ინდივიდუალური API-ის პროექტის აღწერა აჩვენებს, რატომ სჭირდება რესურსებს, წვდომასა და პასუხის კონტრაქტს საკუთარი დოკუმენტაცია; ისტორიული აღწერა ამ საძიებო დიზაინის გამოყენებას არ ადასტურებს.

აქცენტები და სტოპსიტყვები ყოველთვის ხმაური არ არის

აქცენტების ნორმალიზაციამ შეიძლება café და cafe დაამთხვიოს. Weaviate აღწერს ანალიზს ინდექსირებისას და მოთხოვნისას, ცალკეული სიმბოლოების გარდაქმნიდან გამონაკლისით. ეს მნიშვნელოვანია, როცა განსხვავება სახელებს ან კატალოგის ნივთებს ყოფს. ერთ ენაში სასარგებლო ნორმალიზაციამ შეიძლება ბიზნესისთვის განსხვავებული მნიშვნელობები გააერთიანოს.

მსგავსია სტოპსიტყვების საკითხიც. გავრცელებული დამხმარე სიტყვა გრძელ გზამკვლევში უმნიშვნელოა, მაგრამ ბრენდის სახელში მნიშვნელოვანი. მომწოდებელი word ტოკენიზაციის თვისებებისთვის ცალკე სტოპსიტყვების პარამეტრებს აღწერს და განმარტავს: სიტყვები ინდექსში რჩება, მაგრამ BM25 მოთხოვნიდან გამოირიცხება. ამიტომ სიის შეცვლა შენახული დოკუმენტებიდან სიტყვების წაშლა არ არის.

რუსულენოვანი კატალოგისთვის ლათინური აქცენტების დამუშავება რუსული მორფოლოგიის სისწორეს არ ადასტურებს. გამოსცადეთ ბრუნებული სიტყვები, რუსულ-ინგლისური შერეული მოთხოვნები და ტრანსლიტერაცია. მრავალენოვან სისტემაში თითოეული ენის ანალიზატორი ცალკე შეაფასეთ.

ჯერ მოძიებული დოკუმენტები შეაფასეთ

6 მაისის მოძიების ხარისხის მიმოხილვაში ავტორი კვლევით დაკვირვებებს განიხილავს: მოძველებულ მასალას, სემანტიკურად ახლო, მაგრამ არასაკმარის მონაკვეთებს და დაბალი რელევანტურობის top-k შედეგებს. ეს ავტორის გამოქვეყნებული დაკვირვებებია და არა ყველა RAG სისტემის უნივერსალური შეფასება. პრაქტიკული პასუხია მტკიცებულების პოვნისა და განმარტების გენერაციის გამიჯვნა.

შექმენით მცირე საცნობარო ნაკრები: ზუსტი და მეზობელი იდენტიფიკატორი, ვერსია, შეცდომით აკრეფილი სიტყვა, აქცენტიანი სიტყვა, ბრუნებული რუსული სიტყვა და სემანტიკური პერიფრაზი. თითოეულ მოთხოვნას მოსალოდნელი დოკუმენტები და აშკარად შეუსაბამო დამთხვევები სჭირდება. დაამატეთ კითხვები, რომელთა პასუხიც ბაზაში არ არის: რამდენიმე მონაკვეთის მუდმივად დაბრუნება სასარგებლო ინფორმაციის პოვნას არ ადასტურებს.

ერთსა და იმავე ნაკრებზე შეადარეთ ლექსიკური, ვექტორული და კომბინირებული ძიება. მოდელისთვის მიწოდებამდე ჩაიწერეთ შედეგები: გამოჩნდა თუ არა სწორი დოკუმენტი, რა პოზიციაზე და სახიფათოდ მსგავსი ვერსიებიც ხომ არ მოხვდა. ჰიბრიდული წონების შეცვლას აზრი ტოკენების შემოწმების შემდეგ აქვს; სხვაგვარად ის ერთ-ერთი სიგნალის დეფექტს მალავს.

როცა მიზეზი ტოკენიზაციის ფარგლებს სცდება

სწორი ტოკენები ვერ შეაკეთებს დოკუმენტს, სადაც იდენტიფიკატორი ერთ მონაკვეთშია, მოქმედი ინსტრუქცია კი მეორეში, დამაკავშირებელი კონტექსტის გარეშე. ისინი ვერც ძველ მასალას განაახლებს ან წვდომას დაუშვებს. დოკუმენტებისა და მონაცემების დამუშავება შეყვანის მომზადებასა და გარდაქმნის შემოწმებას მოიცავს, რაც ინდექსში მოხვედრილს პირდაპირ ცვლის.

ცხრილებისა და გრაფიკების შემცველ PDF-ში შეამოწმეთ, შეინარჩუნა თუ არა ამოღებამ სტრუქტურა. ეს PDF ცხრილებიდან და გრაფიკებიდან მოძიების ცალკე თემაა. თუ პასუხს კონტრაქტის, მომწოდებლისა და აქტივის ურთიერთობათა ჯაჭვი სჭირდება, ზუსტი სიტყვებიც მთელ ამოცანას ვერ გადაწყვეტს. განიხილეთ ცოდნის გრაფისა და ვექტორული RAG-ის არჩევა.

პირველი გაუმჯობესებისთვის გამოტოვებული მოთხოვნების ერთი კლასი აირჩიეთ, ტოკენები შეამოწმეთ და საცნობარო ნაკრებზე ალტერნატიული კონფიგურაცია შეადარეთ. შემდეგ იმავე კითხვებზე საბოლოო პასუხები შეაფასეთ. ჰიბრიდული ძიება გამოსადეგია, როცა ორივე სიგნალი ამოცანას შეეფერება; სხვებზე უპირატესობას არქიტექტურის სახელის ნაცვლად მტკიცებულება სჭირდება.

წყაროები