მონაცემები დოკუმენტებიდან: Clairic, Deep Review და ჩემი გზა 50%-დან 99,9%-მდე შესწორების გარეშე

ოქტომბრის ერთ კვირაში დოკუმენტების დამუშავებაზე სამი სიახლე გამოვიდა: Cloudflare-მა აჩვენა Clairic, მოდელი, რომელიც ტექსტიდან ტიპიზებულ მნიშვნელობებს ერთი გავლით იღებს, Google-მა გახსნა Deep Review გრძელი დოკუმენტების შესამოწმებლად, ხოლო OpenAI-მ მოგვიყვა, როგორ ამოწმებენ Sullivan & Cromwell-ის იურისტები ხელშეკრულებებს აგენტებით, რომლებიც ერთმანეთს ედავებიან. სადაზღვევო ხარჯთაღრიცხვებისა და აქტების პარსერებს 2023 წლიდან ვაკეთებ. დავიწყე იქიდან, რომ დოკუმენტების ნახევარი გადიოდა ხელით შესწორების გარეშე, და 99,9%-მდე მივედი. ამიტომ ამ სიახლეებს ერთი ფიქრით ვკითხულობ: რა შემიმოკლებდა იმ გზას.

რა გამოვიდა

Cloudflare-მა 19 ოქტომბერს წარადგინა Clairic, ამოღების მოდელის პრევიუ Workers AI-ზე, და დაპირდა, რომ წონებს გახსნის. იდეა მოდის „System One“-მოდელებიდან, რომლებიც ერთი თვით ადრე TypeSafe-მა შემოიღო: მოდელი ერთი გავლით პასუხობს, მსჯელობისა და ტოკენების გენერაციის გარეშე, ფასი მხოლოდ შემავალ მონაცემებზეა, პასუხი ჩვეულებრივ წამზე სწრაფად მოდის. შესასვლელზე ტექსტი და ოთხამდე სურათი, პლუს ველების სია ტიპებით: ტექსტი, რიცხვი, თარიღი, დრო, ხანგრძლივობა, სია, შეფასება, პროგნოზი. გამოსასვლელზე ყოველ ველზე მოცემული ტიპის მნიშვნელობა სანდოობის შეფასებით, ხოლო თუ დოკუმენტში პასუხი არ არის, null. Cloudflare-ის თქმით, მოდელს შეცდომა შეუძლია.

Google Research-მა 14 ოქტომბერს გახსნა Deep Review, რთული დოკუმენტების შემოწმების სისტემა, რომელიც Paper Assistant Tool-იდან გაიზარდა. ერთ წელიწადში ის 16 000-ზე მეტ ხელნაწერზე გაატარეს STOC, ICML, NeurIPS და ICLR კონფერენციებისთვის, ახლა კი იღებს PDF-ს და ტექსტს ნებისმიერი სფეროდან, იურიდიული და ფინანსური დოკუმენტების ჩათვლით. მოწყობა ასეთია: დოკუმენტი ლოგიკურ სეგმენტებად იჭრება, თითოეულს საკუთარი გამოთვლითი ბიუჯეტი ეძლევა, შემდეგ ცალკეული აგენტები სეგმენტებს პარალელურად ამოწმებენ და მთელ დოკუმენტზე აქვთ წვდომა.

OpenAI-მ 15 ოქტომბერს Sullivan & Cromwell-ში Agreement Analyzer-ზე მოგვიყვა. პარტნიორმა John Savva-მ Codex-ზე ერთმომხმარებლიანი პროტოტიპით დაიწყო. იურისტი ტვირთავს ხელშეკრულების პროექტს, ამატებს ფირმის პრეცედენტებს და პლეიბუქს კლიენტის პოზიციებით, ინსტრუმენტი შემოწმების რამდენიმე წრეს აკეთებს და აბრუნებს მემორანდუმს შესწორებებით, რომლებსაც იურისტი იღებს ან უარყოფს. ცალკე აღწერილია სქემა, სადაც ერთი აგენტები შენიშვნებს აყალიბებენ, მეორეები კი მათ ედავებიან, და შედეგად ჩანს, რა გაუძლო დავას, რა უკუგდებულია და რა დარჩა შეუმოწმებელი. Savva დაჟინებით ამბობს, რომ ბაზრის პრაქტიკაზე ნებისმიერ მტკიცებას წყარო უნდა უჩანდეს.

რას ნიშნავს ეს კომპანიისთვის, სადაც დოკუმენტებს ხელით გადააქვთ

ავიღოთ ავტომობილების გაქირავება. ყოველ კვირა მოდის ავტოსერვისის ანგარიშები შეკეთებაზე, დათვალიერების აქტები და სადაზღვევოს დოკუმენტები ავარიის შემდეგ. მენეჯერი ხსნის PDF-ს, სკანს ან ტელეფონით გადაღებულ ფოტოს, პოულობს თანხას, VIN-სა და თარიღს და ცხრილში გადაბეჭდავს. VIN-ის ერთ ციფრში შეცდომა ერთი თვის შემდეგ ამოტივტივდება, როცა სადაზღვევო დოკუმენტს დააბრუნებს.

სამივე სიახლე ერთ პრობლემაზეა: როგორ მივიღოთ დოკუმენტიდან მნიშვნელობა, რომელსაც შეიძლება ენდო, და როგორ გავიგოთ, როდის არ შეიძლება. Clairic მას ტიპით, სანდოობით და პატიოსანი null-ით პასუხობს. Deep Review და Agreement Analyzer შემოწმების ცალკე ფენით პასუხობენ, რომელიც პირველ დასკვნას ედავება. მფლობელისთვის დასკვნა: საჭიროა კავშირი „ამოღება პლუს შემოწმება პლუს გზა უკან ადამიანთან“. მესამე ელემენტის გარეშე პირველი ორი ბაზას ჩუმად გააფუჭებს.

როგორ გავიარე ეს გზა 2023 წლიდან

აშშ-ში PDR-კომპანიისთვის ვაკეთებ სადაზღვევო ხარჯთაღრიცხვების, აქტებისა და დაზიანების შეფასებების პარსერებს PDF-იდან, სკანებიდან და ფოტოებიდან, ფოტო-პარსერები კი VIN-ს კითხულობენ. სადაზღვევო დოკუმენტები 60-70 გვერდამდე აღწევს. საფუძველი Python-ზეა: OpenCV გამოსახულებას ამზადებს და მასზე ვირტუალურ ხაზებს ავლებს, ტექსტს Tesseract კითხულობს, PDF-იდან ცხრილებს Camelot იღებს, Pandas წმენდს და სტრუქტურას აძლევს. მთავარ სამუშაოს ჩემი ლოგიკა აკეთებს, რომელმაც იცის, როგორ არის ეს დოკუმენტები აწყობილი.

2023 წლის შუიდან პარსერები მუშაობს, და მაშინ დოკუმენტების დაახლოებით ნახევარი ხელით შესწორების გარეშე გადიოდა. 2024-ში ამოცნობის ახალ ხერხებზე გადავედი, და შესწორების გარეშე დაახლოებით 75% გადიოდა. 2025-ში ამოსაღები ახალი მონაცემები და გამოთვლები დავამატე, და წილი დაახლოებით 95%-მდე გაიზარდა. 2026-ში AI-ვალიდატორები ჩავრთე, სამი სხვადასხვა სერვისი, Anthropic, OpenAI და Gemini, თითოეული თავისი ამოცანისთვის, და სარელიზო ვერსია გამოვუშვი: დოკუმენტების დაახლოებით 99,9% ხელით შესწორების გარეშე. საბოლოო შემოწმებას ადამიანი აკეთებს. პარსერები კვირაში დაახლოებით 60 საათს ათავისუფლებს, რომელიც ადრე ხელით სამუშაოზე მიდიოდა.

Clairic-ის ტიპიზებული პასუხი სანდოობითა და null-ით ზუსტად ის არის, რაც 2023 წელს მაკლდა, როცა დოკუმენტების ნახევარი ხელით შესწორებაზე მიდიოდა სიგნალის გარეშე „აქ დარწმუნებული არ ვარ“. Sullivan & Cromwell-ის სქემა „ერთი აგენტები გვთავაზობენ, მეორეები ედავებიან“ აზრით იგივეა, რაც ჩემი ვალიდატორები, ოღონდ ჩემთან მოკამათეების როლს სხვადასხვა სერვისი სხვადასხვა ამოცანით ასრულებს. Clairic ჩემს ხარჯთაღრიცხვებზე არ შემიმოწმებია და მასზე არაფერს დავპირდები.

რას გავაკეთებდი

1. შეაგროვეთ ყოველი ტიპის დოკუმენტის 30-50 რეალური ნიმუში და გაზომეთ, რამდენი წუთი სჭირდება ერთის ხელით დამუშავებას.
2. ამოწერეთ ველები, რომლებიც შემდეგ არის საჭირო, და სად მიდის ისინი: CRM-ში, ხარჯთაღრიცხვაში, ანგარიშში.
3. სადაც სტრუქტურა სტაბილურია, ამოიღეთ კოდით; მოდელი დარჩენილზე ჩართეთ. ყოველ მნიშვნელობას სანდოობა უნდა ჰქონდეს, დოკუმენტს კი გზა უკან ადამიანთან.
4. შეამოწმეთ მეორე ინსტრუმენტით, რომელიც ამომღებისგან ცალკეა. შეუსაბამობები ჟურნალში ჩაწერეთ.
5. ყოველთვიურად დაითვალეთ შესწორების გარეშე გასული დოკუმენტების წილი და ელოდეთ თანდათანობით ზრდას. ჩემთან ამას სამი წელი დასჭირდა, და ნიმუშების გარჩევამდე ციფრებს არ დავპირდები.

დაკავშირებული მასალები

სად ეხმარება AI დოკუმენტების გარჩევაში და როგორ შევამოწმოთ შედეგი: სტატია AI მონაცემთა დამუშავებაში: ამოღება და შემოწმება. მიმართულებები: Python დოკუმენტებისა და განმეორებადი დამუშავებისთვის და AI პროცესში, სადაც შედეგი შემოწმებადია. ქეისები: ხარჯთაღრიცხვების, აქტებისა და VIN-იანი ფოტოების პარსერები და აშშ-ში PDR-კომპანიის ტექნიკური პარტნიორი. იმავე თემაზე: AI წყვეტს, ადამიანი ადასტურებს, სად შევინახოთ 70-გვერდიანი სკანები და მანქანის ფოტოები და რა მოხდა ჩვენთან, როცა პარსერებმა კვირაში 60 საათი გაათავისუფლა. ადრე ვწერდი, როგორ შევინარჩუნოთ ცხრილებისა და დიაგრამების აზრი PDF-ში ძებნისას. თუ თქვენთან დოკუმენტებს დღემდე ცხრილში გადაბეჭდავენ, მომიყევით, რა დოკუმენტებია და სად უნდა მოხვდეს მონაცემები: ამოცანის განხილვა.