ჩაშენებული AI შემფასებლები მარტივი გამოსავალი არ იქნება — Hugging Face-ის პოლიტიკის ხელმძღვანელი

ხელოვნური ინტელექტის ლაბორატორიები საკუთარ რეპუტაციას მოდელების ბენჩმარკინგზე აგებენ — შეფასების სისტემაზე, რომელიც მიზნად ისახავს ობიექტურად განსაზღვროს, რამდენად სჯობნის ერთი AI პროდუქტი მეორეს. თუმცა, Hugging Face-ის პოლიტიკის ხელმძღვანელმა, ირინ სოლაიმანმა, TechCrunch Disrupt-ზე გამართული დისკუსიისას აღნიშნა, რომ ამ შეფასებების მიღმა არსებული მეთოდები საკმაოდ რთულია და ჯერ კიდევ განვითარების პროცესშია.

იმისათვის, რომ ინდუსტრიამ მომავალში ამ ტესტებს დაეყრდნოს, საჭიროა მათი გარდაქმნა უფრო თანმიმდევრულ მეცნიერებად. ამ ფონზე ჩნდება კითხვა: რამდენად სანდოა ის ტესტები, რომლებიც დღეს ქვეყნდება? სოლაიმანის განმარტებით, ნდობა ძალიან კომპლექსური ცნებაა. შედეგების სანდოობის ერთ-ერთი მთავარი ფაქტორი მათი რეპროდუცირებადობაა — ანუ შესაძლებელია თუ არა იგივე შედეგის ხელახლა მიღება. ამისთვის კი აუცილებელია მოდელზე წვდომის შესაბამისი დონე, რის გამოც ღია წონის (open weights) მქონე მოდელებს გადამწყვეტი მნიშვნელობა ენიჭებათ.

მოდელების შეფასებისას რეპროდუცირებადობა დიდი ხანია ბენჩმარკინგის ერთ-ერთ ყველაზე პრობლემურ საკითხად რჩება და ინდუსტრიაში აქტიური დებატების საგანია. კონკრეტული ტესტის ვალიდურობის გარდა, არსებობს კითხვა იმის შესახებ, თუ როგორ შეედრება ეს ტესტი სხვა შეფასებებს. სოლაიმანის თქმით, ეს არის განვითარებადი მეცნიერება, სადაც ჯერ კიდევ არ ვიცით, როგორ შევადაროთ სხვადასხვა ტესტები ერთმანეთს შინაარსობრივად.

ჩაშენებული შემფასებლების ეკოსისტემა

არსებული შეფასების მეთოდები საკმაოდ სწრაფად კარგავენ ეფექტურობას, ხოლო ინდუსტრიას აკლია განვითარებული ეკოსისტემა. ამჟამად არსებობს დიდი მოთხოვნა „ჩაშენებული შემფასებლების“ (embedded evaluators) მიმართ, თუმცა იმ კრიტერიუმებს, რომლებიც განსაზღვრავენ, თუ ვინ არის ეფექტური შემფასებელი სხვადასხვა ამოცანებში, გაცილებით მეტი სტანდარტიზაცია სჭირდება.

ჩაშენებული შემფასებლების იდეა — რაც გულისხმობს ნეიტრალური, მესამე მხარის დამკვირვებლების ყოფნას AI ორგანიზაციებში — ბოლო თვეებში განსაკუთრებით პოპულარული გახდა. ეს გამოწვეულია უსაფრთხოების არაერთი ინციდენტით, რამაც ტექნოლოგიის პოტენციურ ზიანთან დაკავშირებით შეშფოთება გამოიწვია. აღსანიშნავია, რომ მსგავსი ინციდენტის სამიზნე თავად Hugging Face-იც გახდა.

სახელმწიფო რეგულაციების ნაცვლად, რომლებიც მიმართული იქნებოდა მოდელების უსაფრთხოების რისკების იდენტიფიცირებასა და შემცირებაზე, ლაბორატორიები მესამე მხარის ჩართულობას ანიჭებენ უპირატესობას. თუმცა, კვლავ არსებობს ეჭვები იმის შესახებ, თუ რამდენად ნეიტრალური ან ეფექტური იქნებიან ეს შემფასებლები რეალურად. მაგალითად, Anthropic-ის გადაწყვეტილებამ, პირველ შემფასებლად Accenture დაექირავებინა, კრიტიკა გამოიწვია. ზოგიერთი ექსპერტი სკეპტიკურად უყურებს იმას, თუ რამდენად კომპეტენტურია ეს საკონსულტაციო ფირმა მსგავსი ამოცანების შესასრულებლად.

სისტემური შეფასება და მომავლის გამოწვევები

შეფასების პროცესი ახლა მხოლოდ მოდელის ტესტირებიდან მთლიანი სისტემის შემოწმებაზე გადადის, რაც მოიცავს ე.წ. „აღჭურვილობას“ (harness) და აგენტებს. სოლაიმანის განმარტებით, მომხმარებლის მიერ მოდელთან წვდომისთვის გამოყენებულ ხელსაწყოს (harness) დიდი გავლენა აქვს მუშაობის ხარისხზე. შესაძლოა, შედარებით სუსტმა მოდელმა უკეთესი აღჭურვილობის პირობებში აჯობოს უფრო მოწინავე (frontier) მოდელს.

აგენტური შეფასებები (Agentic evals) განსაკუთრებით რთული და ძვირადღირებულია. მიუხედავად იმისა, რომ მოდელებისთვის ბევრი შეფასების მეთოდი არსებობს, აღჭურვილობისთვის (harnesses) ისინი საკმარისი არ არის. ამჟამად მიმდინარეობს მუშაობა ჰოლისტიკური აგენტების უკეთესი შეფასების მეთოდების შესაქმნელად, რადგან სწორედ ამაში ხედავს მომხმარებელთა უმრავლესობა რეალურ ღირებულებას.

შეჯამების სახით შეიძლება ითქვას, რომ შეფასების სფერო ამჟამად გარკვეულწილად ქაოტურია. თუ ბენჩმარკინგი ინდუსტრიის ლიდერებისთვის სასარგებლო ინსტრუმენტად უნდა დარჩეს, აუცილებელია უფრო ერთიანი, ინდუსტრიული მიდგომის ჩამოყალიბება, სადაც ყველა მხარე საერთო სტანდარტებზე შეთანხმდება.