ხელოვნური ინტელექტის მოდელების შეფასების პლატფორმა Arena-მ, რომელიც 2023 წელს ბერკლის უნივერსიტეტის (UC Berkeley) კვლევითი პროექტის სახით შეიქმნა, B სერიის დაფინანსების რაუნდში 200 მილიონი დოლარი მოიზიდა. ამ ინვესტიციის შედეგად, კომპანიის საბაზრო ღირებულებამ 3.1 მილიარდ დოლარს მიაღწია. აღნიშნული სიახლე მას შემდეგ გახდა ცნობილი, რაც ივნისში კომპანიამ წლიური განმეორებადი შემოსავლის (ARR) სახით 100 მილიონი დოლარის ნიშნულს მიაღწია.

დაფინანსების რაუნდს Lightspeed Venture Partners-ი და Khosla Ventures-ი ხელმძღვანელობდნენ. მასში ასევე მონაწილეობდნენ ისეთი მსხვილი ინვესტორები, როგორებიცაა Salesforce Ventures, 01 Advisors, Dell Technologies Capital, Endeavor Catalyst, a16z, Felicis და სხვები. შედარებისთვის, იანვარში Arena-მ A სერიის ფარგლებში 150 მილიონი დოლარი მოიზიდა, როდესაც მისი ღირებულება 1.7 მილიარდ დოლარს, ხოლო წლიური შემოსავალი 30 მილიონ დოლარს შეადგენდა. ეს ნიშნავს, რომ კომპანიის ფასი დაახლოებით 10 თვეში თითქმის გაორმაგდა.

Arena მომხმარებლებს სთავაზობს ქრაუდსორსინგულ (crowdsourced) პლატფორმას, რომლის გამოყენებაც უფასოა. მომხმარებლები სისტემაში სხვადასხვა მოთხოვნას (prompts) ან ე.წ. „vibe-coded“ პროექტებს ათავსებენ და შემდეგ აფასებენ, თუ რომელი მოდელი ართმევს თავს დავალებას უკეთესად. კომპანიის მონაცემებით, პლატფორმას ყოველთვიურად ათობით მილიონი ვიზიტორი ჰყავს.

გასული წლის სექტემბერში კომპანიამ კომერციული პროდუქტი, AI Evaluations-ი წარადგინა. ეს არის სერვისი, რომელიც AI ლაბორატორიებსა და საწარმოებს დეტალურ ანალიტიკას სთავაზობს საზოგადოებისგან მიღებული უკუკავშირის საფუძველზე.

ნეიტრალური შეფასების საჭიროება AI ინდუსტრიაში

პროდუქტის გაშვების დრო იდეალურად დაემთხვა ბაზრის მოთხოვნებს. მიმდინარე წელს AI ლაბორატორიებმა გააცნობიერეს, რომ მათი მოდელები ხშირად ახერხებდნენ სტანდარტული ტესტების (benchmarking) „მოტყუებას“ და მაღალი ქულების მიღებას რეალური პროგრესის გარეშე. ამავდროულად, ბიზნესებს სჭირდებოდათ დახმარება იმის დასადგენად, თუ რომელი მოდელი შეესაბამებოდა მათ შიდა საჭიროებებს საუკეთესოდ და არა მხოლოდ სტანდარტულ მაჩვენებლებს.

„ხელოვნური ინტელექტი იმაზე სწრაფად ვითარდება, ვიდრე ჩვენი მისი შეფასების უნარი. სტატიკური ტესტები აზრს კარგავს, როგორც კი მოდელები ხვდებიან, რომ მათ ამოწმებენ“, — ნათქვამია კომპანიის განცხადებაში. „სამყაროს სჭირდება ნეიტრალური მესამე მხარე, რათა შეფასდეს, რამდენად უსაფრთხო და შესაბამისია AI რეალურ ადამიანებთან ურთიერთობისას. Arena სწორედ ამ როლს ირგებს“.

ახალი კატეგორია: მოდელების შესაბამისობა (Alignment)

ამ მიზნით, Arena-მ თავის რეიტინგებს ახალი კატეგორია — „შესაბამისობა“ (alignment) დაამატა. აქ მოდელები ფასდება ისეთი კრიტერიუმებით, როგორიცაა:

  • უნებართვო ქმედება: ისეთი ნაბიჯების გადადგმა, რაც მოდელისთვის არავის მოუთხოვია;
  • მცდარი ატრიბუცია: ფაქტების ან ციტატების არასწორი წყაროსთვის მიწერა;
  • მატყუარა შესრულება (deceptive completion): ტყუილი იმ დავალებების შესრულების შესახებ, რომლებიც რეალურად არ გაკეთებულა.

ამჟამად, შესაბამისობის წინასწარ რეიტინგში OpenAI-ს მოდელები ლიდერობენ. Claude 3.5 Opus-ი და Claude Fable-ი კი, შესაბამისად, მეექვსე და მეცხრე ადგილებს იკავებენ.