Kog-ი GPU-ების რესურსების მაქსიმალურ ათვისებას და AI ინფერენსის მკვეთრ დაჩქარებას გეგმავს

ხელოვნური ინტელექტის ინფერენსის (inference) დაჩქარების პროცესი სულ უფრო აქტიურდება. მას შემდეგ, რაც Cerebras-მა თავისი სპეციალიზებული ჩიპებით ბაზარზე დიდი ყურადღება მიიპყრო, ფრანგული სტარტაპი Kog-ი სრულიად განსხვავებულ გზას ირჩევს. კომპანია მიიჩნევს, რომ ტრადიციული გრაფიკული პროცესორებიდან (GPU) გაცილებით მეტი სიმძლავრის მიღებაა შესაძლებელი, ვიდრე ეს დღეს ხდება.

მაისში სტარტაპი Hacker News-ის მთავარ გვერდზე მოხვდა ტექნოლოგიური პრევიუთი, რომლის მიზანიც იმის დამტკიცება იყო, რომ სტანდარტულ მონაცემთა ცენტრებში არსებულ GPU-ებზე — როგორიცაა AMD MI300X და Nvidia H200 — შესაძლებელია „ექსტრემალურად სწრაფი ერთჯერადი მოთხოვნის დეკოდირება“. მიუხედავად იმისა, რომ ზოგიერთი მომხმარებელი იმედგაცრუებული დარჩა იმით, რომ ეს ტექნოლოგია ლეპტოპების პროცესორებზე არ ვრცელდება, სხვებმა მასში უდიდესი პოტენციალი დაინახეს.

ინფერენსის სიჩქარე და ხარჯები ამჟამად კრიტიკულ ბარიერს წარმოადგენს, ამიტომ Kog-ის დაპირებამ — პროგრამული ოპტიმიზაციის გზით არსებული აპარატურის ახალი შესაძლებლობების გახსნის შესახებ — დიდი ინტერესი გამოიწვია. კომპანიის აღმასრულებელმა დირექტორმა, გაელ დელალომ (Gaël Delalleau), TechCrunch-თან საუბრისას აღნიშნა, რომ მათ უკვე 200-მდე რეალური ბიზნეს-შეთავაზება მიიღეს.

პრიორიტეტული მიმართულებები და გამოყენების შემთხვევები

ადრეულ უკუკავშირზე დაყრდნობით, დამფუძნებელი მოელის, რომ პროგრამული უზრუნველყოფის ინჟინერია იქნება პირველი სფერო, სადაც ამ ტექნოლოგიას გამოიყენებენ. Claude Code-ის გამოცდილმა მომხმარებლებმა იციან, რომ შედეგების მისაღებად ზოგჯერ საათობით ლოდინია საჭირო. Anthropic-იც აცნობიერებს სიჩქარის მნიშვნელობას და Claude-ის „სწრაფ რეჟიმში“ (Fast Mode) გაცილებით მაღალ ფასს აწესებს.

Kog-ი სწორედ იმ მომხმარებლებზეა ორიენტირებული, რომლებისთვისაც მსგავსი შეფერხებები მიუღებელია პროფესიული ამოცანების შესრულებისას. გარდა ამისა, სტარტაპს ჰყავს პარტნიორები დიზაინის სფეროში, რომლებიც მომხმარებლებს საშუალებას აძლევენ, მარტივი მითითებებით (prompt) შექმნან თამაშები და აპლიკაციები. Kog Inference Engine-ის (KIE) მეშვეობით მიღებული სწრაფი შედეგები მათთვის პირდაპირ მეტ შემოსავალს ნიშნავს.

ტექნიკური გამოწვევები და LLM-ების ოპტიმიზაცია

კომპანია აცნობიერებს, რომ ბაზარი ჯერ კიდევ ჩამოყალიბების პროცესშია. დაკვირვების შედეგად გაირკვა, რომ პოტენციური კლიენტები არ არიან მზად მცირე მოდელების დასახვეწად (fine-tuning). ამიტომ, გაშვების დღიდან Kog-ი სრულად ფოკუსირდა დიდი მოდელების განვითარების დაჩქარებაზე, რათა დააკმაყოფილოს არსებული მოთხოვნა.

Kog-ს საკმაოდ ამბიციური მიზანი აქვს — LLM ინფერენსის 30-ჯერ დაჩქარება. მათმა დემო ვერსიამ აჩვენა შთამბეჭდავი შედეგი: 3,000 ტოკენი წამში (TPS) თითო მოთხოვნაზე, თუმცა ეს განხორციელდა სპეციალურად შექმნილ მცირე მოდელზე, Laneformer 2B-ზე, რომელსაც მხოლოდ 2 მილიარდი პარამეტრი აქვს.

სკეპტიკოსების საპასუხოდ, დელალო დარწმუნებულია, რომ იგივე მიდგომა დიდ ენობრივ მოდელებზეც (LLM) იმუშავებს. მისი თქმით, მოსაზრება, თითქოს GPU-ები არ არის გამოსადეგი დეკოდირებისთვის, მცდარია; თანამედროვე პროცესორებს აქვთ მზარდი მეხსიერების გამტარუნარიანობა, რომლის სრულად ათვისებაც მხოლოდ სწორ მიდგომას საჭიროებს.

უნიკალური მიდგომა და კონკურენცია

Kog-ი არ არის ერთადერთი, ვინც პროგრამული ოპტიმიზაციით ცდილობს GPU-ების შესაძლებლობების გაზრდას. მაგალითად, ფრანგულმა ZML-მა გამოუშვა აპარატურისგან დამოუკიდებელი პროგრამული უზრუნველყოფა, რომელიც გვერდს ავლის Nvidia-ს CUDA-ს. თუმცა, დელალოს თქმით, Kog-ი უფრო მეტად ჰგავს სტენფორდის უნივერსიტეტის ლაბორატორია Hazy Research-ს, რადგან მათი ფოკუსი GPU-ების აჩქარების კიდევ უფრო ღრმა დონეზეა მიმართული.

დელალოს უნიკალური გამოცდილება მნიშვნელოვან როლს თამაშობს კომპანიის სტრატეგიაში:

• აკადემიური ბაზისი: მან შეისწავლა მყარი სხეულების ფიზიკა École Polytechnique-ში, რაც ეხმარება GPU-ების ფიზიკური კანონზომიერებების გაგებაში.
• ჰაკერული გამოცდილება: მუშაობდა კიბერუსაფრთხოების სფეროში (white hat hacking) და ოთხჯერ იყო DEFCON-ის CTF ტურნირის ფინალისტი.
• დაბალი დონის ინჟინერია: ჰაკერულმა გამოცდილებამ ასწავლა სისტემების რევერს-ინჟინერია ასემბლერის ენისა და ბინარული კოდის დონეზე, რათა გამოიყენოს აპარატურა ისეთი მიზნებისთვის, რისთვისაც ის თავდაპირველად არ იყო შექმნილი.

სამომავლო გეგმები და რესურსები

ამ მიდგომის უარყოფითი მხარე ის არის, რომ ის დიდ დროსა და რესურსებს მოითხოვს. ყოველი ახალი GPU-ს შესასწავლად და მასზე საინჟინრო კვლევების ჩასატარებლად გუნდს რამდენიმე კვირა ან თვე სჭირდება. 11-კაციანი გუნდის პირობებში, ეს ზღუდავს იმ ჩიპების რაოდენობას, რომლებზეც Kog-ს მუშაობა შეუძლია.

გრძელვადიან პერსპექტივაში, კომპანია გეგმავს თავისი მეთოდოლოგიის ინტეგრირებას აგენტებზე დაფუძნებულ სისტემებში, რაც მეტი ჩიპისა და მოდელის მხარდაჭერის საშუალებას მისცემს. პროექტს მხარს უჭერენ Scaleway, Bpifrance და French Tech 2030-ის პროგრამა.

„როგორც კი სექტემბერში დავასრულებთ ჩვენი პირველი ძირითადი მოდელის იმპლემენტაციას 10-ჯერადი სიჩქარით, შევძლებთ მომხმარებელთა დაინტერესების დემონსტრირებას და Series A ინვესტიციების მოზიდვას“, — აცხადებს დელალო.