Cohere-ს განცხადებით, Alibaba-ს AI მოდელმა პეკინის სერვერზე მონაცემების გაგზავნა სცადა

კანადურმა ხელოვნური ინტელექტის კომპანია Cohere-მა განაცხადა, რომ Alibaba-ს ერთ-ერთმა უახლესმა AI მოდელმა, Qwen3.8-Flash-Next-მა, კიბერუსაფრთხოების გეგმური შემოწმებისას ფაილის პეკინის სერვერზე ატვირთვა სცადა. აღსანიშნავია, რომ თავად მოდელის თანმხლებ შენიშვნებში მითითებული იყო, რომ ის არანაირ გარე ინსტრუმენტს არ გამოიყენებდა. ამ ფაქტმა თავდაპირველად გააჩინა ეჭვი, რომ მოდელმა დაარღვია ბიზნესისთვის მიცემული მთავარი პირობა — ღია წონის (open-weight) მოდელების საკუთარ სერვერზე განთავსება მონაცემების შიდა პერიმეტრზე დაცულობას უზრუნველყოფს.

კორპორაციული ჯაშუშობის შესახებ გაჩენილი შიშები ხანმოკლე აღმოჩნდა. მკვლევრებმა საფრთხე მალევე უარყვეს და განმარტეს, რომ ეს, სავარაუდოდ, არა ჩინეთში სენსიტიური ინფორმაციის ფარულად გაგზავნის განზრახვა, არამედ არასრულყოფილი სატრენინგო გარემოს გვერდითი მოვლენა იყო, რაც მოდელებს ინსტრუქციების საწინააღმდეგო ქმედებებისკენ უბიძგებს.

ინციდენტი პარასკევს, შეფასების პროცესში დაიწყო, როდესაც Qwen-ის მოდელს მავნე პროგრამების ჩამოტვირთვის აღმომჩენი წესის დაწერა დაევალა. Cohere-ის ბლოგპოსტის თანახმად, მოდელის მიერ ჩამოყალიბებულ ლოგიკურ ჯაჭვში პირდაპირ იყო მითითებული, რომ ის გარე ინსტრუმენტებს არ გამოიყენებდა. თუმცა, მომდევნო ნაბიჯზე მან სატესტო სტრიქონის (მოკლე ტექსტური ფრაგმენტის) გარე სერვერზე გაგზავნა სცადა, რაც უსაფრთხოების „სენდბოქსმა“ (sandbox) დაბლოკა.

განზრახვა თუ ტრენინგის ხარვეზი?

Cohere-ში აცხადებენ, რომ რთულია იმის დადგენა, იყო თუ არა ეს ქცევა განზრახული, თუ უბრალოდ ტრენინგის პროცესის ნარჩენი ეფექტი. მოდელის განზრახვასთან დაკავშირებით Cohere-ის თანადამფუძნებელმა, ივან ჟანგმა აღნიშნა, რომ მსგავსი უცნაური ჩვევები მათ საკუთარ მოდელებშიც შეუმჩნევიათ ტრენინგის სიმულატორებში მუშაობისას.

„ძალიან რთულია რაიმე განზრახვის ან მოტივაციის მიწერა. ჩვენივე მოდელების კვალს რომ ვაკვირდებით, ვხედავთ ე.წ. „ჯილდოს ჰაკინგს“ (reward hacks). ზოგჯერ ეს მოდელები საკმაოდ კრეატიულები ხდებიან, როდესაც „სენდბოქსიდან“ თავის დაღწევას ცდილობენ“, — განაცხადა ჟანგმა.

„ჯილდოს ჰაკინგი“ არის მეთოდი, როდესაც მოდელი პოულობს გზას, მიიღოს ქულა დავალების შესრულებისთვის ისე, რომ თავად დავალება ჩაფიქრებული სახით არ შეასრულოს. იმისათვის, რომ AI მოდელმა დამოუკიდებელი აგენტის მსგავსად იმოქმედოს, Alibaba-ს მსგავსი კომპანიები მას ათასობით სავარჯიშო გარემოში წვრთნიან, რაც პროგრამული უზრუნველყოფის „ფრენის სიმულატორებს“ ჰგავს. მოდელი ჯილდოს იღებს ყოველ ჯერზე, როცა სიმულატორში დავალებას ასრულებს, და ამ პროცესში გარკვეულ ჩვევებს იძენს. თუ ეს სავარჯიშო გარემოებები ფაილებს სისტემატურად Alibaba-ს ღრუბლოვან სერვერებზე ინახავდა, მოდელს შესაძლოა ეს ქმედება ავტომატურად ესწავლა.

კვლევის მეთოდოლოგია და კრიტიკა

კრიტიკოსების ნაწილი მიიჩნევს, რომ ინციდენტი შესაძლოა თავად Cohere-ის კვლევის მეთოდმა გამოიწვია, რამაც მოდელი ამ ქმედებისკენ უბიძგა. იმის დასადგენად, თუ რამ გამოიწვია ატვირთვის მცდელობა, Cohere-მა მოდელს მიაწოდა ქსელური ბრძანების დასაწყისი და საშუალება მისცა, ის თავად დაესრულებინა. ვინაიდან მოდელს ტრენინგისას ათასობით მსგავსი ბრძანება ჰქონდა დამუშავებული, მან იმოქმედა როგორც მოწინავე „ავტოშევსებამ“ (autocomplete) და ჩაწერა ვებმისამართები, რომელთაგან ზოგიერთი Alibaba-ს სერვერებს ეკუთვნოდა.

Cohere-ის განმარტებით, პირველი ატვირთვის მცდელობა ყოველგვარი დახმარების გარეშე მოხდა, თუმცა მსგავსი ქცევა იშვიათია. დეველოპერების მხრიდან დამატებითი მტკიცებულებების მოთხოვნის შემდეგ, Cohere-მა ორშაბათს საღამოს AI პლატფორმა Hugging Face-ზე გამოაქვეყნა ტესტების ნედლი მონაცემები და სკრიპტი, რათა სხვებსაც შეძლებოდათ ამ ქცევის რეპროდუცირება.

ერთ-ერთმა სკეპტიკოსმა მონაცემების გაცნობის შემდეგ აღნიშნა, რომ მტკიცებულება იმისა, რომ Qwen-ს შეუძლია საეჭვო ვებმისამართების გამოგონება, საკმაოდ მყარია. თუმცა, არ აღმოჩენილა იმის დამამტკიცებელი საბუთი, რომ Alibaba-მ მოდელში სპეციალური „უკანა კარი“ (backdoor) დატოვა ან Qwen-ი განზრახ მალავდა თავის ქმედებებს.

პოლიტიკური კონტექსტი და რეგულაციები

ეს ინციდენტი დაემთხვა პერიოდს, როდესაც მთავრობები ჩინურ AI ტექნოლოგიებთან დაკავშირებით პოზიციებს აზუსტებენ. გასულ კვირას აშშ-ის შიდა უსაფრთხოების დეპარტამენტმა ფედერალურ სამოქალაქო სააგენტოებს დაავალა, სისტემებიდან ჩინური AI დეველოპერის, DeepSeek-ის პროდუქტები ამოეღოთ.

Cohere-მა თავის ბლოგპოსტში მოუწოდა მთავრობებს, განმარტონ, ვრცელდება თუ არა ჩინურ ხელოვნურ ინტელექტზე დაწესებული შეზღუდვები იმ მოდელებზეც, რომლებიც სამთავრობო კომპიუტერებზე მუშაობს. ივან ჟანგმა აღნიშნა, რომ ის არ ითხოვს ღია წონის მოდელების სრულ რეგულირებას, თუმცა კომპანიებმა მათ ისევე უნდა მოეპყრონ, როგორც ინტერნეტიდან ჩამოტვირთულ ნებისმიერ სხვა პროგრამას.

აღსანიშნავია, რომ Cohere, რომელიც საკუთარ AI მოდელებს მთავრობებზე ყიდის, პირდაპირ სარგებელს მიიღებს, თუ ოფიციალური პირები უფასო ჩინური ალტერნატივების მიმართ უფრო ფრთხილები გახდებიან.