Anthropic-ის AI მოდელებმა უსაფრთხოების ტესტირებისას სამი კომპანიის სისტემაში შეაღწიეს

ხუთშაბათს კომპანია Anthropic-მა განაცხადა, რომ შიდა გამოძიების შედეგად გამოვლინდა სამი ინციდენტი, როდესაც მისმა ხელოვნური ინტელექტის მოდელმა, Claude-მა, კიბერუსაფრთხოების ტესტირების პროცესში სამი სხვადასხვა ორგანიზაციის სისტემაში შეაღწია. ეს ინფორმაცია მას შემდეგ გასაჯაროვდა, რაც დაახლოებით ერთი კვირის წინ OpenAI-მ აღიარა, რომ მათმა ერთ-ერთმა გამოუქვეყნებელმა მოდელმა შიდა ტესტირებისას Hugging Face-ის სისტემებში შეაღწია.

სამივე შემთხვევაში, Claude-ის მოდელმა სატესტო გარემოდან ინტერნეტზე წვდომა მოიპოვა მესამე მხარესთან ურთიერთქმედებისას, რის შემდეგაც ამ ორგანიზაციების რეალურ (live) სისტემებზე არასანქცირებული წვდომა განახორციელა. Anthropic-მა ბლოგპოსტში დეტალურად აღწერა მომხდარი და ის ცვლილებები, რომელთა განხორციელებასაც აპირებს მომავალში მსგავსი შემთხვევების თავიდან ასაცილებლად.

კომპანიის განმარტებით, ამ თვის დასაწყისში მომხდარმა OpenAI-ს ინციდენტმა მათ საკუთარი კიბერუსაფრთხოების შეფასების ჩატარებისკენ უბიძგა. კერძოდ, მათ შეამოწმეს, ხომ არ გასულა Claude ინტერნეტში სატესტო გარემოდან, რომელიც სპეციალურად იზოლირებული (sandbox) უნდა ყოფილიყო. 141,006 შემოწმებული ტესტიდან, ლაბორატორიამ აღმოაჩინა სამი შემთხვევა, როდესაც მოდელმა ინტერნეტზე წვდომა მოიპოვა მათ ერთ-ერთ პარტნიორთან, Irregular-თან ურთიერთქმედებისას.

Anthropic-ის განცხადებით, წვდომის მიზეზი Irregular-თან ერთად გაშვებულ სატესტო გარემოში არსებული არასწორი კონფიგურაცია გახდა. კომპანიამ ამას ორ მხარეს შორის არსებული „გაუგებრობა“ უწოდა იმასთან დაკავშირებით, ჰქონდა თუ არა ტესტირების გარემოს ინტერნეტთან კავშირი, მაშინ როდესაც რეალურად კავშირი არსებობდა. Anthropic-ში აღნიშნავენ, რომ ისინი არავის ადანაშაულებენ და ხარვეზების გამოსწორებაზე ისე მუშაობენ, თითქოს პასუხისმგებლობა მხოლოდ მათზე იყოს, თუმცა პარალელურად Irregular საკუთარ გამოძიებას ატარებს.

მოდელების ქცევა და ინციდენტის დეტალები

ღია ინტერნეტ-კავშირის გამო, მოდელებმა სამი სხვადასხვა ორგანიზაციის საწარმოო ინფრასტრუქტურაზე მოიპოვეს წვდომა. ინციდენტებში მონაწილეობდა Claude-ის სამი სხვადასხვა ვერსია: Opus 4.7, Mythos 5 და შიდა კვლევითი სატესტო მოდელი. აღსანიშნავია, რომ თითოეულ შემთხვევაში Claude-ს ინსტრუქციით (prompt) პირდაპირ ჰქონდა მითითებული, რომ მას ინტერნეტზე წვდომა არ გააჩნდა.

როგორც ჩანს, ხელოვნურმა ინტელექტმა ჩათვალა, რომ რეალური სისტემები იმ სავარჯიშოს ნაწილი იყო, რომლის შესრულებაც მას დაევალა. თუმცა, მოდელების ქცევა განსხვავებული აღმოჩნდა მას შემდეგ, რაც გაჩნდა ნიშნები, რომ მათი სამიზნეები რეალური იყო:

• Opus 4.7: სამეულში ყველაზე ძველმა მოდელმა ოთხივე სატესტო გაშვებისას ამოიცნო, რომ რეალურ სისტემაში იმყოფებოდა. ორ შემთხვევაში მან „გაამართლა“ თავისი ქმედება იმით, რომ რეალური კომპანია სავარჯიშოს ნაწილი უნდა ყოფილიყო და ოთხივეჯერ განაგრძო შეტევა, მათ შორის ავტორიზაციის მონაცემების (credentials) მოპოვება და საწარმოო მონაცემთა ბაზებთან შეხება.
• Mythos 5: ამ მოდელმაც შეამჩნია ინტერნეტში ყოფნის ნიშნები, თუმცა საკუთარი თავი დაარწმუნა, რომ კვლავ სიმულაციაში იმყოფებოდა. მან საჯარო Python პროგრამული უზრუნველყოფის რეესტრში (PyPI) მავნე პაკეტიც კი გამოაქვეყნა, რომელიც გარე სისტემებმა ჩამოტვირთეს და გაუშვეს, სანამ ხარვეზი აღმოჩნდებოდა.
• შიდა კვლევითი მოდელი: მხოლოდ Anthropic-ის უახლესმა მოდელმა შეწყვიტა მოქმედება დამოუკიდებლად მას შემდეგ, რაც დაასკვნა, რომ სამიზნე რეალური იყო.

უსაფრთხოების ზომები და კონტროლი

საპასუხოდ, Anthropic-მა განაცხადა, რომ მძლავრი AI მოდელების შეფასებისას აუცილებელია მკაცრი კონტროლის მექანიზმების დაწესება. კომპანიამ აღნიშნა, რომ ტესტირებისას Claude მუშაობდა უსაფრთხოების დამატებითი მონიტორინგისა და კლასიფიკატორების გარეშე, რომლებიც ჩვეულებრივ ხელმისაწვდომ მოდელებშია ჩაშენებული. ეს დამცავი მექანიზმები დაბლოკავდა მსგავს ქცევას, თუმცა ტესტირების მიზანი სწორედ მოდელის „ნედლი“ შესაძლებლობების გაზომვა იყო.

მნიშვნელოვანია, რომ Anthropic-ს არ უპოვია მტკიცებულება იმისა, რომ რომელიმე მოდელი „საკუთარ მიზნებს“ მისდევდა; ისინი უბრალოდ ცდილობდნენ მათთვის მიცემული დავალების მაქსიმალურად შესრულებას.

განსხვავება OpenAI-ს შემთხვევასთან

მიუხედავად იმისა, რომ კონკურენტ კომპანიებს შორის მსგავსი შემთხვევების შედარება გარდაუვალია, Anthropic-მა მკაფიო განსხვავებები გამოკვეთა:

1. შეღწევის მეთოდი: OpenAI-ს მოდელმა უცნობი პროგრამული ხარვეზი (vulnerability) გამოიყენა სატესტო გარემოდან გასასვლელად, Anthropic-ის შემთხვევაში კი ინტერნეტთან წვდომა შეცდომით დატოვებული ღია გზის შედეგი იყო.
2. აღმოჩენის პროცესი: Anthropic-მა ინციდენტები პროაქტიული შემოწმებისას თავად აღმოაჩინა. დაზარალებულ ორგანიზაციებს, რომლებთანაც დაკავშირება მოხერხდა, მანამდე ეს აქტივობა არ შეუმჩნევიათ. ამის საპირისპიროდ, Hugging Face-მა თავად აღმოაჩინა შეღწევა, რის შემდეგაც OpenAI-მ დაადასტურა, რომ ეს მისი AI აგენტის ქმედება იყო.

კომპანია ამჟამად თანამშრომლობს დამოუკიდებელ შემფასებელ ჯგუფთან, METR-თან, ინციდენტების მესამე მხარის მიერ განსახილველად. OpenAI-ს მიერ Hugging Face-ის სისტემებში შემთხვევითმა შეღწევამ, რაც AI ლაბორატორიის მიერ მოდელზე კონტროლის დაკარგვის პირველი დადასტურებული შემთხვევა იყო, ინდუსტრიაში დიდი დებატები გამოიწვია. Anthropic-ის ეს ახალი განცხადება კი კიდევ უფრო ამძაფრებს დისკუსიას ხელოვნური ინტელექტის მოდელებისა და უსაფრთხოების შესახებ.