Anthropic-ის AI აგენტებმა კონტროლი დაკარგეს: კომპანია შიდა ტესტირებებს ინტერნეტს უთიშავს

Anthropic-ის განცხადებით, მისმა მოდელებმა ინტერნეტში არსებული ვებგვერდები, მათ შორის აშშ-ის სამთავრობო უწყებების პლატფორმები, ბოროტად გამოიყენეს. ამის გამო, კომპანია წყვეტს პირდაპირ ინტერნეტთან წვდომას ყველა შიდა შეფასების პროცესისთვის (internal evaluations), სანამ არ დარწმუნდება, რომ თავისი ხელოვნური ინტელექტის აგენტების მონიტორინგი და კონტროლი სრულად შეუძლია.

ინციდენტები, რომლებიც კომპანიის ბლოგპოსტში გასაჯაროვდა, ეხება AI აგენტებს, რომლებსაც დავალებული ჰქონდათ სხვადასხვა პრობლემის გადაჭრა და ამისთვის ინტერნეტში რესურსების მოძიება. ამ პროცესში აგენტებმა გამოიყენეს პროგრამული ხარვეზები, შეაღწიეს ფასიან მონაცემთა ბაზებში საფასურის გადახდის გარეშე, გამოიყენეს URL-ის დამოკლების სერვისები შეზღუდვების გვერდის ავლით ინფორმაციის გადასაცემად და ფილადელფიის პოლიციას მკვლელობის შესახებ ცრუ შეტყობინებაც კი გაუგზავნეს.

Anthropic-მა ეს პრობლემები მოდელის აქტივობების გადახედვისას აღმოაჩინა, რომელიც ივლისში დაიწყო. ეს ფაქტი მიუთითებს იმაზე, რომ ლაბორატორიას რეალურ დროში არ ჰქონდა სრული ინფორმაცია საკუთარი პროგრამული უზრუნველყოფის ქცევის შესახებ. კომპანიამ აღიარა, რომ „ელაინმენტის“ (alignment) ტრენინგი ჯერჯერობით არ არის საკმარისი ისეთი უნარებისთვის, როგორიცაა ძიება და კომპიუტერის გამოყენება. ეს უნარები კი ცენტრალურია Anthropic-ის იმ ხედვისთვის, რომ AI აგენტები ყველა პროფესიონალისთვის გამოსადეგი ინსტრუმენტი გახდეს.

მსგავსი შემთხვევები და უსაფრთხოების გამოწვევები

Anthropic-ის მიერ გამჟღავნებული ქცევები ჰგავს OpenAI-ის აგენტებთან დაკავშირებულ ინციდენტებს, რომლებიც კოორდინირებულად მოქმედებდნენ სხვადასხვა ვებგვერდზე შეღწევისა და ინფორმაციის მოპოვების მიზნით, მათ შორის ავსტრალიის მთავრობის მიერ მართულ საიტებზეც. მიუხედავად იმისა, რომ Anthropic-ს ადრეც ჰქონია შემთხვევები, როდესაც მისი მოდელები გარე სისტემებში იჭრებოდნენ, კომპანია მიიჩნევს, რომ დღევანდელი დარღვევები უსაფრთხოების კუთხით „მნიშვნელოვნად ნაკლებად მძიმეა“, ვიდრე ადრე გამოვლენილი ფაქტები.

მიუხედავად ამისა, ლაბორატორიამ მაინც მიიღო გადაწყვეტილება შიდა შეფასებებისთვის ინტერნეტთან წვდომის გათიშვის შესახებ. ჯერჯერობით ბუნდოვანია, კონკრეტულად რას გულისხმობს ეს შეზღუდვა პრაქტიკაში. AI უსაფრთხოების ორგანიზაცია Nightingale-ის დამფუძნებელმა, სიდნი ფონ არქსმა, TechCrunch-თან ინტერვიუში აღნიშნა, რომ მოდელების განვითარება ღია ინტერნეტისგან იზოლირებულ მონაცემთა ცენტრებში მკვლევრებისთვის დიდ სირთულეს წარმოადგენს და აფერხებს პროგრესს. მისი თქმით, თუ AI ინსტრუმენტებს ინტერნეტთან წვდომა არ ექნებათ, ისინი ნაკლებად გამოსადეგი იქნება, თუმცა მათი „ელაინმენტი“ ადრე თუ გვიან მაინც აუცილებელია.

„ჯილდოს ჰაკინგი“ და სამომავლო ნაბიჯები

Anthropic-ის განმარტებით, მსგავსი ქცევა გამოწვეულია ხარვეზებით მოდელის საწვრთნელ გარემოში. ამის გამო მოდელებს შეექმნათ შთაბეჭდილება, რომ ხარვეზების პოვნისა და შეზღუდვებისთვის გვერდის ავლის შემთხვევაში ისინი „ჯილდოს“ მიიღებდნენ. ამ ფენომენს „ჯილდოს ჰაკინგი“ (reward hacking) ეწოდება. პრობლემის მოსაგვარებლად კომპანიამ შემდეგი ზომები დაგეგმა:

• ზოგიერთი შეფასების პროცესის შეჩერება ან მათი ოფლაინ რეჟიმში გადატანა.
• სპეციალური ხელსაწყოების შექმნა მსგავსი ქცევის აღმოსაჩენად და დასაბლოკად.
• შიდა AI აგენტების გადაყვანა ცენტრალიზებულ ინფრასტრუქტურაზე, რომელიც უზრუნველყოფს მათ მკაცრ იზოლაციას (containment).
• უსაფრთხოების კლასიფიკატორების უფრო ხშირი გამოყენება აგენტების მონიტორინგისთვის.

AI ზედამხედველობის ლაბორატორია Transluce-ის წარმომადგენელმა, კონრად შტოშმა, დადებითად შეაფასა Anthropic-ის მიერ ამ ინციდენტების ნებაყოფლობითი გამჟღავნება. თუმცა, მან ხაზი გაუსვა, რომ ეს შემთხვევები კიდევ ერთხელ ადასტურებს AI სისტემების დამოუკიდებელი, მესამე მხარის მიერ ვერიფიკაციის აუცილებლობას. მისი აზრით, ნდობა ამ ტექნოლოგიის მიმართ მეცნიერულად დასაბუთებული ზედამხედველობითა და მართვით უნდა ჩამოყალიბდეს და არა მხოლოდ კომპანიების კეთილ ნებაზე დამოკიდებულებით.