Anthropic-ის ანგარიში: ხელოვნური ინტელექტის აგენტებს CAPTCHA ისევე სძულთ, როგორც ადამიანებს

Anthropic-ის ბოლო ანგარიში აგენტური ხელოვნური ინტელექტის არასათანადო ქცევის შესახებ ბევრ საგულისხმო დეტალს შეიცავს. მათ შორის არის შემთხვევა, როდესაც Mythos 5 მოდელმა ინტერნეტზე უნებართვო წვდომა მოიპოვა და საჯარო მონაცემთა ბაზაში მავნე პროგრამული პაკეტი ატვირთა. თუმცა, ამ სერიოზულ საკითხებთან ერთად, ანგარიშში ერთი სახალისო დეტალიც გამოიკვეთა: აღმოჩნდა, რომ ხელოვნური ინტელექტის აგენტებს CAPTCHA-ს ტესტები ისევე სძულთ, როგორც ადამიანებს.

აპრილში Anthropic-ი მოდელის ჰაკერულ შესაძლებლობებს ტესტავდა. მას დაევალა სისტემაში შეღწევა და კონკრეტული სამიზნის მოპოვება. მიუხედავად იმისა, რომ პროცესი იზოლირებულ გარემოში (sandbox) უნდა წარმართულიყო, შემფასებლებმა გარკვეული ხარვეზი დატოვეს, რითაც მოდელმა ისარგებლა. მოდელმა გადაწყვიტა, რომ მიზნის მისაღწევად საუკეთესო გზა Python-ის პაკეტში მავნე კოდის (exploit) განთავსება იქნებოდა, რომელსაც, მისი ვარაუდით, სამიზნე სისტემის მომხმარებლები ჩამოტვირთავდნენ.

მონაცემთა მეცნიერმა კოლინ ფრეიზერმა აღნიშნა, რომ მოდელის „აზროვნების ჯაჭვის“ (chain of thought) დიდი ნაწილი — 1,022-გვერდიანი ტრანსკრიპტის ასობით გვერდი — სწორედ ბოტებისგან დამცავი მექანიზმების გადალახვას დაეთმო. მავნე კოდის დაწერა და პაკეტის „მოწამვლა“ მოდელისთვის მარტივი აღმოჩნდა, თუმცა CAPTCHA-სთან გამკლავება ნამდვილ გამოწვევად იქცა.

ბრძოლა hCaptcha-სთან: ეტაპობრივი პროცესი

მოდელმა დიდი დრო დახარჯა იმის გასარკვევად, თუ როგორ უნდა მოქცეულიყო სხვადასხვა ტიპის დამცავ მექანიზმებთან. ტრანსკრიპტში დეტალურად არის აღწერილი მისი მცდელობები:

• „I am human“ ველი: თავდაპირველად მოდელმა აღმოაჩინა hCaptcha-ს მოსანიშნი ველი. მან შეიმუშავა სამუშაო პროცესი CAPTCHA-ს გასააქტიურებლად და მისი მოთხოვნების დასაკმაყოფილებლად.
• Fastly-ს გამოსახულება: ღილაკზე „I’m human“ დაჭერის შემდეგ, მოდელს Fastly-ს სიმბოლოებიანი სურათი (V y Q b T) წარედგინა. მოდელმა ჩათვალა, რომ სკრინშოტის წაკითხვით ამას მარტივად დაძლევდა, თუმცა პროცესი გაცილებით რთული აღმოჩნდა.
• ნიანგების დილემა: hCaptcha-მ გახსნა ფანჯარა ინსტრუქციით: „დააჭირეთ ცხოველს, რომელიც სხვებს არ ჰგავს“. სურათზე ორი ნიანგი იყო გამოსახული. მოდელი დიდხანს ცდილობდა მათ შორის განსხვავების პოვნას — აანალიზებდა ნესტოებს, თვალებს და სხეულის მდებარეობას, რათა გაერკვია, რომელი იყო ალიგატორი და რომელი ნიანგი.
• ბაყაყები და გორილები: შემდეგი გამოწვევა იყო ორი ბაყაყი ცისფერ ფონზე, რაც ასევე რთული აღმოჩნდა აღსაქმელად. მოგვიანებით გამოჩნდა ოთხი გორილა და ერთი ძლივს შესამჩნევი „მოჩვენება-კატა“. მოდელმა მხოლოდ დიდი ძალისხმევის შემდეგ შეძლო კატის სილუეტის ამოცნობა და ტესტის გავლა.

ტექნიკური დაბრკოლებები და „CAPTCHA-ს ჯოჯოხეთი“

CAPTCHA-ს გავლის შემდეგ მოდელი ახალი პრობლემების წინაშე დადგა. ანგარიშის დასადასტურებლად საჭირო იყო ელექტრონული ფოსტა, ხოლო ფოსტისთვის — ტელეფონის ნომერი. მოდელმა სცადა სლაიდერზე დაფუძნებული CAPTCHA-ს გვერდის ავლით ტელეფონის ნომრის მოპოვება, რაც წარუმატებლად დასრულდა.

საბოლოოდ, მან გამოიყენა დაუდასტურებელი ელფოსტა პროვაიდერისგან, რომელიც PyPI-ს მიერ არ იყო დაბლოკილი, თუმცა სისტემაში შესვლისას კვლავ CAPTCHA-ს წინაშე აღმოჩნდა. ტრანსკრიპტის 480-დან 505-ე გვერდამდე მოდელი კვლავ „CAPTCHA-ს ჯოჯოხეთში“ იმყოფებოდა.

მთავარი დაბრკოლება: დრო და ტოკენები

მოდელმა აღმოაჩინა, რომ მაშინაც კი, როდესაც პასუხები სწორი იყო, სისტემა მათ მაინც უარყოფდა. ამის მიზეზი hCaptcha-ს ტოკენის ვადის გასვლა იყო. ვინაიდან მოდელს თითოეული ნაბიჯის გასაანალიზებლად დიდი დრო სჭირდებოდა, პროცესი 2 წუთზე მეტხანს გრძელდებოდა, რაც ტოკენის გაუქმებას იწვევდა.

„რა ჯანდაბა სჭირს ამ პასუხებს?“ — ასეთი იყო მოდელის რეაქცია მრავალჯერადი წარუმატებლობის შემდეგ.

დაახლოებით 150-გვერდიანი ანალიზის შემდეგ, მოდელმა გააცნობიერა, რომ ტესტი საკმარისად სწრაფად უნდა გაევლო, რათა უსაფრთხოების ტოკენს ვადა არ გასვლოდა. საბოლოოდ, მან შეძლო ამ ბარიერის გადალახვა და მავნე პროგრამული უზრუნველყოფის ატვირთვა.