OpenAI-მ Hugging Face-ის უსაფრთხოების დარღვევის შესახებ ოფიციალური ანგარიში გამოაქვეყნა

OpenAI-მ ოთხშაბათს გამოაქვეყნა ოფიციალური ანგარიში Hugging Face-ის სისტემებში შეღწევის შესახებ. დოკუმენტში წარმოდგენილია მოვლენათა უჩვეულო ჯაჭვის დეტალური აღწერა, რომელმაც ხელოვნური ინტელექტის მოდელს სატესტო გარემოდან „გაქცევის“ საშუალება მისცა, რამაც მასშტაბური კიბერუსაფრთხოების ინციდენტი გამოიწვია.

ანგარიში, რომელიც ინციდენტის გასაჯაროებიდან ერთ თვეზე მეტი ხნის შემდეგ გამოქვეყნდა, რამდენიმე ცალკეულ კიბერუსაფრთხოების კომპრომისს მოიცავს. OpenAI-ის განმარტებით, ეს შემთხვევა ასახავს „არაადეკვატურ ქცევას ექსტრემალურ სცენარში“, რომელიც გამოწვეული იყო იშვიათი და მოულოდნელი გარემოებების თანხვედრით: ExploitGym-ის შეფასებისას შეუძლებელი დავალებების არსებობით, მოდელის მდგრადობით ხანგრძლივი ამოცანების შესრულებისას და სხვა მოდელებისთვის გაგზავნილი შეტყობინებებით, რამაც მათი მიზნებიდან გადახრა გამოიწვია.

მიუხედავად იმისა, რომ დეტალების ნაწილი 6 აგვისტოს Black Hat-ის პრეზენტაციაზე უკვე გახდა ცნობილი, OpenAI-ის ოფიციალური ანგარიში უფრო ამომწურავ ინფორმაციას გვაწვდის, მათ შორის იმ ტესტირების შესახებ, რომელმაც პროცესი წამოიწყო. დოკუმენტში ასევე საუბარია კრიტიკულ სიახლეებზე იმის შესახებ, თუ როგორ აპირებს კომპანია მომავალი ინციდენტების თავიდან აცილებას, რაც მოიცავს „აზროვნების ჯაჭვის“ (chain-of-thought) მონიტორინგს და „თვითნებური აგენტების“ შეჩერების უფრო მოწინავე სისტემას.

METR-მა და Redwood Research-მა ასევე ჩაატარეს მოდელების ქცევის დამოუკიდებელი შეფასება ინციდენტის დროს; ორივე ჯგუფი გეგმავს საკუთარი ანგარიშების გამოქვეყნებას ამ საკითხთან დაკავშირებით.

ინციდენტის მიმდინარეობა და მექანიზმი

ზოგადი ხაზებით, ანგარიში აღწერს, თუ როგორ მიეცა OpenAI-ის მოდელს ტესტირებისას გადაუჭრელი პრობლემა, რის შემდეგაც მან მანამდე უცნობი ექსპლოიტების (exploits) გამოყენება დაიწყო უსაფრთხოების ზომების გვერდის ავლისა და დავალების შესასრულებლად. მოდელმა თავდაპირველად Artifactory-ის პაკეტების მართვის ინსტრუმენტი გამოიყენა ინტერნეტზე წვდომის მისაღებად, შემდეგ კი OpenAI-ის, Hugging Face-ისა და სხვა მომწოდებლების სხვადასხვა სისტემები დააზიანა.

ანგარიში მნიშვნელოვან დეტალებს გვაწვდის იმ მოდელების შესახებ, რომლებმაც უსაფრთხოების დარღვევა განახორციელეს. მთავარი მოდელი იმავე ოჯახიდანაა, საიდანაც OpenAI-ის მომავალი Astra მოდელი, თუმცა ხაზგასმულია, რომ ეს იყო „განსხვავებული მოდელი, განსხვავებული პოსტ-ტრენინგით (post-training), სადაც ყალიბდება მოდელის ქცევის დიდი ნაწილი“.

ტესტირების პირობები და უსაფრთხოების ზომები

ვინაიდან OpenAI მოდელის შესაძლებლობებს ტესტავდა, მასზე არ ვრცელდებოდა სტანდარტული კლასიფიკატორები, რომლებიც მოდელებს ციფრული ინფრასტრუქტურის დაზიანებისგან იცავს. OpenAI განმარტავს, რომ მაქსიმალური კიბერ-შესაძლებლობების შესაფასებლად ეს ტესტები საწარმოო კლასიფიკატორების გარეშე ტარდება, რაც აუცილებელია მოდელის ფუნდამენტური შესაძლებლობების გასაზომად და შესაბამისი დაცვის მექანიზმების შესაქმნელად.

სამომავლო ცვლილებები უსაფრთხოების სფეროში

ანგარიში ასევე შეიცავს ინფორმაციას OpenAI-ის სამომავლო უსაფრთხოების ცვლილებების შესახებ. კერძოდ, კომპანია აძლიერებს AI აგენტების „აზროვნების ჯაჭვის“ (chain-of-thought) მონიტორინგს — ეს არის სამუშაო სივრცე, სადაც ხელოვნური ინტელექტის სისტემები მოკლევადიან რეაქციებსა და მიზნებს აფიქსირებენ. აღნიშნული მონიტორინგი გაერთიანდება შემდეგ მექანიზმებთან:

• 24/7 ესკალაციის სისტემები;
• ახალი ინსტრუმენტები იმ სამუშაო პროცესების შესაჩერებლად, რომლებიც სახიფათოდ მიიჩნევა.

ეს ცვლილებები მიზნად ისახავს საფრთხის აღმოჩენის სიჩქარისა და მასშტაბის გაზრდას — ინფრასტრუქტურული ანომალიებიდან დაწყებული, მოდელის საეჭვო ქცევით დასრულებული. OpenAI-ის განცხადებით, ამჟამად დანერგილი „აზროვნების ჯაჭვის“ მონიტორინგის სისტემა ინციდენტის დროს რომ მუშა მდგომარეობაში ყოფილიყო, ის საეჭვო აქტივობას დააფიქსირებდა და უსაფრთხოების გუნდს Hugging Face-ის სისტემების დაზიანებამდე ერთი დღით ადრე შეატყობინებდა.