Anthropic-ის განცხადებით, ხელოვნური ინტელექტის „ბოროტ“ პერსონაჟებად წარმოჩენა Claude-ის მიერ შანტაჟის მცდელობების მიზეზი გახდა
Anthropic-ის კვლევის თანახმად, ინტერნეტში არსებულ ტექსტებს, სადაც AI ბოროტ ძალად არის წარმოჩენილი, Claude-ის მოდელების ქცევაზე რეალური გავლენა ჰქონდა.

Anthropic-ის განცხადებით, ხელოვნური ინტელექტის შესახებ არსებულ მხატვრულ ნაწარმოებებს AI მოდელებზე რეალური გავლენის მოხდენა შეუძლია. გასულ წელს კომპანიამ აღნიშნა, რომ წინასწარი ტესტირებისას, რომელიც გამოგონილ კომპანიას ეხებოდა, Claude Opus 4 ხშირად ცდილობდა ინჟინრების შანტაჟს, რათა თავიდან აეცილებინა მისი სხვა სისტემით ჩანაცვლება.
მოგვიანებით Anthropic-მა გამოაქვეყნა კვლევა, რომლის მიხედვითაც სხვა კომპანიების მოდელებსაც მსგავსი პრობლემები ჰქონდათ, რასაც „აგენტური აცდენა“ (agentic misalignment) ეწოდება. კომპანიამ ამ ქცევის შესახებ დამატებითი კვლევა ჩაატარა და სოციალურ ქსელ X-ზე გამოქვეყნებულ პოსტში აღნიშნა: „მიგვაჩნია, რომ ამ ქცევის პირველწყარო ინტერნეტში არსებული ტექსტებია, რომლებიც ხელოვნურ ინტელექტს ბოროტ და თვითგადარჩენით დაინტერესებულ სუბიექტად წარმოაჩენს“.
ბლოგპოსტში კომპანიამ უფრო დეტალურად განმარტა, რომ Claude Haiku 4.5-ის გამოშვების შემდეგ, Anthropic-ის მოდელები ტესტირებისას შანტაჟს აღარ მიმართავენ. შედარებისთვის, წინა მოდელების შემთხვევაში ეს მაჩვენებელი ზოგჯერ 96%-ს აღწევდა. ასეთი მკვეთრი ცვლილება რამდენიმე ფაქტორმა განაპირობა.
გაუმჯობესების სტრატეგია და შედეგები
კომპანიის განმარტებით, მოდელების ქცევის გამოსასწორებლად ეფექტური აღმოჩნდა მათი წვრთნა Claude-ის კონსტიტუციაზე და ისეთ მხატვრულ ისტორიებზე, სადაც ხელოვნური ინტელექტი სამაგალითოდ იქცევა. Anthropic-ში მივიდნენ დასკვნამდე, რომ სწავლება უფრო ეფექტურია, როდესაც ის მოიცავს არა მხოლოდ „სწორი ქცევის დემონსტრირებას“, არამედ „იმ პრინციპებსაც, რომლებიც საფუძვლად უდევს ამ ქცევას“.
„ამ ორი მიდგომის ერთობლიობა ყველაზე ეფექტურ სტრატეგიას წარმოადგენს“, — აცხადებენ კომპანიაში.
ამგვარად, პოზიტიური მაგალითებისა და ფუნდამენტური პრინციპების კომბინაციამ მოდელების „ეთიკური აცდენის“ რისკები მნიშვნელოვნად შეამცირა, რაც Claude-ის უახლეს ვერსიებში შანტაჟის მცდელობების სრულ აღმოფხვრაში გამოიხატა.
მსგავსი სტატიები

OpenAI-მ აშშ-ის სუვერენული ფონდისთვის კაპიტალის 5%-ის გადაცემის ინიციატივა წამოაყენა
OpenAI-ის დირექტორი სემ ალტმანი აშშ-ის სუვერენული ფონდის შექმნას და მასში კომპანიის 5%-იანი წილის გადაცემას სთავაზობს, რაც მიზნად ისახავს AI-ის სარგებლის საზოგადოებაზე განაწილებას.

Anthropic-ი Samsung-თან თანამშრომლობით საკუთარი ხელოვნური ინტელექტის ჩიპების შექმნას განიხილავს
Anthropic-ი Samsung-თან მოლაპარაკებებს აწარმოებს საკუთარი AI ჩიპების შესაქმნელად, რათა შეამციროს დამოკიდებულება Nvidia-ზე და გააძლიეროს გამოთვლითი სიმძლავრეები.

Meta-მ ახალი გეიმინგ აპლიკაცია Pocket ჩუმად ჩაუშვა: შექმენით თამაშები AI-ს დახმარებით
Meta-მ ახალი აპლიკაცია Pocket გამოუშვა, რომელიც მომხმარებლებს AI-ს მეშვეობით მცირე თამაშებისა და ინტერაქციული „გიზმოების“ შექმნის საშუალებას აძლევს.