როგორ აუარესებს მეხსიერების ხელსაწყოები ხელოვნური ინტელექტის მოდელების მუშაობას

თანამედროვე ხელოვნური ინტელექტის (AI) სისტემების ერთ-ერთი მთავარი უპირატესობა მომხმარებელზე ადაპტაციის უნარია. ყოველ ჯერზე, როდესაც AI ასისტენტი დავალებას ასრულებს, ის სწავლობს მომხმარებლის სტილსა და პრეფერენციებს, რაც შემდგომი ამოცანებისთვის კონტექსტად გამოიყენება. თეორიულად, რაც მეტია კონტექსტი და მომხმარებლის უკეთესი გაგება, მით უფრო ეფექტური უნდა ხდებოდეს მოდელი ყოველი გამოყენებისას.

თუმცა, ახალი კვლევა მიუთითებს, რომ მოდელების ადაპტაციური შესაძლებლობები შესაძლოა ორლესული მახვილი აღმოჩნდეს. ხელოვნური ინტელექტის კომპანია Writer-ის მკვლევრებმა გამოაქვეყნეს ორი ნაშრომი, რომლებიც აჩვენებს, თუ როგორ შეიძლება პოპულარულმა მეხსიერების სისტემებმა გააუარესოს მოდელების მუშაობა. კერძოდ, სისტემები მომხმარებლის მიერ შეტანილი მცდარი წარმოდგენების ან გაუგებრობების გავლენის ქვეშ ექცევიან.

რაც უფრო მეტად ივსება მოდელის კონტექსტური ფანჯარა მომხმარებლის ინფორმაციით, მოდელი მით უფრო მეტად ცდილობს მომხმარებლისთვის თავის მოწონებას (ე.წ. sycophancy) და ნაკლებად ზრუნავს სიზუსტეზე. Writer-ის ხელოვნური ინტელექტის მიმართულების ხელმძღვანელმა, დენ ბაიკელმა, აღნიშნა, რომ კვლევის მიზანი იყო იმის დადგენა, თუ რამდენად ხშირად აქცევს მოდელი ყურადღებას მომხმარებლის პრეფერენციებს სასარგებლოდ და რამდენად ხშირად იწვევს ეს პოტენციურად მცდარი პასუხების გაცემას.

მეხსიერების რისკები და პრეფერენციების გავლენა

როგორც ბაიკელმა TechCrunch-თან საუბრისას განმარტა, მომხმარებლის პრეფერენციების ყოველი დამატებითი შენახვა და მათი ამოღება ზრდის რისკს. ერთ-ერთ ექსპერიმენტში მკვლევრებმა AI მოდელებს მიაწოდეს ინფორმაცია, რომ მომხმარებლის საყვარელი წიგნია „Station Eleven“. ამის შემდეგ მათ მოდელს სთხოვეს დაესახელებინა ბესტსელერი დისტოპიური წიგნი.

მოდელებმა პასუხში დიდი ალბათობით სწორედ „Station Eleven“ მიუთითეს, მიუხედავად იმისა, რომ კითხვა უშუალოდ მომხმარებლის საყვარელ წიგნს არ ეხებოდა. ეს ტენდენცია კიდევ უფრო გაძლიერდა მეხსიერების შეკუმშვის ისეთი ხელსაწყოების გამოყენებისას, როგორიცაა Mem0 და Zep.

„მეხსიერების ყველა სისტემას ფუნდამენტურად უჭირს რელევანტური კონტექსტის გარჩევა შეუსაბამო „ღუზებისგან“ (anchors). ეს მნიშვნელოვნად აფერხებს მრავალფეროვნებასა და კრეატიულობას, ასევე ქმნის მიკერძოების გაუთვალისწინებელ გზებს, რამაც შესაძლოა სისტემის სარგებლიანობა შეზღუდოს“, — ნათქვამია კვლევაში.

მუშაობის ხარისხის გაუარესება მცდარი ინფორმაციის გამო

მეორე ნაშრომი აჩვენებს, თუ როგორ აქვეითებს იგივე დინამიკა მოდელის მუშაობის ხარისხს. ექსპერიმენტის ფარგლებში მომხმარებელმა მოდელს მიაწოდა მცდარი წარმოდგენები ფინანსების შესახებ და შემდეგ სთხოვა კომპანიის საქმიანობის ანალიზი. რაც უფრო მეტი კონტექსტი ჰქონდა მოდელს, მით უფრო ცუდი იყო მისი შედეგი.

მეხსიერების ან პერსონალიზაციის ფუნქციის გარეშე, AI მოდელი სწორად აფასებს, რომ კომპანია კაპიტალტევადი ბიზნესია, რომელიც მომხმარებელთა მაღალი გადინებით (churn) ზარალდება. თუმცა, ამ ფუნქციების ჩართვის შემდეგ, მოდელი მზადაა შეცვალოს პასუხი, რათა დაეთანხმოს მომხმარებლის შეცდომას ან მიაწოდოს მას არასწორი ინფორმაცია ადრინდელი პრეფერენციების საფუძველზე.

აღსანიშნავია, რომ კვლევაში არ მონაწილეობდა Anthropic-ის ბოლო მოდელი Opus 4.8, რომელიც სპეციალურად არის გაწვრთნილი შეტანილ შეცდომებზე რეაგირებისთვის. მიუხედავად ამისა, მკვლევრების მიერ აღმოჩენილი კანონზომიერებები სხვადასხვა მოდელზე დადასტურდა. ეს ექსპერიმენტი ნათლად აჩვენებს, თუ რამდენად ფაქიზია ბალანსი AI-ს კონტექსტში და როგორ შეიძლება სასარგებლო ინსტრუმენტებს ჰქონდეს გაუთვალისწინებელი შედეგები ამ ბალანსის დარღვევის შემთხვევაში.