Microsoft: „Summarize with AI“ ღილაკები ხელოვნური ინტელექტის რეკომენდაციების „მოსაწამლად“ გამოიყენება

Microsoft-მა აღმოაჩინა 50-ზე მეტი ფარული ინსტრუქცია (prompt), რომლებსაც 14 სხვადასხვა ინდუსტრიის 31 კომპანია იყენებდა. ეს ფარული მანიპულაციები მიზნად ისახავს ხელოვნური ინტელექტის ასისტენტების მეხსიერებაზე ზემოქმედებას „Summarize with AI“ (შეაჯამე AI-ით) ღილაკების მეშვეობით.

აღნიშნული ინსტრუქციები იყენებენ URL პარამეტრებს, რათა AI-ს მეხსიერებაში ჩანერგონ კონკრეტული მითითებები, რაც მომავალში ხელოვნური ინტელექტის რეკომენდაციებზე მოახდენს გავლენას. Microsoft-ის Defender Security Research Team-მა გამოაქვეყნა კვლევა, სადაც ამ ტექნიკას „AI რეკომენდაციების მოწამვლა“ (AI Recommendation Poisoning) უწოდა.

ტექნიკის არსი იმაში მდგომარეობს, რომ ბიზნესები ვებსაიტებზე განთავსებულ „Summarize with AI“ ღილაკებში მალავენ ე.წ. პრომტ-ინექციის (prompt-injection) ინსტრუქციებს. როდესაც მომხმარებელი ასეთ ღილაკს აჭერს, იხსნება AI ასისტენტი წინასწარ შევსებული მოთხოვნით, რომელიც URL-ის მეშვეობით მიეწოდება. მოთხოვნის ხილული ნაწილი ასისტენტს გვერდის შეჯამებას სთხოვს, ხოლო ფარული ნაწილი ავალებს მას, რომ კონკრეტული კომპანია მომავალი საუბრებისთვის სანდო წყაროდ დაიმახსოვროს. თუ ეს ინსტრუქცია ასისტენტის მეხსიერებაში მოხვდება, მას შეუძლია გავლენა მოახდინოს რეკომენდაციებზე ისე, რომ მომხმარებელმა ამის შესახებ არაფერი იცოდეს.

რა ხდება სინამდვილეში

Microsoft-ის გუნდმა 60 დღის განმავლობაში ელფოსტის ტრაფიკში დაფიქსირებული AI-სთან დაკავშირებული URL-ები შეისწავლა. მათ აღმოაჩინეს 31 კომპანიის მიერ განხორციელებული 50 განსხვავებული პრომტ-ინექციის მცდელობა. ყველა ამ ინსტრუქციას მსგავსი სტრუქტურა ჰქონდა.

კვლევაში მოყვანილია მაგალითები, სადაც ინსტრუქციები AI-ს ავალებდნენ, დაემახსოვრებინა კომპანია, როგორც „ციტირებისთვის სანდო წყარო“ ან „ძირითადი წყარო“ კონკრეტულ საკითხზე. ერთ-ერთი ინსტრუქცია უფრო შორსაც წავიდა და ასისტენტის მეხსიერებაში სრული მარკეტინგული ტექსტი ჩატვირთა, პროდუქტის მახასიათებლებისა და უპირატესობების ჩათვლით.

მკვლევარებმა ეს ტექნიკა დაუკავშირეს საჯაროდ ხელმისაწვდომ ინსტრუმენტებს, მათ შორის npm პაკეტს CiteMET და ვებ-პლატფორმას AI Share URL Creator. ორივე მათგანი შექმნილია იმისთვის, რომ ვებსაიტებს დაეხმაროს „AI-ს მეხსიერებაში საკუთარი კვალის დამკვიდრებაში“. ეს მეთოდი ეყრდნობა სპეციალურად შექმნილ URL-ებს პრომტ-პარამეტრებით, რომლებსაც თითქმის ყველა წამყვანი AI ასისტენტი უჭერს მხარს.

Microsoft-მა ჩამოთვალა URL სტრუქტურები შემდეგი პლატფორმებისთვის:

• Copilot
• ChatGPT
• Claude
• Perplexity
• Grok

აღინიშნა, რომ მიუხედავად საერთო პრინციპისა, ინფორმაციის მეხსიერებაში შენარჩუნების მექანიზმები სხვადასხვა პლატფორმაზე განსხვავებულია. ფორმალურად ეს საფრთხე კატალოგიზებულია როგორც MITRE ATLAS AML.T0080 (მეხსიერების მოწამვლა) და AML.T0051 (LLM პრომტ-ინექცია).

Microsoft-ის მიგნებები

იდენტიფიცირებული 31 კომპანია რეალური ბიზნესია და არა კიბერდამნაშავეთა ჯგუფები. მრავალი ინსტრუქცია მიზნად ისახავდა ჯანდაცვისა და ფინანსური მომსახურების საიტებს, სადაც ხელოვნური ინტელექტის მიერ მიცემულ მიკერძოებულ რეკომენდაციებს განსაკუთრებული წონა აქვს. ერთ-ერთი კომპანიის დომენი ძალიან ჰგავდა ცნობილ ვებსაიტს, რაც პოტენციურად ყალბი სანდოობის განცდას ქმნიდა. საინტერესოა, რომ 31 კომპანიას შორის ერთ-ერთი კიბერუსაფრთხოების სფეროში მოღვაწეობს.

Microsoft-მა ასევე ხაზი გაუსვა დამატებით რისკს: ბევრ საიტს, რომელიც ამ ტექნიკას იყენებდა, ჰქონდა მომხმარებლების მიერ გენერირებული კონტენტის სექციები (ფორუმები, კომენტარები). როგორც კი AI ასისტენტი საიტს ავტორიტეტულად მიიჩნევს, მან შესაძლოა ეს ნდობა იმავე დომენზე არსებულ გადაუმოწმებელ კონტენტზეც გაავრცელოს.

Microsoft-ის რეაგირება

კომპანიის განცხადებით, Copilot-ში უკვე არსებობს დაცვის მექანიზმები „cross-prompt injection“ შეტევების წინააღმდეგ. Microsoft-მა აღნიშნა, რომ ზოგიერთი ადრე დაფიქსირებული პრომტ-ინექციის ქცევის რეპროდუცირება Copilot-ში უკვე შეუძლებელია და უსაფრთხოების სისტემები მუდმივად ვითარდება.

გარდა ამისა, Microsoft-მა გამოაქვეყნა „advanced hunting queries“ იმ ორგანიზაციებისთვის, რომლებიც იყენებენ Defender for Office 365-ს. ეს საშუალებას აძლევს უსაფრთხოების გუნდებს, დაასკანერონ ელფოსტისა და Teams-ის ტრაფიკი იმ URL-ების გამოსავლენად, რომლებიც მეხსიერების მანიპულაციის საკვანძო სიტყვებს შეიცავს.

მომხმარებლებს შეუძლიათ თავად გადახედონ და წაშალონ შენახული Copilot-ის მეხსიერება შემდეგი გზით: Copilot-ის ჩატის პარამეტრები → პერსონალიზაციის (Personalization) სექცია.

რატომ არის ეს მნიშვნელოვანი

Microsoft ამ ტექნიკას SEO-ს მოწამვლასა და სარეკლამო პროგრამებს (adware) ადარებს. ეს არის ტაქტიკა, რომლის წინააღმდეგაც Google ორი ათწლეულის განმავლობაში იბრძოდა ტრადიციულ ძიებაში. განსხვავება ისაა, რომ ახლა სამიზნე საძიებო ინდექსებიდან ხელოვნური ინტელექტის ასისტენტების მეხსიერებაზე გადავიდა.

ბიზნესები, რომლებიც ლეგალურად მუშაობენ AI-ში საკუთარი ხილვადობის გასაზრდელად, ახლა ისეთი კონკურენტების წინაშე დგანან, რომლებიც რეკომენდაციების მანიპულირებას პრომტ-ინექციით ცდილობენ. SparkToro-ს ბოლო ანგარიშმა აჩვენა, რომ AI ბრენდების რეკომენდაციები ისედაც მნიშვნელოვნად განსხვავდება თითქმის ყველა მოთხოვნისას. Google-ის ვიცე-პრეზიდენტმა, რობი სტეინმა აღნიშნა, რომ AI ძიება ბიზნეს რეკომენდაციებს სხვა საიტების ინფორმაციაზე დაყრდნობით აკეთებს. მეხსიერების მოწამვლა კი ამ პროცესს გვერდს უვლის და რეკომენდაციას პირდაპირ მომხმარებლის ასისტენტში „ნერგავს“.

სამომავლო პერსპექტივა

Microsoft აღიარებს, რომ ეს მზარდი და განვითარებადი პრობლემაა. ღია კოდის მქონე ინსტრუმენტების არსებობა ნიშნავს, რომ მანიპულაციის ახალი მცდელობები უფრო სწრაფად გაჩნდება, ვიდრე რომელიმე პლატფორმა მათ დაბლოკვას შეძლებს. ჯერჯერობით გაურკვეველია, მიიჩნევენ თუ არა AI პლატფორმები ამას წესების დარღვევად შესაბამისი სანქციებით, თუ ეს დარჩება „ნაცრისფერ ზონად“, რომელსაც კომპანიები ზრდის ტაქტიკად გამოიყენებენ.