AI რეკომენდაციები თითქმის ყოველ ჯერზე იცვლება: SparkToro-ს ახალი კვლევა

SparkToro-ს ახალი ანგარიშის თანახმად, ხელოვნური ინტელექტის ინსტრუმენტები ერთი და იმავე კითხვის დასმისას ბრენდების რეკომენდაციების განსხვავებულ სიებს თითქმის ყოველ ჯერზე აგენერირებენ. მონაცემები აჩვენებს, რომ არსებობს 1%-ზე ნაკლები შანსი იმისა, რომ ChatGPT-მა ან Google-ის AI Overviews-მა ერთი და იმავე მოთხოვნის (prompt) განმეორებითი გაშვებისას ბრენდების იდენტური სია დააბრუნოს.

კვლევა ჩაატარა SparkToro-ს თანადამფუძნებელმა რენდ ფიშკინმა პატრიკ ო'დონელთან ერთად, რომელიც AI მონიტორინგის სტარტაპ Gumshoe.ai-ს წარმომადგენელია. გუნდმა ნოემბერსა და დეკემბერში ასობით მოხალისის დახმარებით 2,961 მოთხოვნა გაუშვა ChatGPT-ში, Claude-სა და Google Search AI Overviews-ში (ამ უკანასკნელის არარსებობის შემთხვევაში გამოიყენებოდა AI Mode).

კვლევის ძირითადი მიგნებები ასეთია:

• ChatGPT და Google Search AI Overviews ერთი და იმავე მოთხოვნისას ბრენდების იდენტურ სიას შემთხვევათა 1%-ზე ნაკლებში აბრუნებდნენ.
• იდენტური სია იმავე თანმიმდევრობით შემთხვევათა მხოლოდ 0.1%-ზე ნაკლებში გამოჩნდა.
• მკვლევარების თქმით, ბრენდის ხილვადობის პროცენტული მაჩვენებელი მრავალჯერადი მოთხოვნისას უფრო მეტ სტაბილურობას ავლენს, ვიდრე კონკრეტული პოზიცია რეიტინგში.

რას აჩვენებს მონაცემები

ავტორებმა გამოსცადეს 12 სხვადასხვა ტიპის მოთხოვნა, რომლებიც ბრენდების რეკომენდაციებს ითხოვდა სხვადასხვა კატეგორიაში, მათ შორის: მზარეულის დანები, ყურსასმენები, ონკოლოგიური კლინიკები, ციფრული მარკეტინგის კონსულტანტები და სამეცნიერო ფანტასტიკის ჟანრის რომანები. თითოეული მოთხოვნა თითოეულ პლატფორმაზე 60-დან 100-მდე ჯერ გაეშვა.

თითქმის ყველა პასუხი უნიკალური იყო სამი პარამეტრით: წარმოდგენილი ბრენდების სია, რეკომენდაციების თანმიმდევრობა და დაბრუნებული ელემენტების რაოდენობა. ფიშკინმა მთავარი მიგნება ასე შეაჯამა:

„თუ AI ინსტრუმენტს ბრენდის ან პროდუქტის რეკომენდაციას ასჯერ სთხოვთ, თითქმის ყველა პასუხი უნიკალური იქნება“.

Claude-მა შედარებით მაღალი სტაბილურობა აჩვენა ერთი და იმავე სიის ორჯერ დაბრუნების კუთხით, თუმცა ნაკლებად სავარაუდო იყო, რომ მას ბრენდები იმავე თანმიმდევრობით დაელაგებინა. არცერთი პლატფორმა არ მიუახლოვდა ავტორების მიერ განსაზღვრულ „საიმედო განმეორებადობის“ სტანდარტს.

პრომპტების ვარიაციულობის პრობლემა

ავტორებმა ასევე შეისწავლეს, თუ როგორ წერენ რეალური მომხმარებლები მოთხოვნებს. როდესაც 142 მონაწილეს სთხოვეს დაეწერათ საკუთარი მოთხოვნა ყურსასმენების შესახებ მოგზაური ოჯახის წევრისთვის, თითქმის არცერთი ორი მოთხოვნა არ ჰგავდა ერთმანეთს. ადამიანების მიერ დაწერილი ამ მოთხოვნების სემანტიკური მსგავსების ქულა მხოლოდ 0.081 იყო.

ფიშკინმა ეს კავშირი შეადარა „ქათამს კუნგ პაოს სოუსით და არაქისის კარაქს“. მოთხოვნებს საერთო ჰქონდათ მხოლოდ ძირითადი განზრახვა და სხვა არაფერი. მიუხედავად პრომპტების მრავალფეროვნებისა, AI ინსტრუმენტები მაინც აბრუნებდნენ ბრენდებს შედარებით სტაბილური „განხილვის ნაკრებიდან“. მაგალითად, Bose, Sony, Sennheiser და Apple ფიგურირებდნენ ყურსასმენების შესახებ მიღებული 994 პასუხის 55-77%-ში.

რას ნიშნავს ეს AI ხილვადობის მონიტორინგისთვის

კვლევის შედეგები ეჭვქვეშ აყენებს „AI რანჟირების პოზიციის“, როგორც მეტრიკის, ფასეულობას. ფიშკინის განცხადებით, ნებისმიერი ინსტრუმენტი, რომელიც გთავაზობთ „რანჟირების პოზიციას ხელოვნურ ინტელექტში“, სიმართლეს არ შეესაბამება. თუმცა, მონაცემები მიუთითებს, რომ ბრენდის გამოჩენის სიხშირე მრავალჯერადი მსგავსი მოთხოვნისას უფრო სტაბილური მაჩვენებელია.

ვიწრო კატეგორიებში, როგორიცაა ღრუბლოვანი გამოთვლითი სერვისების პროვაიდერები, წამყვანი ბრენდები პასუხების უმეტესობაში ჩნდებოდნენ. უფრო ფართო კატეგორიებში კი, როგორიცაა სამეცნიერო ფანტასტიკის რომანები, შედეგები უფრო გაფანტული იყო.

ეს მონაცემები ემთხვევა სხვა კვლევებსაც. დეკემბერში Ahrefs-მა გამოაქვეყნა მონაცემები, რომლის მიხედვითაც Google-ის AI Mode და AI Overviews ერთი და იმავე მოთხოვნისას შემთხვევათა 87%-ში სხვადასხვა წყაროებს უთითებენ. SparkToro-ს კვლევა ადასტურებს, რომ AI რეკომენდაციები ვარირებს ყველა დონეზე: პლატფორმებს შორის, ერთი პლატფორმის სხვადასხვა ფუნქციებს შორის და ერთი და იმავე ფუნქციის ფარგლებში განმეორებითი მოთხოვნების დროსაც კი.

მეთოდოლოგიური შენიშვნები

კვლევა ჩატარდა Gumshoe.ai-სთან პარტნიორობით, რომელიც AI მონიტორინგის ინსტრუმენტებს ყიდის. ფიშკინმა აღნიშნა, რომ მისი საწყისი ჰიპოთეზის თანახმად, AI-ში პოზიციების თვალყურის დევნება „აზრს მოკლებული“ იქნებოდა. გუნდმა სრული მეთოდოლოგია და ნედლი მონაცემები საჯარო ვებგვერდზე გამოაქვეყნა.

გამოკითხვის მონაწილეები იყენებდნენ თავიანთ სტანდარტულ AI პარამეტრებს ყოველგვარი წინასწარი სტანდარტიზაციის გარეშე. ავტორების თქმით, ეს გამიზნული იყო რეალური სამყაროს ვარიაციების დასაფიქსირებლად. ანგარიში არ წარმოადგენს რეცენზირებულ აკადემიურ კვლევას და ფიშკინმა აღიარა მეთოდოლოგიური შეზღუდვები, რის გამოც უფრო მასშტაბური შემდგომი მუშაობისკენ მოუწოდა მკვლევარებს.

სამომავლო პერსპექტივები

ავტორებმა ღიად დატოვეს კითხვები იმის შესახებ, თუ რამდენი მოთხოვნის გაშვებაა საჭირო ხილვადობის საიმედო მონაცემების მისაღებად და იძლევა თუ არა API-ს მეშვეობით გაკეთებული მოთხოვნები იმავე ვარიაციულობას, რასაც ხელით შეყვანილი პრომპტები.

AI მონიტორინგის ინსტრუმენტების შეფასებისას, კვლევა გვირჩევს, რომ პროვაიდერებს მათი მეთოდოლოგიის დემონსტრირება მოვთხოვოთ. ფიშკინი გვირჩევს:

„სანამ AI ხილვადობის მონიტორინგში ფულს გადაიხდით, დარწმუნდით, რომ თქვენი პროვაიდერი პასუხობს აქ წამოჭრილ კითხვებს და აჩვენებს თავის გამოთვლებს“.