ხელოვნური ინტელექტის ციტირების ტესტი: წყაროების თანმიმდევრობა იმაზე ნაკლებმნიშვნელოვანია, ვიდრე ჩანს

ხელოვნური ინტელექტის მიერ წყაროების ციტირების მექანიზმების შესასწავლად ჩატარებულმა კონტროლირებადმა ტესტმა მნიშვნელოვანი მიგნებები გამოავლინა. კვლევის შედეგად დადგინდა, რომ ინფორმაციის წყაროების თანმიმდევრობა იმაზე ნაკლებ გავლენას ახდენს საბოლოო შედეგზე, ვიდრე ამას ნედლი მონაცემების ზედაპირული ანალიზი მიუთითებდა.

მეტ ჯ. საუზერნის მიერ მომზადებული მიმოხილვა ეყრდნობა მონაცემებს, რომლებიც ცვლის წარმოდგენას იმის შესახებ, თუ როგორ ირჩევს ხელოვნური ინტელექტი წყაროებს ციტირებისთვის. კვლევამ აჩვენა, რომ პოზიციური უპირატესობა ხშირად გადაფასებულია და რეალური სურათი გაცილებით კომპლექსურია, ვიდრე უბრალოდ პირველ ადგილზე ყოფნა.

პოზიციური გავლენა და კონტროლირებადი ტესტირება

ნედლი მონაცემების ანალიზისას იქმნებოდა შთაბეჭდილება, რომ წყაროების განლაგების თანმიმდევრობა გადამწყვეტ როლს ასრულებდა ციტირების პროცესში. თუმცა, როდესაც მკვლევარებმა გამოიყენეს წყაროების კონტროლირებადი გადაადგილების მეთოდი, აღმოჩნდა, რომ პოზიციებს შორის არსებული რეალური სხვაობა იმაზე მცირეა, ვიდრე ამას სტატისტიკური მონაცემები მიუთითებდა. ეს ნიშნავს, რომ წყაროს პოზიცია სიაში არ განსაზღვრავს მის ავტორიტეტულობას ისე პირდაპირ, როგორც აქამდე მიიჩნეოდა.

სტრუქტურირებული კონტენტის გავლენა ციტირებაზე

კვლევის ფარგლებში ასევე შემოწმდა სტრუქტურირებული გადაწერის (structured rewrites) გავლენა ციტირების ხარისხზე. დაკვირვებამ რამდენიმე მნიშვნელოვანი ტენდენცია გამოკვეთა:

• სტრუქტურირებულმა ტექსტებმა მიიღეს მეტი ციტირების „კრედიტი“ (citation credit).
• მიუხედავად კრედიტის ზრდისა, თავად ციტირების ფაქტობრივი სიხშირის მკვეთრი მატება არ დაფიქსირებულა.
• კონტენტის სტრუქტურული გაუმჯობესება ცვლის იმას, თუ როგორ ნაწილდება ციტირების წონა სხვადასხვა წყაროს შორის.

ტესტირების სანდოობა და განმეორებადობა

ერთ-ერთი ყველაზე კრიტიკული მიგნება ეხება ტესტირების მეთოდოლოგიას და შედეგების სტაბილურობას. კვლევამ აჩვენა, რომ ერთი და იმავე მონაცემების (input) შეყვანისას, ხელოვნური ინტელექტი ყოველთვის იდენტურ შედეგს არ იძლევა. ციტირების გამოსავალი იცვლებოდა იმავე მოთხოვნის განმეორებისას, რამაც შემდეგი დასკვნების საფუძველი გააჩინა:

• ერთჯერად ცდებზე დაყრდნობილი დასკვნები ნაკლებად სანდოა და შესაძლოა მცდარი იყოს.
• ხელოვნური ინტელექტის ციტირების ალგორითმების შესასწავლად აუცილებელია მრავალჯერადი ტესტირება.
• მონაცემთა ცვალებადობა მიუთითებს იმაზე, რომ AI-ს მიერ წყაროების შერჩევა გარკვეულწილად არაპროგნოზირებადია.

შეჯამების სახით შეიძლება ითქვას, რომ კონტროლირებადმა ტესტმა დაადასტურა: წყაროების თანმიმდევრობა ნაკლებმნიშვნელოვანია, ვიდრე ეს ნედლი მონაცემებიდან ჩანს, ხოლო სტრუქტურირებული კონტენტი მნიშვნელოვნად ცვლის ციტირების კრედიტის განაწილების დინამიკას.