ახალმა კვლევამ აჩვენა, რომ Google-ის ძიების შედეგები და OpenAI-ის API მხოლოდ ნაწილობრივ ემთხვევა იმ ციტირებებს, რომლებსაც ChatGPT თავის პასუხებში იყენებს. მკვლევარებმა შეამოწმეს, რამდენად შესაძლებელია ამ ინსტრუმენტების გამოყენება ChatGPT-ის მიერ მითითებული წყაროების ჩასანაცვლებლად ან გადასამოწმებლად.
ტესტირების პროცესში დადგინდა, რომ Google-ის შედეგებმა და OpenAI-ის API-მ ვერ იპოვეს იმ გვერდების უმეტესობა, რომლებსაც ChatGPT ციტირებდა. ეს მიუთითებს იმაზე, რომ ხელოვნური ინტელექტის მიერ გენერირებული წყაროების იდენტიფიცირება გარე ინსტრუმენტებით ყოველთვის ზუსტი არ არის.
კვლევის ძირითადი მიგნებები
მკვლევარებმა აღმოაჩინეს, რომ ე.წ. „ჩამნაცვლებელი“ ინსტრუმენტები (Google და API) უფრო ხშირად ემთხვეოდნენ ციტირებულ ვებგვერდებს (დომენებს), ვიდრე კონკრეტულ გვერდებს (ზუსტ URL-ებს). კვლევის მიზანი იყო დაედგინა, რამდენად ეფექტურად შეუძლია Google-ის ძიების შედეგებსა და OpenAI-ის API-ს ChatGPT-ის ციტირებების ფუნქციის შესრულება.
რეკომენდაციები მონაცემთა სიზუსტისთვის
კვლევის ავტორები რამდენიმე პრაქტიკულ რჩევას სთავაზობენ მათ, ვინც ChatGPT-ის ციტირებებსა და წყაროებს აანალიზებს:
- საიტების მიხედვით თვალის დევნება: რეკომენდებულია მონაცემების მონიტორინგი არა მხოლოდ კონკრეტული გვერდების, არამედ მთლიანი ვებგვერდების (დომენების) დონეზე, რადგან აქ დამთხვევის ალბათობა უფრო მაღალია.
- პრომპტების ხელახალი გაშვება: შედეგების ვალიდურობის შესამოწმებლად სასურველია ერთი და იმავე პრომპტის რამდენჯერმე გამოყენება.
- ხელახალი ტესტირება მოდელის განახლების შემდეგ: ვინაიდან ხელოვნური ინტელექტის მოდელები მუდმივად ვითარდება, აუცილებელია ხელახალი ტესტირება ყოველი მნიშვნელოვანი ცვლილების შემდეგ.
აღნიშნული ნაშრომი ხაზს უსვამს იმ სირთულეებს, რომლებიც დაკავშირებულია ხელოვნური ინტელექტის მიერ მოყვანილი ინფორმაციის წყაროების გადამოწმებასთან და მიუთითებს იმაზე, რომ მხოლოდ API-ზე ან ძიების შედეგებზე დაყრდნობა შესაძლოა სრულყოფილი სურათის მისაღებად არასაკმარისი იყოს.
