The Guardian-ის კვლევა: Google-ის AI Overviews-ი მცდარ სამედიცინო რჩევებს ავრცელებს

The Guardian-ის მიერ ჩატარებულმა კვლევამ გამოავლინა, რომ Google-ის ხელოვნური ინტელექტის მიერ გენერირებული პასუხები (AI Overviews) სამედიცინო ხასიათის ძიებებისას ხშირად მცდარ და პოტენციურად სახიფათო ინფორმაციას შეიცავს. ჯანდაცვის ექსპერტები აფრთხილებენ მომხმარებლებს, რომ ამგვარმა რჩევებმა შესაძლოა საფრთხე შეუქმნას მათ ჯანმრთელობას. თავად Google კვლევის შედეგებს არ ეთანხმება და აცხადებს, რომ წარმოდგენილი მაგალითები არასრულ სურათს ასახავს.

გამოცემამ ჩაატარა ჯანმრთელობასთან დაკავშირებული ძიებების ტესტირება და მიღებული პასუხები გადასცა საქველმოქმედო ორგანიზაციებს, სამედიცინო ექსპერტებსა და პაციენტთა საინფორმაციო ჯგუფებს. Google-ის წარმომადგენლებმა The Guardian-ს განუცხადეს, რომ AI Overviews-ის „აბსოლუტური უმრავლესობა“ ფაქტობრივად ზუსტი და სასარგებლოა, თუმცა ექსპერტების შეფასებები საპირისპიროზე მიუთითებს.

კვლევის ფარგლებში გამოკვეთილი პრობლემები მოიცავს როგორც ფიზიკურ, ისე ფსიქიკურ ჯანმრთელობასთან დაკავშირებულ საკითხებს. ექსპერტების აზრით, ხელოვნური ინტელექტის მიერ შემოთავაზებული შეჯამებები ხშირად ვერ აღიქვამს კონტექსტს და მომხმარებელს არასწორი მკურნალობისკენ ან დიაგნოსტიკისკენ უბიძგებს.

The Guardian-ის კვლევის შედეგები

The Guardian-მა სხვადასხვა სამედიცინო კითხვაზე მიღებული AI-გენერირებული პასუხები ჯანდაცვის ორგანიზაციებს გადაუგზავნა. რამდენიმე რეცენზენტმა დაადასტურა, რომ შეჯამებები შეიცავდა შეცდომაში შემყვან ან სრულიად მცდარ მითითებებს.

• პანკრეასის კიბო: ორგანიზაცია Pancreatic Cancer UK-ის დირექტორმა, ანა ჯუელმა, აღნიშნა, რომ პაციენტებისთვის ცხიმიანი საკვების თავიდან არიდების რჩევა „სრულიად მცდარია“. მისი თქმით, ამ მითითების შესრულება „შესაძლოა ძალიან სახიფათო აღმოჩნდეს და საფრთხე შეუქმნას ადამიანის შანსს, იყოს საკმარისად კარგად მკურნალობის დასაწყებად“.
• ფსიქიკური ჯანმრთელობა: ორგანიზაცია Mind-ის საინფორმაციო განყოფილების ხელმძღვანელმა, სტივენ ბაკლიმ, განაცხადა, რომ ფსიქოზისა და კვებითი აშლილობის შესახებ ზოგიერთი AI შეჯამება „ძალიან სახიფათო რჩევებს“ იძლეოდა. მისი შეფასებით, ეს ინფორმაცია იყო „არასწორი, საზიანო ან შესაძლოა ადამიანებს დახმარების ძიებისგან თავი შეაკავებინოს“.
• ონკოლოგიური სკრინინგი: საქველმოქმედო ორგანიზაცია Eve Appeal-ის აღმასრულებელმა დირექტორმა, ათენა ლამნისოსმა, ხაზი გაუსვა შემთხვევას, როდესაც პაპ-ტესტი (Pap test) მითითებული იყო საშოს კიბოს სადიაგნოსტიკო ტესტად, რაც მისი თქმით, „სრულიად მცდარი ინფორმაციაა“.

პაციენტთა საინფორმაციო ფორუმის (Patient Information Forum) დირექტორმა, სოფი რენდალმა, აღნიშნა, რომ ეს მაგალითები აჩვენებს, თუ როგორ შეუძლია Google-ის AI Overviews-ს არაზუსტი სამედიცინო ინფორმაცია ძიების შედეგების სათავეში მოაქციოს, რაც პირდაპირ რისკს უქმნის ადამიანების ჯანმრთელობას. გარდა ამისა, კვლევამ აჩვენა, რომ ერთი და იმავე კითხვის განმეორებითი ძიებისას, სისტემა სხვადასხვა დროს სხვადასხვა შეჯამებას და წყაროებს აგენერირებდა.

Google-ის პოზიცია

Google კატეგორიულად არ ეთანხმება როგორც მოყვანილ მაგალითებს, ისე კვლევის დასკვნებს. კომპანიის წარმომადგენელმა განმარტა, რომ გაზიარებული მაგალითების უმეტესობა იყო „არასრული სკრინშოტები“, თუმცა იმ მონაცემებზე დაყრდნობით, რაც მათ შეაფასეს, სისტემა მიუთითებდა „ცნობილ, რეპუტაციულ წყაროებზე და რეკომენდაციას უწევდა ექსპერტის კონსულტაციას“.

კომპანიის არგუმენტები შემდეგ პუნქტებად შეიძლება დაიყოს:

• AI Overviews-ის უდიდესი ნაწილი ფაქტობრივად ზუსტია და კომპანია მუდმივად მუშაობს ხარისხის გაუმჯობესებაზე.
• ხელოვნური ინტელექტის მიმოხილვების სიზუსტე იმავე დონეზეა, როგორც Google Search-ის სხვა ფუნქციების, მათ შორის Featured Snippets-ის.
• იმ შემთხვევებში, როდესაც AI არასწორად განმარტავს ვებ-კონტენტს ან ვერ აღიქვამს კონტექსტს, კომპანია შესაბამის ზომებს მიიღებს თავისი პოლიტიკის ფარგლებში.

სიზუსტის ზოგადი კონტექსტი

ეს გამოძიება მიმდინარეობს იმ ფართო დებატების ფონზე, რომელიც 2024 წელს AI Overviews-ის გაფართოებას მოჰყვა. საწყისი ეტაპის დროს, ფუნქციამ ყურადღება მიიპყრო უცნაური პასუხებით, როგორიცაა პიცაზე წებოს გამოყენება ან ქვების ჭამა. ამის შემდეგ Google-მა განაცხადა, რომ შეამცირებდა იმ კითხვების სპექტრს, რომლებიც AI შეჯამებებს ააქტიურებს.

Ahrefs-ის ბოლო მონაცემები აჩვენებს, რომ სამედიცინო YMYL (Your Money Your Life) კითხვები უფრო ხშირად ააქტიურებს AI Overviews-ს, ვიდრე სხვა თემები. 146 მილიონი საძიებო შედეგების გვერდის (SERP) ანალიზისას აღმოჩნდა, რომ სამედიცინო კითხვების 44.1%-ზე AI პასუხი გენერირდება, რაც ორჯერ აღემატება საშუალო მაჩვენებელს.

ცალკეულმა კვლევებმა, რომლებიც დიდ ენობრივ მოდელებში (LLM) სამედიცინო კითხვა-პასუხს სწავლობდა, გამოავლინა პრობლემები ციტირებასთან დაკავშირებით. SourceCheckup-ის შეფასებით, ბევრი პასუხი სრულად არ იყო გამყარებული იმ წყაროებით, რომლებსაც სისტემა თავადვე უთითებდა.

რატომ არის ეს მნიშვნელოვანი

AI Overviews ჩნდება ძიების შედეგების რეიტინგული სიის ზემოთ. როდესაც საქმე ჯანმრთელობას ეხება, ნებისმიერ შეცდომას კრიტიკული მნიშვნელობა აქვს. გამომცემლები წლების განმავლობაში ახორციელებენ ინვესტიციებს სამედიცინო ექსპერტიზაში, რათა დააკმაყოფილონ Google-ის მოთხოვნები, ახლა კი თავად Google-ის შეჯამებები მოექცა ყურადღების ცენტრში.

The Guardian-ის რეპორტაჟი ასევე ხაზს უსვამს პრაქტიკულ პრობლემას: ერთი და იგივე კითხვა სხვადასხვა დროს სხვადასხვა პასუხს იძლევა, რაც ართულებს ინფორმაციის გადამოწმებას და იმის დადგენას, თუ კონკრეტულად რა ნახა მომხმარებელმა ძიების მომენტში.

სამომავლო პერსპექტივა

წარსულში Google-მა უკვე შეიტანა ცვლილებები AI Overviews-ში ვირუსული კრიტიკის შემდეგ. კომპანიის პასუხი The Guardian-ის მიმართ მიუთითებს იმაზე, რომ ის ელოდება AI Overviews-ის შეფასებას ისევე, როგორც ძიების სხვა ფუნქციების შემთხვევაში და არ მიიჩნევს, რომ მისთვის ცალკე, უფრო მაღალი სტანდარტი უნდა არსებობდეს.