ინფორმაციის მოძიება, ნაწილი 4: Grounding და RAG — როგორ ვებრძოლოთ ხელოვნური ინტელექტის ჰალუცინაციებს

ინფორმაციული ნაგვის ეპოქაში, ე.წ. „დამიწება“ (Grounding) გადამჩენის როლს ასრულებს. მას შეუძლია მნიშვნელოვნად შეამციროს ხელოვნური ინტელექტის ჰალუცინაციები და გაცილებით იაფია, ვიდრე მოდელების ხელახალი გადამზადება. Grounding გულისხმობს რობოტებისა და ტექნოლოგიური ენთუზიასტების მიერ შექმნილი ჰალუცინაციების ფაქტობრივ გადამოწმებას. როდესაც მოდელები აღიარებენ, რომ მათ რაღაც არ იციან, ისინი ცდილობენ შედეგები რეალურ ფაქტებს დაუკავშირონ საკუთარი თავის გადასამოწმებლად.

დიდი ენობრივი მოდელები (LLM) არ ეძებენ და არ ინახავენ წყაროებს ან კონკრეტულ URL-ებს; ისინი პასუხებს წინასწარ მიწოდებული კონტენტის საფუძველზე აგენერირებენ. RAG (Retrieval Augmented Generation) მოდელებს აკავშირებს სპეციფიკურ ცოდნასთან, რომელიც გამყარებულია ფაქტობრივი, ავტორიტეტული და აქტუალური მონაცემებით. ეს ამცირებს ჰალუცინაციების რისკს.

საბაზისო მოდელის ხელახალი გადამზადება ან მისი დახვეწა (fine-tuning) გამოთვლითი თვალსაზრისით ძვირი და რესურსტევადი პროცესია. შედეგების Grounding გაცილებით იაფი ჯდება. RAG-ის მეშვეობით, საწარმოებს შეუძლიათ გამოიყენონ შიდა, ავტორიტეტული მონაცემთა წყაროები და მიიღონ მოდელის მუშაობის მსგავსი გაუმჯობესება ხელახალი გადამზადების გარეშე. ეს წყვეტს LLM-ების უახლესი ცოდნის ნაკლებობის პრობლემას.

რა არის RAG?

RAG (Retrieval Augmented Generation) არის Grounding-ის ერთ-ერთი ფორმა და ფუნდამენტური ნაბიჯი საძიებო სისტემების სიზუსტისთვის. LLM-ები იწვრთნებიან მონაცემთა უზარმაზარ მასივებზე, თუმცა ყველა მონაცემთა ბაზას აქვს თავისი შეზღუდვები, განსაკუთრებით მაშინ, როდესაც საქმე ეხება ახალ ამბებს ან ცვალებად განზრახვებს. როდესაც მოდელს უსვამენ კითხვას, მას ხშირად არ გააჩნია შესაბამისი „დაჯერებულობის კოეფიციენტი“ ზუსტი პასუხისთვის; ამ დროს ის მიმართავს კონკრეტულ სანდო წყაროებს პასუხის დასამიწებლად, ნაცვლად იმისა, რომ მხოლოდ საწვრთნელ მონაცემებს დაეყრდნოს.

ამ რელევანტური, გარე ინფორმაციის მოპოვებით, საძიებო სისტემა აიდენტიფიცირებს მსგავს გვერდებს ან პასაჟებს და ამ ნაწყვეტებს (chunks) პასუხის ნაწილად აქცევს. ეს ნათლად აჩვენებს, თუ რატომ არის მნიშვნელოვანი საწვრთნელ მონაცემებში მოხვედრა. უფრო დიდია შანსი, რომ წყარო RAG-ისთვის სანდოდ ჩაითვალოს, თუ ის უკვე ფიგურირებს რელევანტური თემების საწვრთნელ ბაზაში. სწორედ ამიტომ, დღევანდელ ინტერნეტში სიზუსტესა და გაურკვევლობის აღმოფხვრას გადამწყვეტი მნიშვნელობა აქვს.

რატომ გვჭირდება ის?

LLM-ები ცნობილია თავისი ჰალუცინაციებით. ისინი დაპროგრამებულნი არიან პასუხის გასაცემად, მაშინაც კი, თუ ეს პასუხი მცდარია. შედეგების Grounding გარკვეულწილად აჩერებს მცდარი ინფორმაციის ნაკადს. ყველა მოდელს აქვს საწვრთნელი მონაცემების შეწყვეტის ლიმიტი (cutoff limit), რომელიც შეიძლება ერთი წლის ან მეტი ხნის წინანდელი იყოს. შესაბამისად, ნებისმიერი მოვლენა, რომელიც ბოლო ერთი წლის განმავლობაში მოხდა, პასუხგაუცემელი დარჩებოდა ფაქტების რეალურ დროში გადამოწმების გარეშე.

მოდელის მიერ დიდი მოცულობის მონაცემების ათვისების შემდეგ, ახალ ინფორმაციაზე პასუხის გასაცემად RAG-ის გამოყენება გაცილებით იაფია, ვიდრე მოდელის ხელახალი გადამზადება. როგორც დონ ანდერსონი აღნიშნავს თავის პრეზენტაციაში: „თქვენ ვერ დააგენერირებთ იმას, რისი მოძიებაც არ შეგიძლიათ“.

რით განსხვავდება Grounding და RAG?

დიახ, მათ შორის არის განსხვავება. RAG არის Grounding-ის ფორმა. Grounding უფრო ფართო ტერმინია, რომელიც გამოიყენება ხელოვნური ინტელექტის პასუხების ნებისმიერი სახის დაკავშირებაზე სანდო, ფაქტობრივ მონაცემებთან. RAG ამას აღწევს გარე წყაროებიდან რელევანტური დოკუმენტების ან პასაჟების მოძიებით. უმეტეს შემთხვევაში, ეს წყარო არის ცოცხალი ვებ-ძიება.

• Grounding არის საბოლოო შედეგი — „გთხოვთ, შეწყვიტოთ ამბების გამოგონება“.
• RAG არის მექანიზმი. როდესაც ChatGPT-ს არ აქვს საკმარისი დაჯერებულობა კითხვაზე პასუხის გასაცემად, მისი „შინაგანი მონოლოგი“ კარნახობს: „ნუ მოიტყუები, გადაამოწმე ინფორმაცია“.
• Grounding-ის მიღწევა შესაძლებელია fine-tuning-ით, prompt engineering-ით ან RAG-ით.
• RAG ან ამყარებს თავის მტკიცებულებებს, როდესაც ზღვარი არ არის მიღწეული, ან პოულობს წყაროს იმ ისტორიისთვის, რომელიც მის საწვრთნელ მონაცემებში არ არის.

არსებობს ურთიერთგამომრიცხავი ინფორმაცია იმის შესახებ, თუ რომელ ვებ-საძიებო სისტემებს იყენებენ ეს მოდელები. თუმცა, არსებობს მყარი მონაცემები, რომ ChatGPT კვლავ იყენებს Google-ის ძიების შედეგებს (scraping) ვებ-ძიებისას პასუხების ფორმირებისთვის.

რატომ ვერავინ ხსნის AI-ს ჰალუცინაციების პრობლემას?

ბევრი ჰალუცინაცია ლოგიკური ხდება, თუ მათ განვიხილავთ, როგორც მოდელის მცდელობას, შეავსოს ცარიელი ადგილები. ის ამას შეუმჩნევლად აკეთებს. OpenAI-ის განცხადებით: „იმ შემთხვევაშიც კი, როდესაც ენობრივი მოდელები უფრო შესაძლებლობებით სავსე ხდებიან, ერთი გამოწვევა კვლავ რთულად მოსაგვარებელი რჩება: ჰალუცინაციები. ეს არის შემთხვევები, როდესაც მოდელი თავდაჯერებულად აგენერირებს პასუხს, რომელიც სიმართლეს არ შეესაბამება“.

მოდელები ჰალუცინირებენ რამდენიმე მიზეზის გამო. OpenAI-ის კვლევის მიხედვით, წვრთნის პროცესი და შეფასება აჯილდოებს პასუხის გაცემას, მიუხედავად იმისა, სწორია ის თუ არა. ეს პავლოვის რეფლექსს ჰგავს: მოდელი იღებს „ჯილდოს“ პასუხისთვის. ეს ნაწილობრივ განპირობებულია იმით, თუ როგორ იწვრთნება მოდელი: დიდი რაოდენობით სტრუქტურირებული ან ნახევრად სტრუქტურირებული მონაცემების ათვისებით, ისინი ხდებიან შემდეგი სიტყვის წინასწარმეტყველების ოსტატები.

თუ ფაქტი საწვრთნელ მონაცემებში ათეულობით ან ასეულობითჯერ არის ნახსენები, მოდელი ნაკლებად დაუშვებს შეცდომას. მოდელები აფასებენ გამეორებას. თუმცა, იშვიათად ნახსენები ფაქტები (ე.წ. singleton rate) ხშირად ხდება შეცდომების მიზეზი. კვლევის მიხედვით, მაშინაც კი, თუ საწვრთნელი მონაცემები 100%-ით უშეცდომო იქნებოდა, მოდელის წვრთნის მიზნები მაინც გამოიწვევდა შეცდომების გენერირებას.

როგორ მუშაობს RAG?

სტანდარტული LLM-ები ინფორმაციას საკუთარი მონაცემთა ბაზებიდან იღებენ. ეს მონაცემები მოდელში „პარამეტრული მეხსიერების“ (parametric memory) სახით ინახება. RAG ხელოვნური ინტელექტის შრეს ინფორმაციის მოძიების კომპონენტს ამატებს. სისტემა:

➡️ მოიძიებს მონაცემებს ➡️ აძლიერებს პრომპტს ➡️ აგენერირებს გაუმჯობესებულ პასუხს.

უფრო დეტალური პროცესი ასე გამოიყურება:

1. მომხმარებელი შეიყვანს მოთხოვნას, რომელიც გარდაიქმნება ვექტორად.
2. LLM იყენებს თავის პარამეტრულ მეხსიერებას ტოკენების სავარაუდო თანმიმდევრობის წინასწარმეტყველებისთვის.
3. გამოითვლება ვექტორული მანძილი მოთხოვნასა და დოკუმენტების ერთობლიობას შორის (Cosine Similarity ან Euclidean Distance-ის გამოყენებით).
4. დგინდება, შეუძლია თუ არა მოდელის შენახულ მეხსიერებას მოთხოვნის დაკმაყოფილება გარე ბაზის გარეშე.
5. თუ დაჯერებულობის ზღვარი არ არის მიღწეული, ირთვება RAG ან Grounding-ის სხვა ფორმა.
6. საძიებო მოთხოვნა იგზავნება გარე მონაცემთა ბაზაში.
7. RAG არქიტექტურა აძლიერებს არსებულ პასუხს, აზუსტებს ფაქტებს ან ამატებს ინფორმაციას.
8. გენერირდება საბოლოო, გაუმჯობესებული შედეგი.

თუ მოდელი იყენებს გარე ბაზას, როგორიცაა Google ან Bing, მას არ სჭირდება საკუთარი ბაზის შექმნა RAG-ისთვის, რაც პროცესს აიაფებს. თუმცა, როდესაც Google-მა 2025 წლის სექტემბერში გააუქმა num=100 პარამეტრი, ChatGPT-ის ციტირებების რაოდენობა მკვეთრად შემცირდა.

თანამედროვე RAG არქიტექტურები იყენებენ ძიების ჰიბრიდულ მოდელს, სადაც სემანტიკური ძიება მიმდინარეობს საკვანძო სიტყვების ძიებასთან ერთად. ეს ნიშნავს, რომ პასუხის გაცემისას მხედველობაში მიიღება მთელი დოკუმენტი და კონტექსტუალური მნიშვნელობა. მაგალითად, ერთ-ერთ ქეისში საბაზისო მოდელის სიზუსტე იყო 75%, fine-tuning-ით ის 81%-მდე გაიზარდა, ხოლო fine-tuning + RAG-ის კომბინაციით 86%-ს მიაღწია.

პარამეტრული vs. არაპარამეტრული მეხსიერება

მოდელის პარამეტრული მეხსიერება არის ის კანონზომიერებები, რომლებიც მან საწვრთნელი მონაცემებიდან აითვისა. წვრთნის ფაზაში მოდელი ამუშავებს უზარმაზარ ინფორმაციას, რომელიც ვექტორულ სივრცედ გარდაიქმნება. კითხვის დასმისას ის ითვლის შემდეგი შესაძლო ტოკენის ალბათობას.

არაპარამეტრული მეხსიერება ინახავს ან წვდომას იღებს ინფორმაციაზე გარე მონაცემთა ბაზაში (მაგალითად, Wikipedia, Reddit ან საძიებო ინდექსი). ეს მოდელს საშუალებას აძლევს, საჭიროების შემთხვევაში ამოიღოს კონკრეტული ინფორმაცია. RAG მეთოდოლოგია აერთიანებს ამ ორ მიდგომას:

1. მოდელი იძენს ენისა და ნიუანსების „გაგებას“ პარამეტრული მეხსიერების საშუალებით.
2. პასუხები მდიდრდება და მოწმდება არაპარამეტრული მეხსიერების მეშვეობით.

რატომ არის ეს მნიშვნელოვანი SEO-სთვის?

თუ თქვენი ბიზნესისთვის მნიშვნელოვანია AI ძიება, თქვენ უნდა დაიკავოთ მაღალი პოზიციები საძიებო სისტემებში. თქვენი მიზანია მოხვდეთ RAG-ის შერჩევაში. თუ თქვენი ბრენდი ცუდად არის წარმოდგენილი მოდელის საწვრთნელ მონაცემებში, ამას მყისიერად ვერ შეცვლით, რადგან მოდელის ცოდნის ბაზა რეალურ დროში არ ახლდება.

ამიტომ, თქვენ უნდა იყოთ თვალსაჩინოდ წარმოდგენილი გარე მონაცემთა ბაზებში. რაც უფრო მაღალია თქვენი რეიტინგი, მით მეტია შანსი, რომ მოხვდეთ RAG-ზე დაფუძნებულ პასუხებში. რეკომენდებულია მარკ უილიამს-კუკის პრეზენტაციის ნახვა, რომელიც იძლევა მითითებებს, თუ როგორ ვიპოვოთ RAG-ზე დამოკიდებული მოთხოვნები და როგორ მოვახდინოთ მათზე გავლენა.

SEO-ს ძირითადი პრინციპები AI ეპოქაში

1. დაიკავეთ რაც შეიძლება მაღალი პოზიცია რელევანტური ტერმინებისთვის საძიებო სისტემებში.
2. გაიგეთ, როგორ გაზარდოთ LLM-ის პასუხებში მოხვედრის შანსი.
3. დროთა განმავლობაში აწარმოეთ უკეთესი მარკეტინგი, რათა მოხვდეთ საწვრთნელ მონაცემებში.

კონკრეტულად გაცემული პასუხები, რომლებიც ემთხვევა რელევანტურ ერთეულებს (entities), საუკეთესოდ მუშაობს. AI-სთვის ინფორმაციის მიწოდებისას ოპტიმალურია 200-500 სიმბოლოსგან შემდგარი ნაწყვეტები. მცირე ნაწყვეტები უფრო ზუსტი და ლაკონურია, ხოლო დიდმა ნაწყვეტებმა შეიძლება მოდელის დაბნევა გამოიწვიოს.

მთავარი რჩევები

• უპასუხეთ რელევანტურ კითხვას გვერდის დასაწყისშივე.
• ზუსტად და ლაკონურად დაამთხვიეთ თქვენი ერთეულები (entities).
• შესთავაზეთ ახალი, ღირებული ინფორმაცია (information gain).
• მოერიდეთ ბუნდოვანებას, განსაკუთრებით დოკუმენტის შუა ნაწილში.
• გქონდეთ მკაფიოდ განსაზღვრული არგუმენტაცია და გვერდის სტრუქტურა გამართული სათაურებით.
• გამოიყენეთ სიები და ცხრილები.
• იყავით საინტერესო: გამოიყენეთ უნიკალური მონაცემები, სურათები და ვიდეო.
• დაამთხვიეთ კონტენტი მომხმარებლის განზრახვას (intent).