ინფორმაციის მოძიება, ნაწილი 2: როგორ მოვხვდეთ ხელოვნური ინტელექტის მოდელების საწვრთნელ მონაცემებში

ეს არის სრულყოფილი გზამკვლევი საწვრთნელი მონაცემების შესახებ: როგორ უნდა აღვიქვათ ისინი, როგორ მუშაობენ და როგორ შეიძლება ბრენდი იქცეს ცნობად ერთეულად ხელოვნური ინტელექტის მოდელის „მეხსიერებაში“. კარიერული თვალსაზრისით, ახლა საუკეთესო დროა ამ სფეროს შესასწავლად. არა იმიტომ, რომ AI ძიება რადიკალურად განსხვავდება ტრადიციული ძიებისგან, არამედ იმიტომ, რომ ბევრს ასე ჰგონია.

კომპანიების ხელმძღვანელები მთელ მსოფლიოში ცდილობენ ამ საკითხში გარკვევას. გადაწყვეტილების მიმღებ პირებს სჭირდებათ დარწმუნდნენ, რომ მათ გვერდით არიან სპეციალისტები, რომლებსაც ახალი ტექნოლოგიური ფრონტის მართვა შეუძლიათ. ინფორმაციის მოძიების საფუძვლების ცოდნა აუცილებელია მაშინაც კი, თუ ბიზნესი ამ ეტაპზე სტრატეგიის შეცვლას არ გეგმავს. ყველაფერი იწყება იმის გაგებით, თუ რა არის საწვრთნელი მონაცემები, როგორ მუშაობს ისინი და რაც მთავარია — როგორ მოვხვდეთ მათში.

ძირითადი პუნქტები (TL;DR)

• ხელოვნური ინტელექტი მისი საწვრთნელი მონაცემების პროდუქტია. მოდელის წარმატებისთვის გადამწყვეტია იმ მონაცემების ხარისხი და რაოდენობა, რომლებზეც ის სწავლობს.
• ინტერნეტიდან მოპოვებული AI მონაცემთა ბაზები სულ უფრო შეზღუდული ხდება. ეს გავლენას ახდენს მონაცემთა რეპრეზენტატულობაზე, სიახლესა და მასშტაბირების კანონებზე.
• რაც უფრო თანმიმდევრული და ზუსტია ბრენდის ხსენებები საწვრთნელ მონაცემებში, მით ნაკლებად ბუნდოვანია ის მოდელისთვის.
• ხარისხიანი SEO, პროდუქტის უკეთესი მარკეტინგი და ტრადიციული პიარი აუმჯობესებს ბრენდის პოზიციებს საწვრთნელ მონაცემებში, რაც საბოლოოდ აისახება რეალურ დროში RAG/ინფორმაციის ამოღების პროცესებზე.

რა არის საწვრთნელი მონაცემები?

საწვრთნელი მონაცემები არის ფუნდამენტური მონაცემთა ნაკრები, რომელიც გამოიყენება დიდი ენობრივი მოდელების (LLM) დასასწავლად, რათა მათ შეძლონ მომდევნო სიტყვის, წინადადების ან პასუხის პროგნოზირება. მონაცემები შეიძლება იყოს მარკირებული (labeled), სადაც მოდელს ასწავლიან სწორ პასუხს, ან არამარკირებული (unlabeled), სადაც მან თავად უნდა გაარკვიოს კანონზომიერებები. მაღალი ხარისხის მონაცემების გარეშე მოდელები სრულიად გამოუსადეგარია.

საწვრთნელად გამოიყენება ყველაფერი: ტვიტებიდან და კატების ვიდეოებიდან დაწყებული, კლასიკური ხელოვნებისა და ლიტერატურის ნიმუშებით დამთავრებული. საუბარია არა მხოლოდ ტექსტზე, არამედ მეტყველების მოდელებზეც, რომლებსაც სჭირდებათ სხვადასხვა აქცენტების, მეტყველების მანერისა და ემოციების აღქმა.

როგორ მუშაობს ეს პროცესი?

მოდელები ინფორმაციას კი არ იზეპირებენ, არამედ ახდენენ მის კომპრესიას (შეკუმშვას). LLM-ები ამუშავებენ მილიარდობით მონაცემს და არეგულირებენ შიდა „წონებს“ მექანიზმით, რომელსაც უკუგავრცელება (backpropagation) ეწოდება. თუ მოდელის მიერ პროგნოზირებული მომდევნო სიტყვა სწორია, ის აგრძელებს მუშაობას; თუ არა — ხდება მისი კორექტირება მანქანური სწავლების პრინციპებით.

შემდეგ მოდელი ახდენს ვექტორიზაციას — ქმნის ასოციაციების რუკას ტერმინების, ფრაზებისა და წინადადებების მიხედვით:

• ტექსტის გარდაქმნა რიცხვით ვექტორებად (Bag of Words).
• სიტყვებისა და წინადადებების სემანტიკური მნიშვნელობის დაფიქსირება კონტექსტის შენარჩუნებით (word and sentence embeddings).

წესები და ნიუანსები კოდირებულია სემანტიკური ურთიერთობების სახით, რასაც პარამეტრული მეხსიერება ეწოდება. ეს არის არქიტექტურაში პირდაპირ „ჩაშენებული“ ცოდნა. რაც უფრო დახვეწილია მოდელის ცოდნა კონკრეტულ თემაზე, მით ნაკლებად სჭირდება მას გარე წყაროების გამოყენება ინფორმაციის გადასამოწმებლად. პარამეტრული მეხსიერების მქონე მოდელები სწრაფად გასცემენ პასუხს, მაგრამ მათი ცოდნა სტატიკურია. RAG და ცოცხალი ვებ-ძიება კი არაპარამეტრული მეხსიერების მაგალითებია — ისინი უფრო ნელია, მაგრამ უკეთესია ახალი ამბებისა და ფაქტების გადასამოწმებლად.

უკეთესი ალგორითმების შექმნა

ხარისხიანი ალგორითმების შემუშავება სამ ელემენტზეა დამოკიდებული:

1. ხარისხი.
2. რაოდენობა.
3. მიკერძოების (bias) აღმოფხვრა.

მონაცემთა ხარისხი კრიტიკულია: თუ მოდელი მხოლოდ სინთეტიკურ ან ცუდად მარკირებულ მონაცემებზე ისწავლის, ის ვერ ასახავს რეალურ სირთულეებს. რაოდენობაც პრობლემაა, რადგან ტექნოლოგიურმა გიგანტებმა უკვე აითვისეს ინტერნეტში არსებული თითქმის მთელი ხელმისაწვდომი ინფორმაცია. ხარისხიანი და უფასო კონტენტის ეპოქა სრულდება ორი მიზეზის გამო:

• ინტერნეტი სავსეა შეთქმულების თეორიებით, პლაგიატით და დაბალი ხარისხის კონტენტით.
• მსოფლიოს უმსხვილესი საინფორმაციო საიტების 80% უკვე ბლოკავს AI ბოტებს robots.txt-ის ან CDN-ის დონეზე.

როგორ ხდება საწვრთნელი მონაცემების შეგროვება?

ეს პროცესი რამდენიმე ეტაპისგან შედგება:

1. მონაცემთა მოპოვება: მაგალითად, ძაღლების ამომცნობი AI-სთვის საჭიროა მილიონობით ფოტო ყველა შესაძლო ჯიშის, პოზისა და ემოციის გამოსახულებით.
2. გასუფთავება: მონაცემების მოყვანა ერთიან ფორმატში. აუცილებელია შეცდომების ამოღება (მაგალითად, თუ ბაზაში შემთხვევით კატის ფოტოები მოხვდა).
3. მარკირება (Labeling): ზედამხედველობითი სწავლებისთვის საჭიროა ადამიანის ჩართულობა, რომელიც მონაცემებს შესაბამის იარლიყებს მიანიჭებს (მაგალითად: „ტაქსა ზის ყუთზე“).
4. წინასწარი დამუშავება: პოტენციური მიკერძოების მინიმიზაცია, რათა რომელიმე კონკრეტული ჯიში ზედმეტად ხშირად არ იყოს წარმოდგენილი სხვებთან შედარებით.
5. დაყოფა (Partitioning): მონაცემთა ნაწილი ინახება მოდელის შესამოწმებლად, რათა დადგინდეს, რამდენად კარგად მუშაობს ის ახალ, მისთვის უცნობ ინფორმაციაზე.

ეს პროცესი ძვირი და შრომატევადია. მონაცემთა მარკირებისთვის კომპანიები ქირაობენ ადამიანთა დიდ გუნდებს, რომლებიც ავტომატიზებულ მოდელებთან ერთად მუშაობენ.

მიკრო მოდელები

კომპანიები ქმნიან მიკრო მოდელებს, რომლებიც ნაკლებ მონაცემს საჭიროებენ. ადამიანები წვრთნიან ამ მოდელებს რამდენიმე მაგალითზე, რის შემდეგაც მოდელები სწავლას დამოუკიდებლად აგრძელებენ. დროთა განმავლობაში ადამიანის ჩართულობა მცირდება და მხოლოდ შედეგების ვალიდაცია ხდება საჭირო.

საწვრთნელი მონაცემების ტიპები

მონაცემები კლასიფიცირდება იმის მიხედვით, თუ რამდენი მითითებაა საჭირო მათი დამუშავებისთვის:

• ზედამხედველობითი (Supervised): ყოველი მონაცემი მარკირებულია „სწორი“ პასუხით.
• ზედამხედველობის გარეშე (Unsupervised): მოდელი თავად ეძებს კანონზომიერებებს.
• ნახევრად ზედამხედველობითი: მონაცემთა მხოლოდ მცირე ნაწილია მარკირებული.
• RLHF (Reinforcement Learning from Human Feedback): სწავლება ადამიანის უკუკავშირის საფუძველზე, სადაც ადამიანი ირჩევს საუკეთესო პასუხს.
• მულტიმოდალური: სურათები, ვიდეოები, ტექსტი და ა.შ.

მონაცემთა ყველაზე ხშირად გამოყენებული წყაროები

საწვრთნელი წყაროები მრავალფეროვანია — ღია ვებიდან დაწყებული, აკადემიური რეპოზიტორიებით დამთავრებული.

Common Crawl

ეს არის საჯარო ვებ-რეპოზიტორიუმი, რომელიც შეიცავს მილიარდობით დომენის მონაცემებს. 2024 წლის ანგარიშის მიხედვით, გაანალიზებული 47 LLM-დან 64% იყენებს Common Crawl-ის მონაცემებს. თუ თქვენი საიტი აქ არ არის, მოდელი მას ვერ დააციტირებს.

Wikipedia და Wikidata

ვიკიპედია ერთ-ერთი ყველაზე გავლენიანი წყაროა ფაქტობრივი კონსენსუსისთვის. ის კარგად სტრუქტურირებული და სანდოა. უმსხვილესმა ტექნოლოგიურმა კომპანიებმა უკვე გააფორმეს ხელშეკრულებები ვიკიპედიასთან მონაცემების გამოსაყენებლად.

გამომცემლები და მედია

OpenAI-ს და Google-ს მრავალმილიონიანი გარიგებები აქვთ ისეთ გამოცემებთან, როგორიცაა News Corp (WSJ, New York Post), The Atlantic და Financial Times. მულტიმოდალური სწავლებისთვის კი გამოიყენება Shutterstock, Getty Images და Disney (Sora-ს პლატფორმისთვის).

როგორ მოვხვდეთ საწვრთნელ მონაცემებში?

არსებობს ორი ძირითადი მიდგომა:

1. მნიშვნელოვანი მოდელების საწყისი მონაცემთა ბაზების იდენტიფიცირება და მათში მოხვედრის გზების ძიება.
2. ხარისხიანი SEO და ფართო მარკეტინგული აქტივობები დარგში გავლენის მოსაპოვებლად.

მოდელები არ იწვრთნება რეალურ დროში, ამიტომ წინასწარი დაგეგმვა აუცილებელია. ინდივიდუალური ბრენდინგისთვის რეკომენდებულია:

• კონტენტის შექმნა და გაზიარება.
• პოდკასტებში მონაწილეობა.
• დარგობრივ ღონისძიებებზე დასწრება.
• ვებინარების ჩატარება.
• ავტორიტეტულ გამოცემებთან თანამშრომლობა.

საკონტროლო სია (Checklist)

პარამეტრულ მეხსიერებაში მოსახვედრად და RAG სისტემებში გამოსაჩენად საჭიროა:

1. ბოტების მართვა: სწორად მართეთ წვდომა საწვრთნელ, საინდექსაციო და საძიებო ბოტებისთვის.
2. ენთითების ოპტიმიზაცია (Entity optimization): კარგად სტრუქტურირებული კონტენტი, თანმიმდევრული NAP (სახელი, მისამართი, ტელეფონი), sameAs სქემები და ყოფნა Wikidata-ში.
3. სერვერული რენდერინგი: დარწმუნდით, რომ კონტენტი სერვერის მხარეს რენდერდება, რადგან ბევრი ბოტი (მაგ. GPT-bot) ჯერ კიდევ ვერ ამუშავებს JavaScript-ს გამართულად.
4. მანქანურად წაკითხვადი კონტენტი: გამოიყენეთ ცხრილები, სიები და სემანტიკური HTML.
5. აქტიურობა: გაიტანეთ თქვენი კონტენტი გარეთ, შექმენით „ხმაური“ თქვენს გარშემო.
6. სიცხადე: ვებსაიტზე მკაფიოდ განმარტეთ, ვინ ხართ და რას აკეთებთ. ფლობდით თქვენს „ენთითებს“.

თანამედროვე SEO არის ხარისხიანი მარკეტინგი, სადაც ბრენდი უნდა იქცეს ლოგიკურ „მომდევნო სიტყვად“ ნებისმიერ შესაბამის კონტექსტში.