Google-ის ძიების გუნდის წარმომადგენელმა, ჯონ მიულერმა, გააზიარა მნიშვნელოვანი დაკვირვება იმის შესახებ, თუ როგორ ურთიერთქმედებენ ხელოვნური ინტელექტის (AI) საწვრთნელი ქროულერები ვებგვერდებთან. მისი თქმით, მიუხედავად იმისა, რომ ბევრ AI ბოტს არ გააჩნია საიტის რუკის (Sitemap) წარდგენის პირდაპირი მექანიზმი, ისინი მაინც აქტიურად იყენებენ ამ ფაილებს ინფორმაციის მოსაძიებლად.
მიულერმა საკუთარ სერვერულ ლოგებში დააფიქსირა შემთხვევები, როდესაც AI ქროულერები ავტომატურად შედიოდნენ sitemap და RSS ფაილებში. ეს მიუთითებს იმაზე, რომ ვებგვერდის მფლობელებს შეუძლიათ ხელი შეუწყონ თავიანთი კონტენტის ინდექსირებას AI მოდელებისთვისაც, თუკი დაიცავენ გარკვეულ ტექნიკურ სტანდარტებს.
სტანდარტული სახელწოდებების მნიშვნელობა
ვინაიდან AI საწვრთნელი ქროულერების უმეტესობა არ სთავაზობს მომხმარებლებს საიტის რუკის ხელით წარდგენის (submission) შესაძლებლობას, მიულერი რეკომენდაციას უწევს სტანდარტული დასახელებების გამოყენებას. თუ საიტის რუკას ექნება დეფოლტური სახელი, ბოტებისთვის მისი აღმოჩენა ბევრად მარტივი ხდება.
გარდა ამისა, RSS არხები ასევე მნიშვნელოვან როლს ასრულებს. AI ბოტები ამ არხებს იყენებენ ახალი კონტენტის სწრაფად მოსაძიებლად, რაც კიდევ ერთი ეფექტური გზაა საიტის ხილვადობის გასაზრდელად ხელოვნური ინტელექტის სისტემებისთვის.
"Couldn't fetch" შეცდომის მიზეზები
მიულერმა ასევე განმარტა მიზეზები, თუ რატომ შეიძლება გამოჩნდეს შეცდომა "Couldn't fetch" (ვერ მოხერხდა ამოღება) სრულიად ვალიდური საიტის რუკების შემთხვევაში. მისი განმარტებით, ეს პრობლემა ხშირად არ არის დაკავშირებული ფაილის სტრუქტურულ გამართულობასთან.
ძირითადი ფაქტორები, რომლებიც ამ შეცდომას იწვევს, არის:
- ჰოსტინგის დატვირთვა: სერვერის გადატვირთულობამ შეიძლება ხელი შეუწყოს ქროულერს ფაილის წაკითხვაში.
- ქროულინგის მოთხოვნა (Crawl demand): როდესაც სისტემა ცდილობს დიდი მოცულობის მონაცემების ერთდროულად დამუშავებას, შესაძლოა გარკვეული რესურსების ამოღება დროებით შეფერხდეს.
ჯონ მიულერის ეს დაკვირვებები ხაზს უსვამს იმას, რომ ტრადიციული SEO ინსტრუმენტები, როგორიცაა საიტის რუკები და RSS, კვლავ რჩება რელევანტური AI-ზე ორიენტირებულ თანამედროვე ციფრულ გარემოში.
