OpenAI-ის საძიებო ბოტის წვდომა 55%-ს აჭარბებს: Hostinger-ის კვლევა AI ბოტების ტენდენციებზე

Hostinger-მა 5 მილიონზე მეტ ვებგვერდზე 66.7 მილიარდი ბოტის მოთხოვნა გააანალიზა და დაადგინა, რომ ხელოვნური ინტელექტის (AI) საწვრთნელი ბოტები სულ უფრო ხშირად იბლოკება, მაშინ როცა OpenAI-ის საძიებო ბოტი თავის გავლენას აფართოებს. კვლევის მიხედვით, ვებგვერდების მფლობელები სულ უფრო მეტად ზღუდავენ ისეთ ბოტებს, როგორიცაა GPTBot, თუმცა წვდომას აძლევენ ასისტენტებსა და საძიებო ხელსაწყოებს.

ტრადიციული საძიებო სისტემების ბოტები იმავე პერიოდში შედარებით სტაბილურობას ინარჩუნებენ. Hostinger-ის ანალიზი ეყრდნობა სერვერის ანონიმურ ლოგებს სამი სხვადასხვა 6-დღიანი პერიოდიდან, სადაც ბოტების კლასიფიკაცია AI.txt პროექტის სტანდარტების მიხედვით განხორციელდა. კვლევამ აჩვენა, რომ ხელოვნური ინტელექტის ბოტები ორ სხვადასხვა გზას ადგანან: LLM (დიდი ენობრივი მოდელების) საწვრთნელი ბოტები კარგავენ წვდომას ინტერნეტზე, ხოლო AI ასისტენტები, რომლებიც ChatGPT-ის მსგავს საძიებო ხელსაწყოებს ამუშავებენ, წვდომას ზრდიან.

საწვრთნელი ბოტები ბლოკირების წინაშე

ყველაზე მკვეთრი ცვლილება OpenAI-ის GPTBot-თან დაკავშირებით დაფიქსირდა, რომელიც მონაცემებს მოდელების მოსამზადებლად აგროვებს. მისი წვდომა ვებგვერდებზე კვლევის პერიოდში 84%-დან 12%-მდე შემცირდა. მოთხოვნების მოცულობის მიხედვით, Meta-ს ExternalAgent აღმოჩნდა ყველაზე დიდი საწვრთნელი კატეგორიის ბოტი Hostinger-ის მონაცემებში.

Hostinger-ის განმარტებით, საწვრთნელი ბოტების ჯგუფი მთლიანობაში ყველაზე დიდ კლებას აჩვენებს, რაც ნაწილობრივ გამოწვეულია საიტების მხრიდან მათი მიზანმიმართული ბლოკირებით. ეს მონაცემები ემთხვევა სხვა კვლევების შედეგებსაც:

• BuzzStream-ის მიხედვით, წამყვანი საინფორმაციო გამოცემების 79% ბლოკავს მინიმუმ ერთ საწვრთნელ ბოტს.
• Cloudflare-ის წლის შეჯამებამ აჩვენა, რომ GPTBot, ClaudeBot და CCBot ყველაზე ხშირად ხვდებიან სრული აკრძალვის (disallow) დირექტივების ქვეშ წამყვან დომენებზე.

Hostinger-ი საწვრთნელი ბოტების წვდომის შემცირებას განიხილავს, როგორც ნიშანს იმისა, რომ საიტების მფლობელები სულ უფრო მეტად ზღუდავენ ამ ბოტებს, მიუხედავად იმისა, რომ მოთხოვნების რაოდენობა კვლავ მაღალი რჩება.

ასისტენტი ბოტები განსხვავებულ სურათს აჩვენებენ

საწვრთნელი ბოტებისგან განსხვავებით, AI საძიებო ხელსაწყოების ბოტები წვდომას აფართოებენ. OpenAI-ის OAI-SearchBot-მა, რომელიც ChatGPT-ის საძიებო ფუნქციისთვის აგროვებს კონტენტს, საშუალოდ 55.67%-იან წვდომას მიაღწია. TikTok-ის ბოტის წვდომა 25.67%-მდე გაიზარდა (1.4 მილიარდი მოთხოვნით), ხოლო Apple-ის ბოტმა 24.33%-იან ნიშნულს მიაღწია.

ეს ასისტენტი ბოტები მომხმარებლის მიერ ინიცირებული მოთხოვნების საფუძველზე მოქმედებენ და უფრო მიზანმიმართულები არიან. ისინი ემსახურებიან უშუალოდ მომხმარებელს და არა მოდელების წვრთნას, რაც შესაძლოა ხსნიდეს იმას, თუ რატომ ეპყრობიან საიტების მფლობელები მათ განსხვავებულად.

კლასიკური ძიება სტაბილურია

ტრადიციული საძიებო სისტემების ბოტებმა კვლევის განმავლობაში პოზიციები შეინარჩუნეს. Googlebot-მა შეინარჩუნა საშუალოდ 72%-იანი წვდომა 14.7 მილიარდი მოთხოვნით, ხოლო Bingbot-ი 57.67%-იან ნიშნულზე დარჩა. ეს სტაბილურობა მკვეთრად კონტრასტულია AI კატეგორიაში მიმდინარე ცვლილებებთან. Google-ის მთავარი ბოტი უნიკალურ მდგომარეობაშია, რადგან მისი დაბლოკვა პირდაპირ აისახება საიტის ხილვადობაზე ძიებაში.

SEO ხელსაწყოების კლების ტენდენცია

SEO და მარკეტინგული ბოტების წვდომა შემცირდა. Ahrefs-ი კვლავ ინარჩუნებს ყველაზე დიდ წილს (60%), თუმცა მთლიანი კატეგორია შემცირდა. Hostinger-ი ამას ორ ფაქტორს მიაწერს:

1. ეს ხელსაწყოები სულ უფრო მეტად ფოკუსირდებიან იმ საიტებზე, რომლებიც აქტიურად მუშაობენ SEO-ზე.
2. ვებგვერდების მფლობელები ბლოკავენ რესურსტევად ბოტებს.

Vercel-ის მონაცემებით, GPTBot-მა ერთ თვეში 569 მილიონი მოთხოვნა დააგენერირა. ზოგიერთი გამომცემლისთვის ტრაფიკის ხარჯები (bandwidth costs) ბიზნეს პრობლემად იქცა.

რატომ არის ეს მნიშვნელოვანი

მონაცემები ადასტურებს ტენდენციას, რომელიც ბოლო ერთი წლის განმავლობაში ყალიბდება: საიტის ოპერატორები მკაფიო ზღვარს ავლებენ იმ AI ბოტებს შორის, რომლებსაც უშვებენ და რომლებსაც - არა. გადაწყვეტილება დამოკიდებულია ბოტის ფუნქციაზე.

• საწვრთნელი ბოტები: აგროვებენ კონტენტს მოდელების გასაუმჯობესებლად, საიტზე ტრაფიკის დაბრუნების გარეშე.
• ასისტენტი ბოტები: მოიპოვებენ კონტენტს მომხმარებლის კონკრეტულ კითხვებზე პასუხის გასაცემად, რაც ნიშნავს, რომ თქვენი კონტენტი შეიძლება გამოჩნდეს AI ძიების შედეგებში.

Hostinger-ი გვთავაზობს „შუალედურ გზას“: დაიბლოკოს საწვრთნელი ბოტები, მაგრამ დაიშვას ასისტენტი ბოტები, რომლებიც ხელს უწყობენ საიტის აღმოჩენას. ეს საშუალებას გაძლევთ მონაწილეობა მიიღოთ AI ძიებაში მოდელების წვრთნაში წვლილის შეტანის გარეშე.

სამომავლო რეკომენდაციები

OpenAI გვირჩევს OAI-SearchBot-ის დაშვებას, თუ გსურთ, რომ თქვენი საიტი გამოჩნდეს ChatGPT-ის ძიების შედეგებში, მაშინაც კი, თუ ბლოკავთ GPTBot-ს. OpenAI-ის დოკუმენტაცია განმარტავს განსხვავებას:

• OAI-SearchBot: აკონტროლებს ChatGPT-ის ძიების შედეგებში მოხვედრას და ითვალისწინებს robots.txt-ის წესებს.
• ChatGPT-User: მართავს მომხმარებლის მიერ ინიცირებულ დათვალიერებას და შესაძლოა robots.txt-ს ისევე არ დაემორჩილოს, როგორც სხვა ბოტები.

Hostinger-ის რეკომენდაციით, მნიშვნელოვანია სერვერის ლოგების შემოწმება, რათა ნახოთ, რომელი ბოტები სტუმრობენ საიტს რეალურად. გადაწყვეტილება ბლოკირების შესახებ უნდა ეფუძნებოდეს თქვენს მიზნებს. თუ სერვერის დატვირთვა გაწუხებთ, შეგიძლიათ გამოიყენოთ CDN-ის დონის ბლოკირება. AI ძიებაში ხილვადობის გასაზრდელად კი გადახედეთ AI ბოტების სიას და დაუშვით მხოლოდ ის სპეციფიკური ბოტები, რომლებიც თქვენს სტრატეგიას შეესაბამება.