„AI ასისტენტების“ ტრაფიკის 81.8% ყალბია: Googlebot-ის მაჩვენებლები კიდევ უფრო საგანგაშოა

ახალი ვებგვერდების ანალიზისას გამოიკვეთა საგანგაშო ტენდენცია: ტრაფიკის მნიშვნელოვანი ნაწილი, რომელიც თავს ხელოვნური ინტელექტის ასისტენტად ასაღებს, სინამდვილეში ყალბია. დუეინ ფორესტერის მიერ ჩატარებული კვლევის მიხედვით, „AI ასისტენტების“ სახელით შემოსული მოთხოვნების 81.8% არავერიფიცირებული და ფალსიფიცირებული აღმოჩნდა.

კვლევამ აჩვენა, რომ პრობლემა კიდევ უფრო მასშტაბურია Googlebot-ის შემთხვევაში. მიუხედავად იმისა, რომ AI ბოტების გაყალბება ხშირია, Google-ის საძიებო სისტემის სახელით შენიღბული ყალბი ტრაფიკის პროცენტული მაჩვენებელი კიდევ უფრო მაღალია, რაც ვებგვერდების მფლობელებისთვის სერიოზულ გამოწვევას წარმოადგენს.

ClaudeBot-ის აქტივობა და Googlebot-თან შედარება

მონაცემების ანალიზმა აჩვენა, რომ ახალ ვებგვერდებზე ClaudeBot-ი (Anthropic-ის ბოტი) აქტივობით ხშირად უსწრებს Googlebot-ს. ეს მიუთითებს იმაზე, თუ რამდენად აგრესიულად ცდილობენ AI მოდელები ახალი ინფორმაციის მოპოვებასა და ინდექსაციას. თუმცა, ამ აქტივობის მიღმა ხშირად იმალება არაავტორიზებული სკანირება.

როგორ ხდება სკანირების მონაცემების გადამოწმება

იმისათვის, რომ დადგინდეს ტრაფიკის რეალური წარმომავლობა, აუცილებელია გადამოწმებული სკანირების მონაცემების (verified crawl data) გამოყენება. პროცესი საშუალებას იძლევა გაიმიჯნოს ლეგიტიმური ბოტები ყალბი პროგრამებისგან.

საკუთარი ვებგვერდის მონაცემების შესასწავლად რეკომენდებულია შემდეგი ნაბიჯების გადადგმა:

• სერვერის ლოგების ანალიზი: პირველ რიგში, საჭიროა ვებ-სერვერიდან სკანირების ისტორიის ამოღება.
• User-Agent-ის იდენტიფიკაცია: უნდა მოხდეს იმ სტრიქონების გამოყოფა, რომლებიც თავს Googlebot-ად ან ClaudeBot-ად აცხადებენ.
• IP მისამართების ვერიფიკაცია: თითოეული მოთხოვნის IP მისამართი უნდა შედარდეს ოფიციალურ, საჯაროდ ხელმისაწვდომ სიებთან, რომლებსაც Google და Anthropic აქვეყნებენ.
• Reverse DNS Lookup: ეს ტექნიკური პროცედურა საბოლოოდ ადასტურებს, ნამდვილად ეკუთვნის თუ არა კონკრეტული IP მისამართი დეკლარირებულ კომპანიას.

ამ მეთოდოლოგიის გამოყენებით შესაძლებელი გახდა იმის დადგენა, რომ AI ასისტენტების ტრაფიკის მხოლოდ მცირე ნაწილია რეალური, ხოლო Googlebot-ის სახელით შენიღბული ბოტების რაოდენობა კიდევ უფრო კრიტიკულ ნიშნულს აღწევს.