ბოლო პერიოდში ჩატარებული დაკვირვებები აჩვენებს, რომ ხელოვნური ინტელექტის ზოგიერთი ბოტი იმ ვებგვერდებზეც აღწევს, რომლებზეც წვდომა robots.txt ფაილის მეშვეობით აკრძალული აქვთ. მონაცემების თანახმად, ერთ-ერთმა AI ბოტმა იმაზე მეტ აკრძალულ გვერდს მიაკითხა, ვიდრე ნებისმიერმა სხვა მსგავსმა პროგრამამ, რაც ვებმასტერებსა და SEO სპეციალისტებს შორის კითხვებს აჩენს.
OpenAI-ის განმარტებით, robots.txt ფაილში მითითებული შეზღუდვები შესაძლოა არ გავრცელდეს იმ ბოტებზე, რომელთა მოქმედებაც უშუალოდ მომხმარებლის მიერ არის ინიცირებული. კომპანიის დოკუმენტაციაში აღნიშნულია, რომ disallow დირექტივა მხოლოდ თხოვნაა და არა ტექნიკური ბარიერი, რის გამოც ზოგიერთი აგენტი მას უგულებელყოფს.
ახალი მონაცემები ცხადყოფს, რომ ChatGPT-ის გვერდების ამომკითხავი ბოტი (page-fetching bot) აქტიურად სტუმრობს იმ საიტებს, რომლებმაც მასზე წვდომა აკრძალეს. OpenAI-ის საკუთარი დოკუმენტაცია დეტალურად ხსნის იმ მიზეზებს, თუ რატომ ვერ აჩერებს აღნიშნული ფაილი ბოტის მოქმედებას გარკვეულ სიტუაციებში.
რატომ უგულებელყოფენ AI აგენტები robots.txt-ს?
მთავარი მიზეზი, რის გამოც AI აგენტები აკრძალულ გვერდებზე ხვდებიან, მომხმარებლის მიერ გაცემული პირდაპირი ბრძანებაა. როდესაც მომხმარებელი ChatGPT-ს სთხოვს კონკრეტული ბმულის ანალიზს ან ინფორმაციის მოძიებას, ბოტი ამას განიხილავს როგორც ინდივიდუალურ მოთხოვნას და არა ავტომატიზებულ სკანირებას (crawling).
- მომხმარებლის ინიციატივა: თუ ადამიანი სთხოვს AI-ს კონკრეტულ გვერდზე გადასვლას, ბოტი ასრულებს ამ დავალებას მიუხედავად საიტის ზოგადი წესებისა.
- დირექტივის ბუნება:
robots.txtარის ნებაყოფლობითი შეთანხმება. ის არ წარმოადგენს უსაფრთხოების კედელს, რომელიც ფიზიკურად ბლოკავს წვდომას. - დოკუმენტირებული ქცევა: OpenAI-ის დოკუმენტაციაში პირდაპირ არის მითითებული, რომ მათი ზოგიერთი აგენტი შესაძლოა არ დაემორჩილოს
disallowბრძანებას, თუ საქმე მომხმარებლის კონკრეტულ მოთხოვნას ეხება.
ეს ვითარება ხაზს უსვამს იმას, რომ ვებგვერდების მფლობელებმა მეტი ყურადღება უნდა დაუთმონ კონტენტის დაცვის სხვა მექანიზმებს, თუ მათ სურთ, რომ მათი ინფორმაცია ხელოვნური ინტელექტის მოდელების მიერ არ იქნას დამუშავებული.