Cloudflare-ის ახალი ფუნქცია: AI-ს წვრთნის აკრძალვა Googlebot-ის დაბლოკვის გარეშე

Cloudflare-მა წარადგინა ახალი ფუნქცია „Disallow AI Training“, რომელიც ვებგვერდების მფლობელებს საშუალებას აძლევს, აკრძალონ თავიანთი კონტენტის გამოყენება ხელოვნური ინტელექტის მოდელების გასაწვრთნელად. ეს სიახლე მნიშვნელოვანი ნაბიჯია იმ საიტებისთვის, რომელთაც სურთ დაიცვან საკუთარი ინტელექტუალური საკუთრება, თუმცა ამავდროულად შეინარჩუნონ ხილვადობა საძიებო სისტემებში.

ახალი პარამეტრი ავტომატურად აქვეყნებს AI-ს წვრთნაზე უარის თქმის შესახებ ინფორმაციას საიტის robots.txt ფაილში. ეს მეთოდი ვებგვერდებს აძლევს საშუალებას, მკაფიოდ გამოხატონ თავიანთი პოზიცია კონტენტის გამოყენებასთან დაკავშირებით ისე, რომ არ შეფერხდეს საძიებო სისტემების მუშაობა.

აღსანიშნავია, რომ Googlebot, Applebot და Bingbot კვლავ შეძლებენ საიტის სკანირებას (crawling) ძიების მიზნებისთვის, მაშინაც კი, როდესაც AI-ს წვრთნის აკრძალვა გააქტიურებულია. ეს ფუნქცია მიზნად ისახავს ბალანსის დაცვას კონტენტის დაცვასა და საძიებო სისტემებში ოპტიმიზაციას შორის.

განსხვავება AI-ს აკრძალვასა და სრულ ბლოკირებას შორის

Cloudflare-ის სისტემაში აქამდე არსებული „Block“ პარამეტრი სრულად აჩერებს საძიებო რობოტების მუშაობას, რაც იმას ნიშნავს, რომ საიტი საერთოდ აღარ გამოჩნდება ძიების შედეგებში. ახალი „Disallow AI Training“ ფუნქცია კი სპეციალურად „შერეული დანიშნულების“ ბოტებისთვისაა შექმნილი.

ეს მიდგომა საშუალებას იძლევა, რომ საძიებო სისტემებმა გააგრძელონ საიტის ინდექსირება, მაგრამ არ გამოიყენონ მიღებული მონაცემები ხელოვნური ინტელექტის მოდელების (LLM) სწავლებისთვის. ამჟამად Google და Apple უკვე აღიარებენ და ითვალისწინებენ AI-ს წვრთნაზე უარის თქმის (opt-out) მოთხოვნებს, ხოლო Bing-ის მხრიდან robots.txt-ის მეშვეობით ამ ფუნქციის მხარდაჭერა ამ ეტაპზე მოლოდინის პროცესშია.