Brave თავის საძიებო ინდექსს AI კომპანიებზე ყიდის: როგორ აღმოჩნდა თქვენი ვებსაიტი ამ სიაში?

Brave Search-ის პირდაპირი გამოყენება ბევრი მომხმარებლისთვის უცხოა, თუმცა ხელოვნური ინტელექტის სისტემები, რომლებსაც ყოველდღიურად ვუსვამთ კითხვებს, შესაძლოა სწორედ ამ საძიებო სისტემას იყენებდნენ ინფორმაციის მოსაძიებლად. 2 ნოემბერს New York Times-მა სარჩელი შეიტანა კომპანია Brave-ის წინააღმდეგ, რომელიც Brave ბრაუზერისა და საძიებო სისტემის მფლობელია. გამოცემა ამტკიცებს, რომ Brave-მა 30 მილიარდზე მეტი ვებგვერდი დააკოპირა ისე, რომ ვებსაიტების მფლობელებს მათი ბოტის (crawler) იდენტიფიცირების ან დაბლოკვის საშუალება არ მისცა, შემდეგ კი ეს კონტენტი ხელოვნური ინტელექტის კომპანიებზე გაყიდა.

Brave-ს აღნიშნულ ბრალდებებზე ოფიციალური პასუხი ჯერ არ გაუცია, თუმცა საკითხავია, რატომ არის შეუძლებელი მათი ბოტის დაბლოკვა Google-ის დაბლოკვის გარეშე? ამ კითხვაზე პასუხს თავად Brave-ის დახმარების გვერდი იძლევა.

Brave თავის საძიებო ინდექსზე წვდომას AI კომპანიებზე Brave Search API-ს მეშვეობით ყიდის. როდესაც ხელოვნური ინტელექტის ასისტენტს ინტერნეტიდან ახალი ინფორმაცია სჭირდება, ის ყოველთვის თავად არ სკანირებს ვებგვერდებს. ამის ნაცვლად, მას შეუძლია საფასურის სანაცვლოდ სხვისი საძიებო ინდექსით ისარგებლოს.

Brave-ის ინდექსით მოსარგებლე AI კომპანიები

Brave-ის ოფიციალურ გვერდზე მითითებულია, რომ მათ API-ს იყენებენ ისეთი მსხვილი სახელები, როგორიცაა Cohere, Mistral, Perplexity და You.com. მათივე ინფორმაციით, ინდექსი 30 მილიარდზე მეტ გვერდს მოიცავს და ყოველდღიურად მილიონობით ახალი გვერდი ემატება.

New York Times-ის სარჩელში დასახელებულია ხუთი AI კომპანია, რომლებსაც Brave ინფორმაციით ამარაგებს: Anthropic, Perplexity, Mistral, xAI და Cohere. მიუხედავად იმისა, რომ თავად ამ კომპანიების წინააღმდეგ სარჩელი არ შესულა, მტკიცებულებები მათ კავშირზე მიუთითებს. მაგალითად, 2025 წლის მარტში Anthropic-მა Brave Search თავის ქვეკონტრაქტორთა სიაში დაამატა. იმავე პერიოდში, დეველოპერმა საიმონ ვილისონმა აღმოაჩინა, რომ Claude-ის მიერ მოწოდებული ძიების შედეგები ზუსტად ემთხვეოდა Brave-ის შედეგებს.

რატომ არის შეუძლებელი Brave-ის ბოტის დაბლოკვა?

ვებსაიტები ჩვეულებრივ robots.txt ფაილის მეშვეობით წყვეტენ, რომელ ბოტს მისცენ საიტის წაკითხვის უფლება. ეს სისტემა მუშაობს მხოლოდ მაშინ, როდესაც ბოტებს საკუთარი სახელები (User-Agent) აქვთ. მაგალითად, OpenAI-სა და Anthropic-ს აქვთ იდენტიფიცირებადი ბოტები, რომელთა დაშვება ან აკრძალვა ინდივიდუალურად არის შესაძლებელი.

თუმცა, Brave-ის საძიებო ბოტს არ აქვს გამორჩეული სახელი. კომპანია ამას იმით ხსნის, რომ ბევრი ვებსაიტი მხოლოდ Google-ს აძლევს წვდომას, ამიტომ Brave-ის ბოტი Google-ის წესებით „ინიღბება“. Brave აცხადებს, რომ ის მიჰყვება Google-ის მითითებებს: რისი წაკითხვის უფლებაც არ აქვს Googlebot-ს, იმას არც Brave წაიკითხავს. შესაბამისად, შეუძლებელია Google-ის დაშვება და Brave-ის დაბლოკვა — ან ორივე უნდა დაუშვათ, ან არცერთი.

ერთადერთი გზა Brave-ის ინდექსიდან გამოსასვლელად noindex ტეგის გამოყენებაა, რაც ავტომატურად ნიშნავს Google-ის ძიების შედეგებიდან გაქრობასაც. New York Times ამას Brave-ის მხრიდან „საკუთარი ბოტის სახელის გამჟღავნებაზე უარის თქმას“ უწოდებს.

როგორ შეამოწმოთ, არის თუ არა თქვენი საიტი Brave-ის ინდექსში

იმის შესამოწმებლად, მოხვდა თუ არა თქვენი კონტენტი იმ მონაცემთა ბაზაში, რომელსაც Brave ყიდის, შეგიძლიათ მარტივი პროცედურა ჩაატაროთ:

1. გადადით მისამართზე search.brave.com.
2. საძიებო ველში ჩაწერეთ site: და თქვენი დომენის სახელი (მაგალითად, site:თქვენიდომენი.ge).
3. ყველაფერი, რაც შედეგებში გამოჩნდება, Brave-ის ინდექსის ნაწილია.

აღსანიშნავია, რომ Brave ხშირად ინახავს გვერდების ასლებს (cached copies). თუ თქვენ საიტზე ინფორმაცია შეცვალეთ, Brave-ის შედეგებში შესაძლოა მაინც ძველი ვერსია გამოჩნდეს, რაც იმას ნიშნავს, რომ ისინი თქვენი საიტის შენახულ ასლს ფლობენ.

საძიებო სისტემა vs AI ინდექსის გაყიდვა

ტრადიციული საძიებო სისტემის მუშაობის პრინციპი მარტივია: მომხმარებელი ეძებს ინფორმაციას, პოულობს თქვენს გვერდს, აჭერს ბმულს და გადმოდის თქვენს საიტზე. Brave Search-ის ჩვეულებრივი შედეგები ასე მუშაობს, თუმცა მათ დაამატეს ფუნქცია Ask Brave, რომელიც AI პასუხებს აგენერირებს.

ინდექსის გაყიდვა კი სრულიად სხვა მოდელია. სარჩელის მიხედვით, Brave სთავაზობს პროდუქტს სახელწოდებით „LLM Context“, რაც გულისხმობს ვებგვერდებიდან ამოღებული ინფორმაციის მიწოდებას ისეთი ფორმატით, რომელიც პირდაპირ მორგებულია ხელოვნური ინტელექტის მოდელებზე. ამ შემთხვევაში, AI კომპანია იღებს თქვენს კონტენტს და მის საფუძველზე აგენერირებს პასუხს. გადაამისამართებს თუ არა ეს პასუხი მომხმარებელს თქვენს საიტზე, ეს უკვე AI კომპანიის გადაწყვეტილებაა და არა თქვენი ან Brave-ის.

სასამართლო გადაწყვეტილების მოლოდინში

New York Times-ის გარდა, საავტორო უფლებების დარღვევისა და „paywall“-ის გვერდის ავლის გამო Brave-ს უჩივიან სხვა გამოცემებიც, მათ შორის Daily News, Chicago Tribune და Orlando Sentinel. Brave-ის პოზიცია ადრეულ დავებში ასეთი იყო: ვებგვერდების ინდექსირება აუცილებელია ნებისმიერი საძიებო სისტემის არსებობისთვის.

2026 წლის ივლისში News Corp-მაც შეიტანა სარჩელი Brave-ის წინააღმდეგ იმავე მიზეზით — ბოტების დამალვა გამომცემლებისგან. სასამართლოს გადაწყვეტილება New York Times-ის საქმეზე მნიშვნელოვან პრეცედენტს შექმნის ყველა იმ ვებსაიტისთვის, რომელიც ამჟამად Brave-ის ინდექსშია მოხვედრილი.

ეს სტატია თავდაპირველად გამოქვეყნდა No Hacks-ზე.