Google შესაძლოა robots.txt-ის მხარდაუჭერელი წესების სიის გაფართოებას გეგმავდეს

Google განიხილავს robots.txt ფაილის მხარდაუჭერელი წესების სიის გაფართოების შესაძლებლობას. ამ პროცესში კომპანია HTTP Archive-ის მონაცემების გამოყენებას აპირებს, რათა უკეთ გააანალიზოს ის დირექტივები, რომლებიც ვებგვერდებზე ყველაზე ხშირად გვხვდება.

აღნიშნული გაფართოება სავარაუდოდ მოიცავს იმ არაოფიციალურ წესებს, რომლებსაც ვებმასტერები აქტიურად იყენებენ, თუმცა Google-ის მიერ ამჟამად მხარდაჭერილი არ არის. ეს ცვლილება მიზნად ისახავს საძიებო ბოტების ქცევის უკეთ შესაბამისობას ვებგვერდების მფლობელების მოთხოვნებთან.

გარდა ამისა, Google გეგმავს გააუმჯობესოს "disallow" დირექტივის ხშირად დაშვებული ორთოგრაფიული შეცდომების დამუშავების მექანიზმი. ეს ნიშნავს, რომ სისტემა უფრო ეფექტურად ამოიცნობს არასწორად ჩაწერილ ბრძანებებს და შესაბამისად იმოქმედებს.

მოსალოდნელი ცვლილებების ძირითადი ასპექტები:

• მხარდაუჭერელი წესების სიის გაფართოება: Google გამოიყენებს HTTP Archive-ის მონაცემებს ყველაზე პოპულარული არაოფიციალური დირექტივების გამოსავლენად.
• ხშირად გამოყენებული დირექტივების ინტეგრირება: სიაში შესაძლოა მოხვდეს ის წესები, რომლებიც ინდუსტრიაში ფართოდ არის დამკვიდრებული.
• ორთოგრაფიული შეცდომების დამუშავება: გაფართოვდება "disallow" ბრძანების არასწორი ვერსიების ამოცნობისა და ინტერპრეტაციის შესაძლებლობები.