Google-მა Googlebot-ის ფაილების ზომის ლიმიტების დოკუმენტაცია განაახლა

Google-მა Googlebot-ის გვერდიდან ფაილების ზომის ნაგულისხმევი ლიმიტების შესახებ ინფორმაცია კრაულერების ზოგად დოკუმენტაციაში გადაიტანა. ეს ცვლილება განპირობებულია იმით, რომ აღნიშნული ლიმიტები Google-ის ყველა კრაულერსა და ფეტჩერზე (fetcher) ვრცელდება და არა მხოლოდ კონკრეტულად Googlebot-ზე.

განახლების შედეგად, Googlebot-ის გვერდზე ახლა მითითებულია 2 მბ-იანი ლიმიტი HTML-ისა და მხარდაჭერილი ტექსტური ფაილებისთვის, ხოლო PDF ფაილებისთვის — 64 მბ. ამავდროულად, კრაულინგის ინფრასტრუქტურის დოკუმენტაციაში ყველა კრაულერისთვის ნაგულისხმევ ზღვრად 15 მბ არის განსაზღვრული.

Google-ის განმარტებით, აღნიშნული სიახლე წარმოადგენს დოკუმენტაციის დაზუსტებას და მასში არ იგულისხმება სისტემის მუშაობის პრინციპის ან ქცევის ცვლილება. კომპანიამ უბრალოდ გამიჯნა ნაგულისხმევი ლიმიტები, რომლებიც ყველა კრაულერზე ვრცელდება, Googlebot-ის სპეციფიკური დეტალებისგან.

რა შეიცვალა

Google-ის დოკუმენტაციის ცვლილებების ჟურნალი (changelog) ამ განახლებას ორნაწილიან დაზუსტებად აღწერს. ნაგულისხმევი ფაილების ზომის ლიმიტები, რომლებიც ადრე Googlebot-ის გვერდზე იყო განთავსებული, ახლა კრაულერების დოკუმენტაციაშია გადატანილი. Google-ის განცხადებით, თავდაპირველი მდებარეობა არ იყო ყველაზე ლოგიკური ადგილი, რადგან ეს შეზღუდვები Google-ის ყველა კრაულერსა და ფეტჩერს ეხება.

მას შემდეგ, რაც ნაგულისხმევი პარამეტრები კრაულერების დოკუმენტაციაში განთავსდა, Google-მა Googlebot-ის გვერდიც განაახლა, რათა უფრო ზუსტად აღეწერა უშუალოდ Googlebot-ის ფაილების ზომის ლიმიტები. კრაულინგის ინფრასტრუქტურის დოკუმენტაციაში მითითებულია 15 მბ-იანი ნაგულისხმევი ლიმიტი, ხოლო Googlebot-ის გვერდზე — 2 მბ მხარდაჭერილი ფაილის ტიპებისთვის და 64 მბ PDF-ებისთვის Google Search-ისთვის კრაულინგის დროს.

კრაულერების მიმოხილვა აღწერს ნაგულისხმევ ლიმიტს Google-ის მთელი კრაულინგის ინფრასტრუქტურისთვის, ხოლო Googlebot-ის გვერდი — Google Search-ის სპეციფიკურ ლიმიტებს. მნიშვნელოვანია აღინიშნოს, რომ HTML-ში მითითებული თითოეული რესურსი, როგორიცაა CSS და JavaScript, ცალ-ცალკე იტვირთება.

რატომ არის ეს მნიშვნელოვანი

ეს ცვლილება ჯდება იმ სტრატეგიაში, რომელსაც Google 2025 წლის ბოლოდან ახორციელებს. ნოემბერში კომპანიამ კრაულინგის ძირითადი დოკუმენტაცია დამოუკიდებელ საიტზე გადაიტანა და Search Central-ისგან გამოყო. ამის მიზეზი ის არის, რომ Google-ის კრაულინგის ინფრასტრუქტურა ემსახურება არა მხოლოდ ძიებას (Search), არამედ სხვა პროდუქტებსაც, მათ შორის Shopping-ს, News-ს, Gemini-სა და AdSense-ს.

დეკემბერში დოკუმენტაციის კიდევ უფრო მეტი ნაწილი განახლდა, მათ შორის სახელმძღვანელოები ფასეტური ნავიგაციისა (faceted navigation) და კრაულინგის ბიუჯეტის ოპტიმიზაციის შესახებ. ბოლო განახლება ამ რეორგანიზაციის გაგრძელებაა.

15 მბ-იანი ფაილის ზომის ლიმიტი პირველად 2022 წელს იქნა დოკუმენტირებული, როდესაც Google-მა იგი Googlebot-ის დახმარების გვერდს დაამატა. იმ დროს ჯონ მიულერმა დაადასტურა, რომ ეს ლიმიტი ახალი არ იყო და წლების განმავლობაში მოქმედებდა — Google-მა უბრალოდ მისი ოფიციალური დაფიქსირება გადაწყვიტა.

კრაულინგის ბიუჯეტის მართვისას ან შინაარსით დატვირთული გვერდების ინდექსირების პრობლემების მოგვარებისას, Google-ის დოკუმენტაცია ახლა ლიმიტებს განსხვავებულად აღწერს, იმის მიხედვით, თუ სად ეძებთ ინფორმაციას. კრაულინგის ინფრასტრუქტურის მიმოხილვაში მითითებულია 15 მბ, ხოლო Googlebot-ის გვერდზე — 2 მბ HTML/ტექსტური ფაილებისთვის და 64 მბ PDF-ებისთვის. Google-ის ცვლილებების ჟურნალში არ არის განმარტებული, თუ როგორ უკავშირდება ეს ციფრები ერთმანეთს.

სამომავლო პერსპექტივები

Google-ის დოკუმენტაციის რეორგანიზაცია მიანიშნებს, რომ მომდევნო თვეებში კრაულინგის ინფრასტრუქტურის საიტზე კიდევ უფრო მეტი განახლებაა მოსალოდნელი. კრაულერების საერთო ნაგულისხმევი პარამეტრების პროდუქტზე ორიენტირებული დოკუმენტაციისგან გამოყოფით, Google-ს შეეძლება უფრო მარტივად აღწეროს ახალი კრაულერები და ფეტჩერები მათი გამოჩენისთანავე.