Crawl Budget – co to jest i do czego służy?

Pojęcie crawl budget w naszym języku określane jest jako budżet indeksowania strony www. Najprościej rzecz ujmując, jest to ilość czasu, jaki Google poświęca danego dnia na indeksowanie witryny, czyli limit podstron sprawdzanych przez boty należące do Google. Eksperci uważają, że crawl budget należy rozumieć właśnie jako czas, a nie liczbę stron, ponieważ znacznie łatwiej jest go poddać procesowi optymalizacji. Naturalnie nie ma żadnych przeszkód, aby przeliczać crawl budget na ilość odpytywanych dziennie podstron.

Zachowanie crawl budget

Warto zwrócić uwagę na to, że jeśli strona www odpowiada szybko, wówczas limit sprawdzanych dziennie stron rośnie. Wynika to z tego, że Google spędza znacznie mniej czasu na każdej z pojedynczych podstron. Jeśli więc strona zwolni, spada również limit sprawdzanych przez boty stron. Google zmuszone jest bowiem powracać do stron, które zwróciły błędy, a te mają wpływ na dzienne indeksowanie strony. O optymalizacji powinni więc w szczególności myśleć właściciele dużych stron, ponieważ zasoby Google nie są ograniczone.

Ilość posiadanych i prowadzonych podstron, podobnie jak częstotliwość publikowania nowych treści mają realny wpływ na crawl budget. Całkiem inny crawl budget mają serwisy newsowe, na których każdego dnia publikowane są dziesiątki nowych treści, duże portale, jak również te o treści, która prawie nie ulega zmianom. Teoretycznie rzecz ujmując, crawl budget powinien być ważną kwestią głównie dla dużych portali internetowych, które są złożone, jednak często okazuje się, że to niewielka strona www indeksuje duplikaty i w ten sposób crawl budget jest po prostu marnowany. Niewłaściwa optymalizacja architektury samych treści na stronie sprawia, że boty należące do Google mogą nigdy nie dotrzeć do całości podstron lub zajmie im to wiele czasu.

Crawl budget składa się z trzech składowych, które opisujemy poniżej:

• Crawl rate limit,
• Crawl demand,
• Crawl health.

Limit współczynnika indeksacji, czyli crawl rate limit

Współczynnik ten narzuca ilość żądań na sekundę, wysyłanych przez Googleboty maksymalnie do strony w trakcie jej indeksowania. Służy on głównie temu, aby strona www nie była spowolniana na skutek procesu crawlingu. Istnieje możliwość ograniczenia szybkości indeksowania, jeżeli pojawiają się problemy wydajnościowe w ramach Google SearchConsole. Stanowczo nie zalecamy jednak takich działań, ponieważ ustawienie wyższych limitów nie będzie miało skutku w postaci automatycznego zwiększenia indeksowania witryny. Jedynym właściwym rozwiązaniem jest dobra optymalizacja strony oraz serwerów, bez zmiany parametrów indeksacji.

Crawl health

Na wskaźnik ten wpływ ma szybkość odpowiadania strony i jej renderowania się, jak również wszystkie błędy 5xx. Jeżeli zależy Ci n szybkim indeksowaniu strony www, konieczna jest optymalizacja serwerów, jak wspominaliśmy wcześniej. Szybkość strony również jeden z czynników rankingowych wykorzystywanych przez Google.

Crawl demand

Kolejną kwestią jest popyt crawlowania. Nawet bardzo dbając o odpowiedni crawl health, w sytuacji, gdy strona będzie odpowiadała szybko, nie będzie zwracała wielu błędów w trakcie crawlingu, a wskaźniki w Lighthouse będą zielone, wcale nie oznacza to, że cały crawl limit jest wykorzystywany. Zależy on bowiem od popularności contentu oraz jego aktualności. Wpływ na ten wskaźnik ma także brak zmian w treści wychwytywany przez boty. Doskonale można to zaobserwować po serwisach, które piszą dla Google News. Indeksacja rozwija się w stopniowy sposób, kiedy zaczyna się pisać o konkretnym temacie.

W jaki sposób możesz sprawdzić crawl budget dla swojej strony?

Warto skorzystać z Google SearchConsole – stan indeksowania strony widoczny jest w zakładce „statystyki indeksowania”. Trzeba jednak pamiętać o tym, że Google na wykresach wskazuje jedynie ostatnie trzy miesiące, jak również to, że te zmieniają się, kiedy ma miejsce crawlowanie pod nowe algorytmy Google. Nie można więc samych wykresów traktować zero jedynkowo.

W jaki sposób można audytować crawl budget?

W celu przeprowadzenia audytu, warto zacząć od analizy obecnych logów, wciągając jednocześnie wszystkie historyczne access logi strony i zaimportować je do ELK. Konieczna jest też analiza wszystkich zakładek stanu w Google Search Console. Podczas analizy logów należy sprawdzić:

• strony, po których chodzi bot, a na których nie ma ruchu,
• statusy odpowiedzi przy szukaniu wielokrotnych przekierowań 3xx,
• strony błędów i statusów błędów serwera.

Taki sam zabieg przeprowadzany jest podczas crawlowania strony przy pomocy Screaming Frog. Dzięki temu można wykryć strony, do których boty Google jeszcze nie dostały oraz przetestować obciążenie witryny.

Kiedy uda nam się zebrać dane, należy je pogrupować w:

• kategorie,
• produkty,
• artykuły,
• inne.

Wówczas można rozpocząć analizę kroków Googlebota. Po przypisaniu stronom odpowiedniego poziomu w hierarchii możemy wykryć złe linkowanie wewnętrzne, jak również niewłaściwą architekturę informacji.

W jaki sposób można zwiększyć crawl budget strony?

Specjaliści z dziedziny SEO wskazują na kilka aspektów technicznych:

• optymalizację duplikacji treści (jeden adres URL na jeden artykuł),
• odpowiednia polityka linków kanonicznych,
• optymalizacja czasu ładowania każdej z poszczególnych podstron za pomocą PageSpeedInsights,
• odpowiednie ustawianie parametrów adresów URL w Google Search Console,
• eliminacja stron 404,
• poprawne linkowanie wewnętrzne.

Optymalizacja witryny pod tym kątem z pewnością będzie miała realny wpływ na zwiększenie crawl budget danej strony www.

Najczęstsze problemy, które mają wpływ na crawl budget

Osoby zajmujące się profesjonalnie SEO wskazują na kilka typowych problemów na stronach, które mają następnie przełożenie na crawl budget:

• niewłaściwe zaprojektowanie nawigacji,
• zmienne identyfikatory produktów w sklepie,
• pojawianie się identyfikatora sesji w adresie strony,
• dużą duplikację treści lub ich dużą parametryzację i linki kanoniczne.

Wyeliminowanie tych kilku często pojawiających się problemów powinno w dużej mierze przyczynić się do szybkości wczytywania się strony www.

W jaki sposób można zachęcić bity Google do odwiedzania strony www?

Niezwykle istotną rolę pełnią treści, które można znaleźć na poszczególnych podstronach. Od dłuższego czasu właśnie contentowi na stronach roboty Google przyglądają się najbardziej i to on jest kluczowy w procesie optymalizacji witryny. Treści o niskiej jakości znacznie ograniczają crawl budget i marnują zasoby serwerów, które mogłyby zostać lepiej wykorzystane. Treści znajdujące się na podstronach, które nie prezentują wysokiej jakości najlepiej więc rozszerzać.

Takie działanie niesie za sobą same pozytywy, ponieważ wysokiej jakości treści o charakterze eksperckim wpływają na ilość odwiedzin na stronie i z pewnością przynoszą jej kolejnych czytelników. Ostatecznie – niskiej jakości treści można po prostu zablokować przed indeksacją.

Kiedy crawl budget powinien mieć dla Ciebie duże znaczenie?

Nie ma jednej, oczywistej odpowiedzi na to pytanie. W zależności od tego, jakiej wielkości serwer znajduje się w Twojej dyspozycji, crawl budget może mieć dla Ciebie większe lub mniejsze znaczenie. Niewielkie strony www o maksymalnie kilkudziesięciu podstronach nie są aż tak uzależnione od limitu indeksowania, jak na przykład duże sklepy online. Spore ilości produktów dostępnych na poszczególnych podstronach lub dynamiczne tworzenie podstron oznaczają trudne zadanie dla botów Google. Aby ułatwić im indeksowanie adresów, a jednocześnie wypozycjonować swoją stronę internetową, warto przyłożyć się do szybkiego ładowania strony, ale również pozostałych czynników, o których wspominaliśmy powyżej. Warto pamiętać jednak o tym, że Google stale usprawnia swoje algorytmy i zasady bardzo często się zmieniają. Jeżeli nie jesteśmy w stanie samodzielnie poświęcić odpowiedniej ilości czasu działaniom z zakresu SEO, najlepiej zadanie to powierzyć profesjonalnej agencji, która na bieżąco śledzi nowości Google i posiada niezbędne doświadczenie oraz narzędzia, którymi bez trudu się posłuży.