Crawl budget – co to jest?

author
crawl budget

Crawl budget – nie daj się przeczołgać!

Jeśli chcesz, aby Twoja strona szybko się indeksowała, powinieneś rozumieć pojęcie, jakim jest crawl budget. Ma ono związek zarówno ze stronami dużymi, jak i małymi. Jednak w większości przypadków to właściciele bardziej rozbudowanych witryn, na których może zaistnieć więcej błędów technicznych, powinni zwrócić uwagę na ów termin.

Zacznijmy jednak od początku:

Czym jest crawling w SEO?

Google wysyła swoje boty znane też jako Googleboty albo Google Spidery, aby poddać Twoje strony crawlingowi, a następnie zaindeksować zawarte na nich treści. Gdy czynności te zostaną wykonane, zawartość Twojej witryny znajduje się w indeksie Google. Z tego względu bardzo ważne jest, aby Google mógł łatwo znaleźć wszystkie należące do Ciebie strony. Właśnie w tym celu tworzy się sitemapy, dzięki którym adresy URL mogą być łatwo znalezione przez Googleboty.

Jeśli Twoja strona posiada kilkaset adresów URL, wtedy proces crawlingu odbędzie się stosunkowo szybko. Co wtedy, gdy dana witryna składa się z tysięcy podstron, a kolejne dodawane są regularnie każdego dnia? Wtedy ustalenie tego, co i kiedy należy poddać crawlingowi, staje się bardzo ważne.

Crawl budget – definicja

Pojęcie to wywodzi się z dwóch ważnych czynników – Crawl Rate oraz Crawl Demand. Wyjaśnijmy je szerzej.

  • Crawl Rate Limit

Limit ten został wprowadzony, aby Google nie poddawał crawlingowi zbyt wielu stron w zbyt krótkim czasie. Ma to zapobiec ewentualnym przeciążeniom serwera witryny. Crawl rate limit powstrzymuje Google od wysyłania zbyt wielu zapytań, które mogłyby spowodować spowolnienie szybkości Twojej strony.

Sam crawl rate może zależeć także od szybkości strony. Jeżeli witryna jest zbyt powolna lub czas odpowiedzi serwera jest zbyt długi, spada tempo tego procesu. W rezultacie Google analizuje tylko kilka z Twoich stron. Jeśli z kolei witryna odpowiada szybko, wtedy crawl rate także wzrasta.

Crawl rate limit można zmienić w Google Search Console. Jednak samo ustawienie limitu na wysoki poziom nie gwarantuje od razu lepszego współczynnika crawl rate.

  • Crawl Demand

Jeśli zapotrzebowanie na indeksowanie Twojej strony jest niskie, wtedy Googlebot będzie unikał ich crawlingu. Samo Google zaznacza, że popularny i aktualny content ma wyższą wartość tego współczynnika. Crawl demand zależy także od ogólnej popularności Twoich stron, jak i od ich aktualności oraz oryginalności contentu.

Biorąc pod uwagę te dwa pojęcia, crawl budget można zdefiniować jako:

Liczba stron lub adresów URL z Twojej witryny, które Googlebot po uwzględnieniu Crawl Rate Limit oraz Crawl Demand może lub chce poddać crawlingowi.

Dlaczego powinien interesować mnie crawl budget?

Na pewno zależy Ci na tym, aby Google znalazło i przeanalizowało tak wiele Twoich stron, jak to tylko możliwe. Kiedy dodajesz nowe podstrony lub aktualizujesz obecne, chcesz, aby wyszukiwarka wychwyciła je jak najszybciej. Na pewno nie chciałbyś też stracić potencjalnego ruchu ze stron, które nie zostały jeszcze poddane crawlingowi.

Jeśli źle dostosujesz swój crawl budget, Google nie będzie w stanie skutecznie zaindeksować Twojej witryny. Googleboty spędzą za dużo czasu na podstronach, które nie mają większego znaczenia. W rezultacie najważniejsze elementy contentu na Twojej witrynie nie zostaną odnalezione i nie uzyskasz dzięki nim odwiedzających.

Z drugiej strony nie ma też sensu zmuszać crawlery do powrotu na Twoją stronę, jeżeli nie będą tam miały niczego nowego i ciekawego do znalezienia. Algorytmy Google są całkiem sprytne i potrafią ustalić, czy częstotliwość zmian wprowadzanych na dane strony faktycznie przekłada się na ich większą wartość.

Najlepiej jest zatem skupić się na ulepszaniu jakości wybranych stron, czyli dodawaniu do nich pożytecznych informacji. Dzięki temu w naturalny sposób wygenerują one większą liczbę odwiedzin, co przełoży się także na to, że będą częściej indeksowane.

Crawl budget – najczęściej zadawane pytania

  • Jak sprawdzić crawl budget na mojej stronie?

Zaloguj się do swojej Google Search Console i wybierz docelową stronę internetową. Następnie wejdź w indeksowanie, a następnie statystyki indeksowania.

Zobaczysz tam takie dane jak:

Liczba stron indeksowanych dziennie – nagły spadek w ilości indeksowanych stron może być sygnałem, że strona ma pewne problemy.

Liczba kilobajtów danych pobieranych dziennie – jeśli liczba ta jest wysoka, ale nie powoduje spadków w czasie potrzebnym na pobranie strony, nie dzieje się nic złego.

Czas spędzony na pobieraniu strony – im ta wartość jest niższa, tym lepiej.

  • Czy szybkość strony wpływa na crawl budget?

Zadbanie o szybkość strony nie tylko polepsza user experience, ale i zwiększa szybkość procesu crawlingu. Dla Googlebotów szybka strona jest oznaką, że witryna ma się dobrze. Dzięki temu spidery mogą szybciej przeanalizować jej content. Z drugiej strony duża liczba przerwanych połączeń jest negatywną oznaką, przez którą Googlebot spowalnia indeksowanie. Z tego względu dobrze jest monitorować sekcję błędy indeksowania.

Wyższy współczynnik indeksacji jest ważny, ale nie będzie sam w sobie skutkował wyższymi pozycjami w wynikach wyszukiwania. W tym celu Google używa mnóstwa innych sygnałów rankingowych – crawling sam w sobie nim nie jest.

  • Czy alternatywne adresy URL wpływają na crawl budget?

Ogólnie rzecz biorąc każde URL, które analizuje Googlebot, wlicza się w budżet indeksacji. Alternatywne adresy URL, content osadzony czy pliki CSS mogą być poddane indeksacji. W ten sposób będą one zajmowały część crawl budgetu. Dokładnie na tej samej zasadzie długie łańcuchy przekierowań także mogą mieć negatywny wpływ na crawling.

  • Czy dyrektywa nofollow wpływa na crawl budget?

To zależy od okoliczności. Każdy URL, który jest poddany crawlingowi, wpływa na budżet. Nawet jeśli dany link jest oznaczony przez nofollow, Google nadal może go analizować. Stanie się tak, gdy inna podstrona na Twojej witrynie zawiera ten link, ale nie oznacza go przez nofollow.

Podsumowanie

Dzięki temu artykułowi na pewno wiesz więcej na temat tego, czym jest crawl budget oraz jak wpływa on na pozycjonowanie. Pamiętaj, że ma on największe znaczenie w przypadku dużych stron internetowych. Możliwe, że odpowiednie dostosowanie go naprawi problemy z wydajnością Twojej witryny.

Verseo  Darmowa Wycena

Powiązane wpisy

Google kontra Ad Boty

Google kontra Ad Boty

Google od dawna próbuje sobie poradzić z botami generującymi fałszywe kliknięcia w reklamy AdWords. Ostatnio wdroż...
CZYTAJ WIĘCEJ

Dodaj komentarz

Copyright © 2019 Agencja Interaktywna Verseo - wszelkie prawa zastrzeżone

Polityka prywatności | Witryna wykorzystuje pliki cookies