Crawl budget

Crawl budget: ilości zasobów, jakie wyszukiwarka, taka jak Google, jest gotowa przeznaczyć na przeglądanie (crawlowanie) strony internetowej w określonym czasie.

Crawl budget można opomiarować różnymi metrykami, np.:

• liczbą sesji generowanych w Twoim serwisie przez GoogleBota,
• liczbą żądań do zasobów, jakie GoogleBot wygeneruje (żądań o kod html, biblioteki JS, bitmapy, pliki etc.),
• czasem, jaki GoogleBot spędził podczas crawlowania zawartości domeny.

Szczegółowymi parametrami technicznymi, jakimi określa się crawl budget są:

1. Crawl Demand: crawl demand jest czynnikiem odzwierciedlającym „popyt” na przeglądanie danej strony przez wyszukiwarki. Crawl demand jest determinowany przez kilka aspektów, takich jak popularność strony, jej aktualizacje, świeżość treści, oraz liczba i jakość linków zewnętrznych prowadzących do strony. Wysoki crawl demand oznacza, że wyszukiwarka uznaje stronę za wartościową do częstszego przeglądania ze względu na jej potencjalną wartość dla użytkowników.
2. Crawl Rate Limit: crawl rate limit określa ograniczenie nakładane przez wyszukiwarki na ilość zasobów (np. czas procesora serwera, przepustowość sieci), które mogą być używane do przeglądania strony internetowej. Jest to zabezpieczenie przed nadmiernym obciążeniem serwera strony przez działania wyszukiwarki. Gdy serwer strony reaguje wolno lub doświadcza błędów, wyszukiwarki mogą obniżyć crawl rate limit, aby nie przeciążać serwera.