CRL (crawl rate limit)

CRL, a właściwie: crawl rate limit odnosi się do liczby stron, które bot wyszukiwarki (np. GoogleBot) jest w stanie i chce przeszukać na stronie w określonym czasie. Jest to limit ustalony przez wyszukiwarkę, aby nie obciążać serwera strony zbyt intensywnym crawlingiem. W praktyce oznacza to, że jeśli serwer, na jakim hostowana jest strona, będzie wolny lub będzie miał problemy z wydajnością (szybkością), Google może ograniczyć częstotliwość odwiedzin, aby nie powodować dodatkowych problemów.

Crawl rate limit może być dynamicznie dostosowywany przez wyszukiwarki na podstawie zdolność serwera do obsługi ruchu. Jeśli więc poprawisz wydajność swojego serwera, możesz zauważyć zwiększenie aktywności botów na stronie.