Robots.txt

Jest to plik tekstowy umieszczany w głównym katalogu strony internetowej, który zawiera instrukcje dla botów wyszukiwarek, do których adresów URL mogą uzyskać dostęp. Jego głównym celem jest określenie, które widoki mają być indeksowane przez roboty, a które powinny zostać całkowicie pominięte. Dzięki temu można skutecznie kontrolować crawl budget oraz to, jakie treści pojawią się w wynikach organicznych

Jeśli posiadasz w swoim sklepie internetowym lub na stronie internetowej:

• filtry,
• string,
• sortowanie,
• adresacje dynamiczne,
• regulaminy,
• duplikaty,

to najlepszym rozwiązaniem będzie umieszczenie ich w pliku robots.txt, aby prawidłowo zarządzać crawl budgetem i przeznaczać zasoby GoogleBota na rzecz kluczowych dla pozycjonowania adresacji

Plik robots.txt jest jawny i możesz go sprawdzić wpisując po końcówce domeny

https://xyz.pl/robots.txt

1. Plik ten powinien zawierać polecenia, w których umieścisz wyodrębnione z URL’i zmienne np.

https://xyz.pl/?s=panele

2. Następnie dodajesz dyrektywę do pliku robots.txt:

Disallow: /*?s=

Jest to kluczowe narzędzie w zarządzaniu widocznością strony w wyszukiwarkach. Pamiętaj, że każdy bot inaczej rozpatruje ten plik i to od niego zależy przestrzeganie wszystkich instrukcji. GoogleBot stosuje się do prawidłowo zapisanych instrukcji w robots.txt oraz w meta tagu, jednak inne boty mogą tego nie robić.