27 lutego 2018
Adrian Pakulski

Czy robots.txt rozwiązuje problem duplikacji wewnętrznej?

Optymalizacja SEO Pozycjonowanie e-commerce

W firmowej korespondencji jeden z naszych Klientów pyta, czy robots.txt może zostać wykorzystany do rozwiązania problemu duplikacji wewnętrznej. Poniżej odpowiedź.

„Witam,

Pytanie dotyczące opisów produktów. Jak robot Google podchodzi do tekstów nie oryginalnych?

Czy jeżeli w sklepie jest załóżmy 100 produktów i 99 z nich mają skopiowany od konkurencji tekst a jeden produkt ma tekst oryginalny to robot podchodzi indywidualnie do każdego produktu i np. obniża pozycje w wynikach tych 99 produktów a ten jeden produkt podwyższa?

Czy uznaje że 99% tekstów jest skopiowanych więc obniża pozycję wszystkich 100 produktów po równo? […]

[…] Powinienem zastosować robots.txt?”

Nie, robots.txt to żadne rozwiązanie

Założenie, że robots.txt rozwiązuje problem duplikacji jest błędne z jednego, zasadniczego powodu:

Robots.txt ukrywa podstrony (w wynikach organicznych), ale nie blokuje robota przed ich przetwarzaniem.

Robots.txt działa w taki sposób, że:

A: ukrywa (nie usuwa!) podstrony z wyników organicznych

ale zarazem

B: nie wyklucza tych zasobów z przetwarzania

Słowem – zasoby, które są wykluczone z robots.txt są nadal PRZETWARZANE z tą różnicą, że NIE SĄ WYŚWIETLANE w wynikach organicznych (wynik zwraca tylko komenda site:, o tym, że „wynik dla tej podstrony nie może zostać wyświetlony”).

Zrozumienie tej zależności jest kluczowe.

Słowem – nawet jeśli ukryjemy w SERP’ach tych 99 produktów, które mają zduplikowane opisy (niezależnie od tego, czy jest to duplikacja wewnętrzna, czy zewnętrzna), to robots.txt nie rozwiązuje tego problemu, bo te podstrony nadal BIORĄ UDZIAŁ w budowie szeroko pojętego autorytetu domeny.

Fakt, że ukryjesz 99 produktów w wynikach organicznych przez robots.txt nie jest równoznaczne z tym, że robot poprawi widoczność twojej domeny.

Przykładowe scenariusze

Grupuj produkty w zbiorczych kartach

Sprzedajesz 10 tych samych donic, z których każda kolejna różni się tylko wariantem kolorystycznym? Zamiast 1 oryginalnego produktu i 9 duplikatów, możesz zgrupować 10 donic w 1 kartę produktu, a w niej zastosować kombinację, dzięki której konsument dopiero w tym miejscu wybierze interesujący go produkt (np. tuż nad „dodaj do koszyka” zaprezentuj konsumentowi select „wybierz wariant kolorystyczny”.

2. Jeśli nie chcesz grupować produktów w zbiorcze karty, stosuj noindex lub zabierz się za unikalne opisy

Jeśli z jakichś powodów nie chcesz grupować wariantów kolorystycznych w 1 kartę produktu (co jest zrozumiałe, jeśli np. w listingu produktów na kategorii nie masz możliwości w jednoznaczny sposób pokazać klientowi, że każdy z produktów jest dostępny w kilku różnych wariantach kolorystycznych), to masz dwie alternatywny:

2.1.  Zabierasz się za unikalne opisy i nazwy

Nadajesz każdemu z produktów inną nazwę, a przynajmniej podkreślasz wariant kolorystyczny, np. Doniczka do ogrodu zielona, Doniczka do ogrodu czerwona itd.

Wymaga to większych zasobów (dużo treści) i analityki (research słów kluczowych), ale w zamian budujesz długi ogon.

2.2 Stosujesz tag noindex w meta przy duplikatach

Nic nie stoi na przeszkodzie, aby tylko 1 produkt-matka miała unikalny opis i nazwę, a reszta była jej wiernymi kopiami-córkami, ale to pod warunkiem, że kopie-córki są wykluczone z indeksowania przy zastosowaniu tagu noindex w meta.

I w przeciwieństwie do robots.txt, noindex w meta wyklucza problem przetwarzania danych, czyli nie dość, że wynik nie istnieje w organiku, to zarazem nie jest przetwarzany przez algorytm w klasyfikacji domeny.

3. Możesz skorzystać z Search Console

Wybrane podstrony możesz też usunąć przez Search Console. W przypadku sklepów będzie to trudne, bo nie da się tego procesu zautomatyzować, więc jest to tylko pewien półśrodek, ale w mikro-skali działa bardzo dobrze (np. strona firmowa z kilkoma podstronami).

Pojedyncze wyniku usuniesz w ten sposób: Indeks Google » Usuń adresy URL » Tymczasowo ukryj

W kontekście SEO, usunięcie podstrony przez Search Console działa w ten sam sposób, co w przypadku noindex w meta tagu, ale pamiętaj, że to „tymczasowe ukrycie” działa tylko przez 6 miesięcy. Po tym czasie zostaje „zdjęte” i robot znów może przywrócić wybrane przez Ciebie podstrony do indeksu (i zrobi to, jeśli ponownie ich „tymczasowo nie ukryjesz).

1 unikalny produkt nie ratuje 99 pozostałych

W uzupełnieniu do pierwszej części pytania zadanego przez Klienta chcę podkreślić, że klasyfikator oceny domeny jest wypadkową wszystkich czynników onsite i offsite, wobec czego jeśli nie zastosujesz się do przykładowych scenariuszy, to nawet jeśli będziesz miał w sklepie 1-5 unikalnych produktów, ale kilkadziesiąt duplikatów, to proporcja treści unikalnych VS treści zduplikowanych jest tak wysoka, że o dobrych pozycjach możesz zapomnieć.

Aha, jeśli chcesz teraz podnieść argument, że przecież takie Ceneo, Allegro itd. mają w 100% zduplikowane treści, a są wysoko, to tutaj powyższy argument nie ma zastosowania. Autorytet tych domen jest tak wysoki (miliony linków), że nawet skopiowany content nie jest przeszkodą do mocnej ekspozycji w wynikach organicznych, a z racji na to, że ty jesteś mniejszym podmiotem i nie masz turbo-profilu linków, musisz dbać o absolutnie każdy czynnik optymalizacyjny.

Pakulski Adrian

4.5
Oceń
Zamknij

Ocen: Czy robots.txt rozwiązuje problem duplikacji wewnętrznej?

Oceń
Adrian Pakulski
Właściciel / specjalista SEO
Specjalista SEO z 8-letnim doświadczeniem rynkowym, a od 2012 r. właściciel agencji paq-studio, linkbuilder i analityk SEO. Odpowiedzialny za opiekę merytoryczną małych, średnich i dużych marek w wyszukiwarce Google. Absolwent Politechniki Koszalińskiej i Akademii Górniczo-Hutniczej w Krakowie na kierunku Marketing Internetowy.
Jaki hosting dla sklepu internetowego?
Video

Jaki hosting dla sklepu internetowego?

Czy hosting dla strony internetowej różni się czymś szczególnym od hostingu dla sklepu internetowego? Nie musi, choć co oczywiste – sklep internetowy ...
Background-image w CSS czy img tag w HTML
Video

Background-image w CSS czy img tag w HTML

I ten i ten element to bitmapa. Użytkowo – niczym się nie różnią, ale pierwsza jest osadzona w dokumencie jako background-image w ...
Social e-commerce
Video

Social e-commerce

Kilka dni temu miałem ciekawą rozmowę z potencjalnym Klientem – nazwijmy go Pawłem. Paweł ma zbudowany biznes wokół dopshippingu i sprzedaży w ...

Jakiego artykułu szukasz?

PAQ Studio na Facebooku