Yandex.Metrica
Zamknij
Menu Skontaktuj się
Czy robots.txt rozwiązuje problem duplikacji wewnętrznej?
27 lutego 2018
Adrian Pakulski
AdrianPakulski

Czy robots.txt rozwiązuje problem duplikacji wewnętrznej?

0

W firmowej korespondencji jeden z naszych Klientów pyta, czy robots.txt może zostać wykorzystany do rozwiązania problemu duplikacji wewnętrznej. Poniżej odpowiedź.

“Witam,

Pytanie dotyczące opisów produktów. Jak robot Google podchodzi do tekstów nie oryginalnych?

Czy jeżeli w sklepie jest załóżmy 100 produktów i 99 z nich mają skopiowany od konkurencji tekst a jeden produkt ma tekst oryginalny to robot podchodzi indywidualnie do każdego produktu i np. obniża pozycje w wynikach tych 99 produktów a ten jeden produkt podwyższa?

Czy uznaje że 99% tekstów jest skopiowanych więc obniża pozycję wszystkich 100 produktów po równo? […]

[…] Powinienem zastosować robots.txt?”

Nie, robots.txt to żadne rozwiązanie

Założenie, że robots.txt rozwiązuje problem duplikacji jest błędne z jednego, zasadniczego powodu:

Robots.txt ukrywa podstrony (w wynikach organicznych), ale nie blokuje robota przed ich przetwarzaniem.

Robots.txt działa w taki sposób, że:

A: ukrywa (nie usuwa!) podstrony z wyników organicznych

ale zarazem

B: nie wyklucza tych zasobów z przetwarzania

Słowem – zasoby, które są wykluczone z robots.txt są nadal PRZETWARZANE z tą różnicą, że NIE SĄ WYŚWIETLANE w wynikach organicznych (wynik zwraca tylko komenda site:, o tym, że “wynik dla tej podstrony nie może zostać wyświetlony”).

Zrozumienie tej zależności jest kluczowe.

Słowem – nawet jeśli ukryjemy w SERP’ach tych 99 produktów, które mają zduplikowane opisy (niezależnie od tego, czy jest to duplikacja wewnętrzna, czy zewnętrzna), to robots.txt nie rozwiązuje tego problemu, bo te podstrony nadal BIORĄ UDZIAŁ w budowie szeroko pojętego autorytetu domeny.

Fakt, że ukryjesz 99 produktów w wynikach organicznych przez robots.txt nie jest równoznaczne z tym, że robot poprawi widoczność twojej domeny.

Przykładowe scenariusze

Grupuj produkty w zbiorczych kartach

Sprzedajesz 10 tych samych donic, z których każda kolejna różni się tylko wariantem kolorystycznym? Zamiast 1 oryginalnego produktu i 9 duplikatów, możesz zgrupować 10 donic w 1 kartę produktu, a w niej zastosować kombinację, dzięki której konsument dopiero w tym miejscu wybierze interesujący go produkt (np. tuż nad “dodaj do koszyka” zaprezentuj konsumentowi select “wybierz wariant kolorystyczny”.

2. Jeśli nie chcesz grupować produktów w zbiorcze karty, stosuj noindex lub zabierz się za unikalne opisy

Jeśli z jakichś powodów nie chcesz grupować wariantów kolorystycznych w 1 kartę produktu (co jest zrozumiałe, jeśli np. w listingu produktów na kategorii nie masz możliwości w jednoznaczny sposób pokazać klientowi, że każdy z produktów jest dostępny w kilku różnych wariantach kolorystycznych), to masz dwie alternatywny:

2.1.  Zabierasz się za unikalne opisy i nazwy

Nadajesz każdemu z produktów inną nazwę, a przynajmniej podkreślasz wariant kolorystyczny, np. Doniczka do ogrodu zielona, Doniczka do ogrodu czerwona itd.

Wymaga to większych zasobów (dużo treści) i analityki (research słów kluczowych), ale w zamian budujesz długi ogon.

2.2 Stosujesz tag noindex w meta przy duplikatach

Nic nie stoi na przeszkodzie, aby tylko 1 produkt-matka miała unikalny opis i nazwę, a reszta była jej wiernymi kopiami-córkami, ale to pod warunkiem, że kopie-córki są wykluczone z indeksowania przy zastosowaniu tagu noindex w meta.

I w przeciwieństwie do robots.txt, noindex w meta wyklucza problem przetwarzania danych, czyli nie dość, że wynik nie istnieje w organiku, to zarazem nie jest przetwarzany przez algorytm w klasyfikacji domeny.

3. Możesz skorzystać z Search Console

Wybrane podstrony możesz też usunąć przez Search Console. W przypadku sklepów będzie to trudne, bo nie da się tego procesu zautomatyzować, więc jest to tylko pewien półśrodek, ale w mikro-skali działa bardzo dobrze (np. strona firmowa z kilkoma podstronami).

Pojedyncze wyniku usuniesz w ten sposób: Indeks Google » Usuń adresy URL » Tymczasowo ukryj

Wbrew komunikatowi (“tymczasowo ukryj”), usunięcie podstrony przez Search Console działa w ten sam sposób, co w przypadku noindex w meta tagu. A te “tymczasowe ukrycie” działa tak długo, jak długo pozostajesz właścicielem domeny i tak długo, jak chcesz ten adres trzymać poza indeksem Google (jeśli domena wygaśnie i będzie miała nowego właściciela, to nowy właściciel będzie mógł te “ukryte przez Ciebie adresy URL” wycofać i przywrócić do indeksu).

1 unikalny produkt nie ratuje 99 pozostałych

W uzupełnieniu do pierwszej części pytania zadanego przez Klienta chcę podkreślić, że klasyfikator oceny domeny jest wypadkową wszystkich czynników onsite i offsite, wobec czego jeśli nie zastosujesz się do przykładowych scenariuszy, to nawet jeśli będziesz miał w sklepie 1-5 unikalnych produktów, ale kilkadziesiąt duplikatów, to proporcja treści unikalnych VS treści zduplikowanych jest tak wysoka, że o dobrych pozycjach możesz zapomnieć.

Aha, jeśli chcesz teraz podnieść argument, że przecież takie Ceneo, Allegro itd. mają w 100% zduplikowane treści, a są wysoko, to tutaj powyższy argument nie ma zastosowania. Autorytet tych domen jest tak wysoki (miliony linków), że nawet skopiowany content nie jest przeszkodą do mocnej ekspozycji w wynikach organicznych, a z racji na to, że ty jesteś mniejszym podmiotem i nie masz turbo-profilu linków, musisz dbać o absolutnie każdy czynnik optymalizacyjny.

Pakulski Adrian

Adrian Pakulski
Właściciel / specjalista SEO
Adrian Pakulski
Specjalista SEO z 8-letnim doświadczeniem rynkowym, a od 2012 r. właściciel agencji paq-studio, linkbuilder i analityk SEO. Odpowiedzialny za opiekę merytoryczną małych, średnich i dużych marek w wyszukiwarce Google. Absolwent Politechniki Koszalińskiej i Akademii Górniczo-Hutniczej w Krakowie na kierunku Marketing Internetowy.

Teksty które warto znać

20 kwietnia 2018
Jak odzyskać, usunąć dostęp do Search Console?
Adrian Pakulski

Jak odzyskać, usunąć dostęp do Search Console?

12 kwietnia 2018
Słowo kluczowe w nazwie domeny
Adrian Pakulski

Słowo kluczowe w nazwie domeny

5 marca 2018
Opis kategorii w sklepie internetowym. Czy powinien pojawić się pod listą produktów, czy nad nią?
Adrian Pakulski

Opis kategorii w sklepie internetowym. Czy powinien pojawić się pod listą produktów, czy nad nią?

2 marca 2018
Czy ruch z social mediów ma wpływ na SEO?
Adrian Pakulski

Czy ruch z social mediów ma wpływ na SEO?

27 lutego 2018
Czy robots.txt rozwiązuje problem duplikacji wewnętrznej?
Adrian Pakulski

Czy robots.txt rozwiązuje problem duplikacji wewnętrznej?

8 lutego 2018
Jak dużych zasobów potrzebujesz, aby dogonić liderów e-commerce w SEO?
Adrian Pakulski

Jak dużych zasobów potrzebujesz, aby dogonić liderów e-commerce w SEO?

PAQ Studio na Facebooku