Yandex.Metrica
Zamknij
Menu Skontaktuj się
Czy robots.txt rozwiązuje problem duplikacji wewnętrznej?
27 lutego 2018
Adrian Pakulski
AdrianPakulski

Czy robots.txt rozwiązuje problem duplikacji wewnętrznej?

0

W firmowej korespondencji jeden z naszych Klientów pyta, czy robots.txt może zostać wykorzystany do rozwiązania problemu duplikacji wewnętrznej. Poniżej odpowiedź.

“Witam,

Pytanie dotyczące opisów produktów. Jak robot Google podchodzi do tekstów nie oryginalnych?

Czy jeżeli w sklepie jest załóżmy 100 produktów i 99 z nich mają skopiowany od konkurencji tekst a jeden produkt ma tekst oryginalny to robot podchodzi indywidualnie do każdego produktu i np. obniża pozycje w wynikach tych 99 produktów a ten jeden produkt podwyższa?

Czy uznaje że 99% tekstów jest skopiowanych więc obniża pozycję wszystkich 100 produktów po równo? […]

[…] Powinienem zastosować robots.txt?”

Nie, robots.txt to żadne rozwiązanie

Założenie, że robots.txt rozwiązuje problem duplikacji jest błędne z jednego, zasadniczego powodu:

Robots.txt ukrywa podstrony (w wynikach organicznych), ale nie blokuje robota przed ich przetwarzaniem.

Robots.txt działa w taki sposób, że:

A: ukrywa (nie usuwa!) podstrony z wyników organicznych

ale zarazem

B: nie wyklucza tych zasobów z przetwarzania

Słowem – zasoby, które są wykluczone z robots.txt są nadal PRZETWARZANE z tą różnicą, że NIE SĄ WYŚWIETLANE w wynikach organicznych (wynik zwraca tylko komenda site:, o tym, że “wynik dla tej podstrony nie może zostać wyświetlony”).

Zrozumienie tej zależności jest kluczowe.

Słowem – nawet jeśli ukryjemy w SERP’ach tych 99 produktów, które mają zduplikowane opisy (niezależnie od tego, czy jest to duplikacja wewnętrzna, czy zewnętrzna), to robots.txt nie rozwiązuje tego problemu, bo te podstrony nadal BIORĄ UDZIAŁ w budowie szeroko pojętego autorytetu domeny.

Fakt, że ukryjesz 99 produktów w wynikach organicznych przez robots.txt nie jest równoznaczne z tym, że robot poprawi widoczność twojej domeny.

Przykładowe scenariusze

Grupuj produkty w zbiorczych kartach

Sprzedajesz 10 tych samych donic, z których każda kolejna różni się tylko wariantem kolorystycznym? Zamiast 1 oryginalnego produktu i 9 duplikatów, możesz zgrupować 10 donic w 1 kartę produktu, a w niej zastosować kombinację, dzięki której konsument dopiero w tym miejscu wybierze interesujący go produkt (np. tuż nad “dodaj do koszyka” zaprezentuj konsumentowi select “wybierz wariant kolorystyczny”.

2. Jeśli nie chcesz grupować produktów w zbiorcze karty, stosuj noindex lub zabierz się za unikalne opisy

Jeśli z jakichś powodów nie chcesz grupować wariantów kolorystycznych w 1 kartę produktu (co jest zrozumiałe, jeśli np. w listingu produktów na kategorii nie masz możliwości w jednoznaczny sposób pokazać klientowi, że każdy z produktów jest dostępny w kilku różnych wariantach kolorystycznych), to masz dwie alternatywny:

2.1.  Zabierasz się za unikalne opisy i nazwy

Nadajesz każdemu z produktów inną nazwę, a przynajmniej podkreślasz wariant kolorystyczny, np. Doniczka do ogrodu zielona, Doniczka do ogrodu czerwona itd.

Wymaga to większych zasobów (dużo treści) i analityki (research słów kluczowych), ale w zamian budujesz długi ogon.

2.2 Stosujesz tag noindex w meta przy duplikatach

Nic nie stoi na przeszkodzie, aby tylko 1 produkt-matka miała unikalny opis i nazwę, a reszta była jej wiernymi kopiami-córkami, ale to pod warunkiem, że kopie-córki są wykluczone z indeksowania przy zastosowaniu tagu noindex w meta.

I w przeciwieństwie do robots.txt, noindex w meta wyklucza problem przetwarzania danych, czyli nie dość, że wynik nie istnieje w organiku, to zarazem nie jest przetwarzany przez algorytm w klasyfikacji domeny.

3. Możesz skorzystać z Search Console

Wybrane podstrony możesz też usunąć przez Search Console. W przypadku sklepów będzie to trudne, bo nie da się tego procesu zautomatyzować, więc jest to tylko pewien półśrodek, ale w mikro-skali działa bardzo dobrze (np. strona firmowa z kilkoma podstronami).

Pojedyncze wyniku usuniesz w ten sposób: Indeks Google » Usuń adresy URL » Tymczasowo ukryj

Wbrew komunikatowi (“tymczasowo ukryj”), usunięcie podstrony przez Search Console działa w ten sam sposób, co w przypadku noindex w meta tagu. A te “tymczasowe ukrycie” działa tak długo, jak długo pozostajesz właścicielem domeny i tak długo, jak chcesz ten adres trzymać poza indeksem Google (jeśli domena wygaśnie i będzie miała nowego właściciela, to nowy właściciel będzie mógł te “ukryte przez Ciebie adresy URL” wycofać i przywrócić do indeksu).

1 unikalny produkt nie ratuje 99 pozostałych

W uzupełnieniu do pierwszej części pytania zadanego przez Klienta chcę podkreślić, że klasyfikator oceny domeny jest wypadkową wszystkich czynników onsite i offsite, wobec czego jeśli nie zastosujesz się do przykładowych scenariuszy, to nawet jeśli będziesz miał w sklepie 1-5 unikalnych produktów, ale kilkadziesiąt duplikatów, to proporcja treści unikalnych VS treści zduplikowanych jest tak wysoka, że o dobrych pozycjach możesz zapomnieć.

Aha, jeśli chcesz teraz podnieść argument, że przecież takie Ceneo, Allegro itd. mają w 100% zduplikowane treści, a są wysoko, to tutaj powyższy argument nie ma zastosowania. Autorytet tych domen jest tak wysoki (miliony linków), że nawet skopiowany content nie jest przeszkodą do mocnej ekspozycji w wynikach organicznych, a z racji na to, że ty jesteś mniejszym podmiotem i nie masz turbo-profilu linków, musisz dbać o absolutnie każdy czynnik optymalizacyjny.

Pakulski Adrian

Adrian Pakulski
Właściciel / specjalista SEO
Adrian Pakulski
Specjalista SEO z 8-letnim doświadczeniem rynkowym, a od 2012 r. właściciel agencji paq-studio, linkbuilder i analityk SEO. Odpowiedzialny za opiekę merytoryczną małych, średnich i dużych marek w wyszukiwarce Google. Absolwent Politechniki Koszalińskiej i Akademii Górniczo-Hutniczej w Krakowie na kierunku Marketing Internetowy.

Teksty które warto znać

15 października 2018
Sklep internetowy model SaaS
Adrian Pakulski

Sklep internetowy model SaaS

7 października 2018
Dlaczego to link stał się podstawowym czynnikiem rankingowym?
Adrian Pakulski

Dlaczego to link stał się podstawowym czynnikiem rankingowym?

4 października 2018
Ile kosztuje prowadzenie sklepu internetowego?
Adrian Pakulski

Ile kosztuje prowadzenie sklepu internetowego?

13 lipca 2018
Walka z “Booking’ami” w SERP’ach. Ile wytrzymasz?
Adrian Pakulski

Walka z “Booking’ami” w SERP’ach. Ile wytrzymasz?

8 czerwca 2018
Skąd wziąć opisy produktów do porównywarek? Bo przecież nie ze swojego sklepu
Adrian Pakulski

Skąd wziąć opisy produktów do porównywarek? Bo przecież nie ze swojego sklepu

1 czerwca 2018
Blog sklep internetowy
Adrian Pakulski

Blog sklep internetowy

PAQ Studio na Facebooku