Jak ograniczyć indeksowanie pustych kategorii w katalogu firm

Pusta kategoria nie jest neutralnym elementem katalogu. Dla użytkownika oznacza stronę bez odpowiedzi, a dla robota wyszukiwarki — kolejny adres, który trzeba pobrać, wyrenderować i ocenić. Gdy katalog ma kilkadziesiąt takich podstron, problem zwykle pozostaje niewielki. Gdy automatycznie tworzy kombinacje branży, miasta, dzielnicy i filtra, liczba bezwartościowych adresów potrafi wzrosnąć z kilku tysięcy do setek tysięcy.

Najgorszy wariant wygląda tak: strona kategorii zwraca kod 200 OK, ma własny tytuł, znajduje się w mapie XML i jest podlinkowana z indeksowalnych podstron, ale nie zawiera ani jednej firmy. Technicznie działa poprawnie. Merytorycznie jest pustym wynikiem wyszukiwania. Takie adresy rozmywają strukturę serwisu, generują raporty typu „Zindeksowano, choć zablokowano”, „Soft 404” lub „Strona zeskanowana, ale jeszcze nie zindeksowana” i utrudniają ocenę, które sekcje katalogu rzeczywiście mają potencjał SEO.

Najpierw podziel puste kategorie na trzy typy

Nie każda pusta kategoria powinna być obsługiwana w ten sam sposób. To podstawowy błąd w dużych katalogach: programista dostaje polecenie „ustawić noindex na pustych stronach”, a później okazuje się, że system wycina również ważne lokalizacje, które miały zostać uzupełnione w ciągu kilku dni.

W praktyce potrzebne są co najmniej trzy statusy.

1. Kategoria trwale niepotrzebna

To adres powstały przez błędną kombinację filtrów, literówkę, usuniętą branżę albo lokalizację, której katalog nie obsługuje. Przykładem może być /hydraulik/warszawa/kolor-czerwony/, jeżeli filtr koloru nie ma żadnego sensu w katalogu usług.

Taki URL powinien:

• zwracać kod 404 Not Found albo 410 Gone,
• zniknąć z mapy XML,
• zostać usunięty z menu, filtrów i linkowania wewnętrznego,
• nie przekierowywać automatycznie na stronę główną,
• nie zwracać kodu 200 z komunikatem „brak wyników”.

Kod 410 można stosować, gdy adres został świadomie i trwale usunięty. Nie daje on jednak magicznej przewagi nad poprawnym 404. Ważniejsze jest to, aby serwer nie udawał, że nieistniejąca kategoria nadal jest pełnoprawną stroną.

2. Kategoria chwilowo pusta

Dotyczy to sekcji, która miała firmy wcześniej albo zostanie uzupełniona w przewidywalnym terminie. Przykład: kategoria „serwis klimatyzacji w Elblągu” straciła ostatnią aktywną wizytówkę, ale dział sprzedaży ma trzy zgłoszenia oczekujące na weryfikację.

Tutaj rozsądniejszy jest kod 200 OK oraz dyrektywa:

<meta name="robots" content="noindex,follow">

Strona pozostaje dostępna dla użytkowników i robotów, ale nie powinna trafiać do wyników wyszukiwania. Po pojawieniu się wartościowej zawartości system może automatycznie usunąć noindex.

Nie należy blokować takiego adresu w pliku robots.txt. Google musi pobrać stronę, aby zobaczyć dyrektywę noindex. Jednoczesne zastosowanie Disallow i noindex często kończy się tym, że robot nie może odczytać metatagu, a sam adres nadal może być widoczny w indeksie na podstawie linków prowadzących do niego.

3. Kategoria z małą liczbą firm

Jedna firma nie zawsze oznacza pustą stronę. Równie często nie oznacza jednak strony wartej indeksowania.

Decyzja powinna zależeć od zawartości całego adresu, a nie od samej liczby rekordów. Kategoria z jedną firmą może pozostać indeksowalna, jeżeli zawiera:

• pełny opis usługi lub branży,
• dane lokalne odnoszące się do konkretnego miasta,
• informacje o obszarze obsługi,
• odpowiedzi na lokalne pytania użytkowników,
• unikalne dane firmy, godziny, zakres usług i sposób kontaktu,
• linki do sąsiednich, rzeczywiście przydatnych kategorii.

Z kolei podstrona z trzema szczątkowymi wizytówkami, identycznym opisem jak w 200 innych miastach i automatycznym tekstem „Znajdź najlepszych specjalistów” nadal jest stroną niskiej jakości.

W katalogach, które rozwijają się stopniowo, dobrze działa wewnętrzny próg publikacji. Może to być na przykład minimum trzy aktywne wizytówki albo jedna kompletna wizytówka połączona z unikalnym opisem lokalnym. Nie jest to wymóg Google, lecz reguła operacyjna, która zapobiega publikowaniu przypadkowych stron. Próg trzeba dobrać do branży. W katalogu lekarzy trzy profile mogą być zbyt niskim minimum, natomiast w niszowej kategorii przemysłowej jedna zweryfikowana firma może wyczerpywać lokalny rynek.

Noindex, 404 i canonical służą do różnych zadań

Najwięcej problemów powoduje stosowanie jednego mechanizmu do wszystkich pustych adresów. Tymczasem noindex, 404, przekierowanie i rel="canonical" rozwiązują inne problemy.

Noindex jest właściwy, gdy strona ma istnieć dla użytkownika, ale nie powinna pojawiać się w wynikach wyszukiwania. Sprawdza się przy chwilowo pustych kategoriach, wynikach wewnętrznej wyszukiwarki oraz technicznych zestawieniach, które są potrzebne w interfejsie katalogu.

Dyrektywę można przekazać w kodzie HTML:

<meta name="robots" content="noindex,follow">

albo w nagłówku HTTP:

X-Robots-Tag: noindex

Druga metoda przydaje się między innymi przy dokumentach i zasobach, których nie da się wygodnie opisać metatagiem HTML.

404 lub 410 należy stosować wtedy, gdy strona faktycznie nie powinna już istnieć. Kategoria usunięta z panelu administracyjnego nie powinna miesiącami zwracać kodu 200 tylko dlatego, że szablon potrafi wyświetlić pustą ramkę.

Przekierowanie 301 ma sens wyłącznie wtedy, gdy istnieje jednoznaczny odpowiednik usuniętej strony. Połączenie dwóch kategorii „naprawa pralek” i „serwis pralek” uzasadnia przekierowanie słabszego adresu na docelową kategorię. Przenoszenie każdej pustej strony na stronę główną albo nadrzędne miasto jest złym skrótem. Użytkownik spodziewa się konkretnej listy firm, a otrzymuje ogólną stronę. Wyszukiwarka może potraktować takie przekierowanie jak soft 404.

Canonical nie jest narzędziem do usuwania pustych kategorii. Tag rel="canonical" wskazuje preferowaną wersję w grupie stron identycznych lub bardzo podobnych. Nie powinien być używany do masowego kierowania pustych kategorii na stronę główną, nadrzędną branżę ani najbliższe miasto. Jeżeli treść i intencja adresów są różne, Google może zignorować wskazanie.

Osobnym problemem są adresy tworzone przez filtry, na przykład:

• /firmy/warszawa/?sort=ocena,
• /firmy/warszawa/?otwarte=teraz,
• /firmy/warszawa/?strona=1&sort=nazwa,
• /firmy/warszawa/mokotow/?usluga=awarie&dojazd=24h.

Jeżeli każda kombinacja parametrów generuje indeksowalny URL, liczba stron rośnie szybciej niż liczba firm. Dziesięć miast, 50 branż i sześć filtrów posiadających po kilka wartości może utworzyć dziesiątki tysięcy kombinacji, z których większość będzie pusta albo niemal identyczna.

Najbezpieczniejszy model zakłada, że indeksowane są wyłącznie ręcznie zatwierdzone kombinacje o realnym popycie i odpowiedniej liczbie ofert. Pozostałe filtry mogą działać dla użytkownika, lecz powinny mieć noindex, ograniczone linkowanie albo konstrukcję, która nie tworzy osobnego adresu dostępnego dla robota.

Blokadę w robots.txt należy wdrażać dopiero po analizie. Nadaje się do ograniczania skanowania wielkich przestrzeni parametrów, ale nie gwarantuje usunięcia adresów z wyników wyszukiwania. Co więcej, po zablokowaniu robot nie zobaczy zmian w metatagach ani zawartości strony.

Automatyzacja musi uwzględniać jakość danych, nie tylko liczbę rekordów

W dużym katalogu ręczne oznaczanie pustych kategorii przestaje być możliwe. Regułę indeksowania trzeba powiązać z bazą danych, statusem wizytówek i procesem publikacji.

Minimalny warunek techniczny może wyglądać następująco:

• zero aktywnych firm i brak planu rozwoju kategorii — kod 404 lub 410,
• zero aktywnych firm, ale kategoria jest utrzymywana — kod 200 i noindex,
• co najmniej jedna firma, ale strona nie spełnia wymagań jakościowych — kod 200 i noindex,
• strona spełnia próg publikacji — kod 200, brak noindex, self-canonical i obecność w mapie XML.

Liczenie samych rekordów jest jednak zbyt prymitywne. Firma oznaczona jako aktywna może nie mieć telefonu, adresu, kategorii głównej albo potwierdzonego obszaru działania. Dziesięć takich rekordów nie tworzy lepszej strony niż jedna kompletna wizytówka.

Dlatego status kategorii powinien zależeć od rekordów kwalifikowanych, czyli takich, które spełniają ustalone warunki. Przykładowa punktacja może uwzględniać:

• nazwę firmy i zgodność z rejestrem,
• pełny adres albo jasno określony obszar obsługi,
• numer telefonu,
• przypisaną branżę główną,
• aktywną stronę internetową,
• godziny działania,
• datę ostatniej weryfikacji,
• brak duplikatu tej samej firmy.

Dopiero wizytówka przekraczająca określony próg, na przykład 70 punktów na 100, jest liczona jako pełnowartościowy rekord. Sama wartość 70 nie jest branżowym standardem. To przykład reguły, którą trzeba skalibrować na podstawie jakości danych i sposobu moderacji katalogu.

Automatyzacja powinna obejmować również opóźnienie zmian. Jeżeli ostatnia firma znika z kategorii na kilka godzin wskutek importu danych, natychmiastowe dodanie noindex może powodować niepotrzebne wahania. Rozsądny bufor to zwykle 24–72 godziny, zależnie od częstotliwości synchronizacji. Przywrócenie indeksowania również powinno następować dopiero po zakończeniu moderacji, a nie w chwili utworzenia pustego szkicu profilu.

Trzeba też pilnować czterech elementów:

• Mapa XML — powinna zawierać wyłącznie kanoniczne adresy zwracające 200, które mają być indeksowane. Strony z noindex, przekierowania i błędy 404 należy z niej usuwać.
• Linkowanie wewnętrzne — puste kategorie nie powinny zajmować miejsca w głównym menu, listach popularnych lokalizacji ani blokach „powiązane kategorie”. Link można zostawić w panelu filtrów, jeżeli jest potrzebny użytkownikowi, ale nie warto promować takiego adresu w całym serwisie.
• Dane strukturalne — nie należy generować pustych list ItemList, fałszywych ocen ani znaczników udających zawartość, której nie ma na stronie. Dane uporządkowane muszą odpowiadać temu, co widzi użytkownik.
• Nagłówki i opisy — automatyczny tekst liczący 1000 znaków nie naprawia pustej kategorii. Akapit z nazwą miasta odmienioną w pięciu przypadkach nadal nie dostarcza oferty ani informacji potrzebnej do wyboru firmy.

Przy projektowaniu progu indeksacji trzeba uwzględnić także wiarygodność danych lokalnych. Niespójne nazwy, adresy i telefony obniżają użyteczność katalogu, nawet gdy liczba rekordów wygląda dobrze. Pomocne są uporządkowane wizytówki NAP – biznap.pl, ponieważ pozwalają rozwijać kategorie na podstawie konkretnych danych firmowych, a nie samych automatycznie wygenerowanych adresów URL.

FAQ

Czy każda kategoria bez firm powinna mieć noindex?
Nie. Chwilowo pusta kategoria może otrzymać noindex, ale adres trwale błędny lub niepotrzebny powinien zwykle zwracać 404 albo 410.

Czy można zablokować puste kategorie w robots.txt?
Można ograniczyć ich skanowanie, lecz robots.txt nie jest narzędziem do usuwania stron z indeksu. Jeżeli adres ma zostać wyindeksowany przez noindex, robot musi mieć możliwość pobrania strony i odczytania dyrektywy.

Czy pusta kategoria może pozostać w mapie XML?
Nie powinna. Mapa XML służy do wskazywania kanonicznych stron przeznaczonych do indeksowania. Umieszczanie w niej adresów z noindex, przekierowań i stron 404 wysyła sprzeczne sygnały.

Czy jedna firma wystarczy, aby indeksować kategorię?
Tylko wtedy, gdy profil jest kompletny, a strona odpowiada na konkretną intencję użytkownika. Jedna szczątkowa wizytówka otoczona ogólnym tekstem nie jest wystarczającym powodem do indeksacji.

Jak szybko Google usunie pustą kategorię po dodaniu noindex?
Nie ma gwarantowanego terminu. Dyrektywa zostanie uwzględniona po ponownym pobraniu strony. W małym, regularnie skanowanym serwisie może to potrwać kilka dni, a w dużym katalogu z głęboką strukturą — kilka tygodni.

Czy warto przekierowywać puste kategorie do kategorii nadrzędnej?
Tylko wtedy, gdy strona nadrzędna rzeczywiście zaspokaja tę samą potrzebę. Masowe przekierowania pustych miast i branż na stronę główną są dezorientujące i mogą zostać potraktowane jak soft 404.

Jak sprawdzić, czy problem jest duży?
Trzeba porównać liczbę indeksowalnych kategorii z liczbą kategorii posiadających kwalifikowane wizytówki. Następnie warto sprawdzić w Google Search Console próbki adresów oznaczonych jako soft 404, wykluczonych przez noindex, zablokowanych w robots.txt oraz zeskanowanych, lecz niezindeksowanych.

Pierwszym działaniem powinno być wyeksportowanie wszystkich adresów kategorii wraz z kodem HTTP, liczbą aktywnych wizytówek, obecnością noindex, canonicalem i statusem w mapie XML. Najpierw usuń błąd o największych konsekwencjach: puste strony zwracające 200, umieszczone w sitemapie i intensywnie podlinkowane wewnętrznie. Dopiero później ograniczaj parametry filtrów i dopracowuj progi automatycznego indeksowania.