Jeśli dany materiał, który dodałeś na stronę ma się wyświetlać w wynikach wyszukiwania Google, to najpierw musi go odwiedzić robot wyszukiwarki i sprawdzić, czy warto go umieścić w indeksie. Czasami bywa tak, że nie dochodzi do indeksacji. Jakie mogą być tego przyczyny?
Jak sprawdzić, czy dana podstrona jest zindeksowana?
Najprostszym sposobem na ustalenie, czy strona znajduje się w indeksie Google jest skorzystanie z polecenia site:. Wystarczy, że w pole wyszukiwania wpiszesz site:adrestwojejstrony.pl. Jeśli zobaczysz, że wyświetli się wynik, to wtedy oznacza, że dana witryna znajduje się w indeksie Google.
Innym sposobem jest skorzystanie z Google Search Console. Po zalogowaniu się i wybraniu interesującej Cię domeny, wpisz dany adres w pole „Sprawdź dowolny URL w…”. Po dodaniu tam tego adresu zobaczysz informację, czy jest zindeksowany.
Okazuje się, że danego materiału nie ma w zasobach Google? Sprawdźmy, jakie mogą być tego powody.
Google nie indeksuje strony – przyczyny
Brak indeksacji może mieć związek z wieloma kwestiami. Wynikać może z błędów popełnionych w kodzie strony, faktu, że nie kierują do niej żadne linki i nie tylko.
Do strony nie prowadzą odnośniki
Robot Google musi się jakoś dowiedzieć o istnieniu Twojej strony. Porusza się po witrynach na podstawie linków znalezionych w sieci, które kierują do danego serwisu. W przypadku gdy Twoja strona jest nowa, możliwe, że nie ma do niej żadnych odnośników.
Jak rozwiązać taki problem? Pozyskuj linki prowadzące do witryny, a jeśli nie chcesz czekać na moment, aż robot Google trafi do niej na tej podstawie, to poinformuj wyszukiwarkę o serwisie za pośrednictwem GSC. Wprowadź dany adres we wspomniane już pole „Sprawdź dowolny URL w…”. Wyświetli Ci się komunikat, a pod nim prośba o indeksację. Po skorzystaniu z tej opcji zazwyczaj tego samego dnia witryna znajdzie się w indeksie, ale możesz napotkać na pewne trudności, które mogą w tym przeszkadzać i uniemożliwiać dodanie materiału do Google.
Kara ręczna od Google
Kiedyś Google nakładało mnóstwo kar ręcznych, które kończyły się ograniczeniem widoczności w wynikach wyszukiwania albo całkowitym wykluczeniem strony z indeksu, co swoją drogą prowadziło do tego, że nie były indeksowane żadne zasoby witryny. Przyczyn wykluczenia może być wiele. Google nakłada kary ze względu na automatyczne generowanie tekstów, maskowanie treści czy też tworzenie witryn, które są niskiej jakości zapleczem SEO. Skąd masz wiedzieć, jaki jest powód kłopotów w Twoim przypadku? Odpowiedź znajdziesz w GSC.
W menu po lewej stronie odszukaj pozycję „Ręczne działania”. Sprawdź, czy znajduje się tam jakiś komunikat. Jeśli tak, to Google powiadomi Cię, na czym polega problem. Kiedy go rozwiążesz, możesz potwierdzić, że go wyeliminowałeś. Po weryfikacji poprawności zmian Google powinno przywrócić Twoją witrynę od indeksu lub usunąć filtr.
Blokada w pliku robots.txt
Plik robots.txt służy do wskazywania robotom co im wolno, a czego niewolno. Wprawdzie istnieją boty, które pomimo wytycznych postąpią inaczej, ale nie dotyczy to tych od popularnych wyszukiwarek. Dlatego jeśli w pliku umieścisz dyrektywę wykluczającą indeksowanie danego zasobu, to nie pojawi się on w Google. Jak to możliwe, że takie polecenie znalazło się w Twoim pliku? Często osoby odpowiedzialne za stworzenie strony na etapie realizacji projektu blokują indeksację, aby do wyszukiwarek trafiła dopiero w 100 proc. zrealizowana wersja serwisu.
Kod, który teoretycznie powstrzymuje indeksację wygląda następująco:
User-agent: *
Disallow: adres zasobu.
Jeśli zaś jest on taki, jak poniżej:
User-agent: *
Disallow: /
to wówczas blokowana jest indeksacja całej strony. Rozwiązaniem problemu jest pozostawienie w pliku robots.txt kodu:
User-agent: *
Disallow:
Jak możesz sprawdzić zawartość tego pliku? Jest on umieszczony w folderze głównym – o ile istnieje – czyli pod adresem https://twojadomena.pl/robots.txt. Ewentualnie możesz skorzystać z testera Google, który znajdziesz tutaj.
Uwaga: blokada przez plik robots.txt w wielu przypadkach kończy się i tak uwzględnieniem danego zasobu, ale wówczas w opisie strony w SERP-ach wyświetli się informacja, że materiał został zindeksowany mimo blokady w robots.txt. Dlaczego tak się dzieje? Google by nie dodało tych zasobów, ale prawdopodobnie znalazło prowadzące do nich linki i uznało, że z tego względu warto dodać ten materiał do indeksu.
Źrodło: https://developers.google.com/search/docs/advanced/robots/intro?hl=pl
Blokada w meta tagach
Webmasterzy, zamiast blokady w robots.txt, w celu zablokowania indeksowania korzystają również z meta tagów, które także powodują, że robot nie zindeksuje danych zasobów. Kod, który przynosi taki efekt wygląda następująco:
<meta name=”robots” content=”noindex, nofollow”>
Jeśli materiały mają być indeksowane, to powinien on być taki:
<meta name=”robots” content=”index, follow”>
Jak zweryfikować, czy w przypadku Twojej strony problem wynika z blokady w meta tagach? Otwórz źródło witryny i sprawdź zawartość powyższego tagu. Zobaczysz go w sekcji <head> strony. Ewentualnie możesz skorzystać z narzędzia, które znajdziesz tutaj.
Wymóg podania hasła do danych zasobów
Jeśli dana podstrona w serwisie jest dostępna wyłącznie po podaniu hasła, to nie ma możliwości, aby robot Google zindeksował takie zasoby. Zresztą – skoro ustalasz, że konieczne jest podanie hasła, to prawdopodobnie nie chcesz też, aby dany materiał wyświetlał się w wynikach wyszukiwania.
Blokada w nagłówku HTTP
Zamiast blokady w meta tagach webmaster mógł osiągnąć ten sam cel poprzez nagłówek odpowiedzi HTTP. Wystarczy, że umieścił tam dyrektywę X-Robots-Tag: noindex. Jak sprawdzić, czy brak indeksacji ma związek właśnie z tym? Skorzystaj np. z tego narzędzia i sprawdź, czy w wyświetlonej treści znajdziesz wspomnianą dyrektywę.
Jak naprawić ten problem? Np. poprzez zmianę noindex na index. Należy tego dokonać w pliku .htaccess na serwerach z oprogramowaniem Apache, a na serwerach Nginx w głównym pliku .conf.
Google nie indeksuje zasobów – podsumowanie
Brak danej strony w Google może wynikać z wielu przyczyn. Zanim zabierzesz się za ich analizowanie, skorzystaj z Google Search Console. Sprawdź dany URL. Google pomoże Ci ustalić przyczynę takiej sytuacji.
