Wprowadzenie do pozycjonowania – 4 – Jak działają roboty?
Google indeksują strony używając robotów. Roboty to programy, które indeksują strony podążając za linkami. W tym dziale przedstawię kilka info rmacji jak robotami sterować.
Pierwszą i najważniejszą zasadą jest to aby do każdego miejsca na stronie dało się dojść ze strony głównej przed maksymalnie dwa linki. Jest tak dlatego, że takie strony są dużo łatwiejsze do zaindeksowania przez robota wyszukiwarki. Idzie za tym zwiększenie jego aktywności na naszych stronach, zwiększenie ilości podstron w indeksie Google i nadawanie wyższych wartości PageRank podstronom. W skrócie: im mniej przeskoków tym większa moc podstron.
Przykładowe instrukcje dla robotów:
<meta name=”robots” content=”index,follow”>
Ustawienie tego znacznika pozwala na indeksowanie strony przez roboty i pozwala na odwiedzanie wszystkich linków.
<meta name=”robots” content=”noindex,follow”>
Ustawienie tego znacznika nie pozwala na indeksowanie strony przez roboty i pozwala na odwiedzanie wszystkich linków
<meta name=”robots” content=”index,nofollow”>
Ustawienie tego znacznika pozwala na indeksowanie strony przez roboty i zabrania odwiedzania wszystkich linków)
<meta name=”robots” content=”noindex,nofollow”>
Ustawienie tego znacznika nie pozwala na indeksowanie strony przez roboty i zabrania odwiedzania wszystkich linków.
Te tagi nie mają już praktycznie żadnego znaczenia dla czołowych wyszukiwarek. W Google odpowiedzialny jest za to plik robots.txt
User-agent: nazwa robota, “*” reprezentuje dowolnego robota
Allow: /katalog/ – pozwala na indeksowanie katalogu
Disallow: /katalog – zabrania indeksowania katalogu
Plik robots.txt powinien znaleźć się w głównym katalogu ze strona i być dostępny z poziomu http://www.nazwadomeny.pl/robots.txt
Plik robots.txt może też bronić nasza stronę przed niepożądanymi robotami. Przykład znajduje się tu -> robots.txt