Как закрыть сайт от индексации

altБольшинство веб-мастеров стараются оптимизировать страницы своего интернет ресурса для того чтобы было проиндексировано как можно больше элементов. Но в некоторых случаях, необходимо скрыть некоторые веб-страницы, так например это требуют формы ввода регистрационных данных и восстановлений паролей и т.д. 

Самым простым способом закрыть индексацию определенных разделов или даже всего сайта является внесение соответствующих записей в  robots.txt. Он используется в поисковых системах в качестве поводыря.  Именно к этому файлу поисковой робот обращается при заходе на сайт и если его нет, то происходит индексация всего интернет ресурса. Если при создании своего сайта вы не делали такого приложения в виде текстового документа, то его можно очень быстро создать самому. Для этого необходимо открыть новый текстовой документ и в его теле разместить необходимые строки. В первую очередь прописывается  User-agent: *, затем Disallow: /файл.html и в самом конце Disallow: /директория/. А теперь разберем, что именно эти значения задают поисковой системе. Знак «*» находящийся напротив User-agent обозначает, что инструкцию следует выполнить для всех файлов системы. Так например, если вы вместо «*»  пропишите значение «Yandex», то ваше сообщение прочитает только система Яндекс. данное обращение прочитает только робот поисковой системы Яндекс. В свою очередь операторы Disallow  препятствуют индексации определенного раздела (директория)  либо файла (файл.html). Когда вы закончите составлять файл robots.txt, то можно переходить к текстам, которые находятся на страницах сайта. Стоит отметить, что поисковики не любят, когда на одной странице находится больше трех внешних активных ссылок.  Но если вам необходимо разместить более 5 ссылок на странице, то можно воспользоваться атрибутом rel="nofollow"  либо тегом noindex. Если вы хотите закрыть ссылку от индексации в поисковой системе Google, то следует привести сcылку вот в такой вид:
<a rel="nofollow" href="http://сайт.ru">анкор вашей ссылки</a>
 При этом тело атрибута вставляется в любую часть изменяемой ссылки, но при этом его следует разделять пробелом.

Если вы хотите закрыть от индексации ссылки в поисковике Яндекс, то ссылку нужно привести в следующий вид:
<a rel="nofollow" href="http://сайт.ru"> ваш анкор ссылки</a>
 Важно учесть, то, что тег нужно вставлять  в начале и в конце ссылок. Тег ставится в начале и в конце ссылки. 

©2007-2015, ya.kg.
При использовании материалов с сайта гиперссылка на источник обязательна.