Robots.txt
Некоторые серверы автоматически создают файл "robots.txt" , например хостинг от
uCoz, но многих не волнуют ваши проблемы
и приходиться создавать и настраивать самим.
Robots.txt -очень важный файл на вашем сайте,
очень подробно описан в (Яндекс помощь http://help.yandex.ru/webmaster/?id=996567).
Robots.txt — текстовый файл, расположенный на
сайте, который предназначен для роботов поисковых систем. В этом файле
веб-мастер может указать параметры индексирования своего сайта как для всех
роботов сразу, так и для каждой поисковой системы по отдельности. (Яндекс
помощь).
У вас молодой сайт, нужно индексировать
поисковыми роботами, тут не до капризов....
Проверка
сайта поисковым роботом начинается с загрузки и чтения robots.txt,
желательно использовать описание
структуры вашего сайта (карта сайта) в формате sitemaps.xml Подробнее
Предлагаю
для начала самый простой вариант:
Скопируйте
текст и вставьте в текстовый редактор (блокнот). Замените выделенный адрес
сайта своим.
Сохраните
файл как "robots.txt" на
компьютере и загрузите в корневую директорию Вашего сайта, а также создайте и загрузите файл sitemap.xml
User-agent: *
Disallow:
Host: catalog55.3dn.ru
Sitemap: http://catalog55.3dn.ru/sitemap.xml
Данный
вариант разрешает индексировать сайт всем поисковым роботам и ссылки согласно
записям в файле sitemaps.xml
В будущем можно будет запретить индексировать сайт определённым роботам, технические страницы или страницы которые вы не хотите показывать поисковому роботу по разным причинам.
У меня был случай, когда Яндес упрямо выдавал страничку «контакты», вместо «главной», страшного ничего нет, только книгу привычней читать сначала, а не с конца.
Пример моего Robots.txt
http://catalog55.3dn.ru/robots.txt:
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Sitemap: http://catalog55.3dn.ru/sitemap.xml
Sitemap: http://catalog55.3dn.ru/sitemap-forum.xml
Sitemap: http://catalog55.3dn.ru/sitemap-shop.xml
Для каждого робота пишется своя группа
инструкций, это означает, что один робот может быть прописан только в одной
строке User-agent.
Исключение составляет строка User-agent: *.
Это означает, что следующая за ней Disallow относятся ко всем роботам
После User-agent,
должна быть минимум одна инструкция Disallow.
Количество
инструкций Disallow не ограничено.
-разрешает индексацию всем роботам, все страницы сайта. Можно
вместо звёздочки поставить конкретного робота поисковой системы, дальше
согласно карте сайта sitemap.xml.
User-agent: *
Disallow:
Host: catalog55.3dn.ru
Sitemap:
http://catalog55.3dn.ru/sitemap.xml
-запрещает доступ ко всему сайту, всем роботам. Можно
вместо звёздочки поставить конкретного робота поисковой системы.
User-agent: *
Disallow: /
-запрещает доступ к страницам, начинающимся с /search. Можно вместо звёздочки поставить конкретного
робота поисковой системы, дальше согласно карте сайта sitemap.xml.
User-agent: *
Disallow: /search
Host: catalog55.3dn.ru
Sitemap:
http://catalog55.3dn.ru/sitemap.xml
-запрещает доступ к папке /stat/. Можно вместо звёздочки поставить
конкретного робота поисковой системы. В данном случаи запрещено просматривать
папку статистики всем роботам, дальше согласно карте сайта sitemap.xml.
User-agent: *
Disallow: /stat/
Host: catalog55.3dn.ru
Sitemap:
http://catalog55.3dn.ru/sitemap.xml
