Понедельник, 21.10.2019, 03:33



Тематический каталог сайтов и статей
//catalog55.3dn.ru/

Главная Регистрация Вход
Приветствую Вас, Гость · RSS
Меню сайта
Наш опрос
Группа дисплеев
Всего ответов: 38
Форма входа
VIP Сайты
Сайт школы-интерната 4 вида для слабовидящих детей г.Владимир
Блог школы-интернат 4 вида г.Владимир
Сайт учителя начальных классов Мусафировой Маргариты Евгеньевны
Каталог образовательных Интернет-ресурсов
Домовушечка
Салон «Рукотворная Мстёра
Агентство Мир переводов Казань
Свадебный салон "Домашний очаг"
" 4 ступени". Сайт учителя начальных классов Калаевой С.С.
Поддай пару
покорми рыбок
Поддержать сайт
Статистика

Онлайн всего: 1
Гостей: 1
Пользователей: 0
 robots.txt

Robots.txt

  Некоторые серверы автоматически создают файл "robots.txt" , например хостинг от uCoz, но многих  не волнуют ваши проблемы и приходиться создавать и настраивать самим.

Robots.txt -очень важный файл на вашем сайте, очень подробно описан в (Яндекс помощь http://help.yandex.ru/webmaster/?id=996567).

Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле веб-мастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности. (Яндекс помощь).

У вас молодой сайт, нужно индексировать поисковыми роботами, тут не до капризов....

Проверка сайта поисковым роботом начинается с загрузки и чтения robots.txt, желательно  использовать описание структуры вашего сайта (карта сайта) в формате sitemaps.xml  Подробнее

Предлагаю для начала самый простой вариант:

Скопируйте текст и вставьте в текстовый редактор (блокнот). Замените выделенный адрес сайта  своим.

Сохраните файл как "robots.txt"  на компьютере и загрузите в корневую директорию Вашего сайта, а также создайте и загрузите файл sitemap.xml



User-agent: *

Disallow:

Host: catalog55.3dn.ru

Sitemap: http://catalog55.3dn.ru/sitemap.xml



Данный вариант разрешает индексировать сайт всем поисковым роботам и ссылки согласно записям в файле sitemaps.xml  

В будущем можно будет запретить индексировать сайт определённым роботам, технические страницы или страницы которые вы не хотите показывать поисковому роботу по разным причинам. 

У меня был случай, когда Яндес упрямо выдавал страничку «контакты», вместо «главной», страшного ничего нет, только книгу привычней читать сначала, а не с конца.


Пример моего Robots.txt

http://catalog55.3dn.ru/robots.txt:


User-agent: *

Disallow: /a/

Disallow: /stat/

Disallow: /index/1

Disallow: /index/2

Disallow: /index/3

Disallow: /index/5

Disallow: /index/7

Disallow: /index/8

Disallow: /index/9

Disallow: /panel/

Disallow: /admin/

Disallow: /secure/

Disallow: /informer/

Disallow: /mchat

Disallow: /search

Disallow: /shop/order/


Sitemap: http://catalog55.3dn.ru/sitemap.xml

Sitemap: http://catalog55.3dn.ru/sitemap-forum.xml

Sitemap: http://catalog55.3dn.ru/sitemap-shop.xml


Для каждого робота пишется своя группа инструкций, это означает, что один робот может быть прописан только в одной строке User-agent.

Исключение составляет строка User-agent: *. Это означает, что следующая за ней Disallow относятся ко всем роботам

После User-agent, должна быть минимум одна инструкция Disallow.

Количество инструкций Disallow не ограничено.


-разрешает индексацию всем роботам, все страницы сайта. Можно вместо звёздочки поставить конкретного робота поисковой системы, дальше согласно карте сайта sitemap.xml.

User-agent: *      

Disallow:

Host: catalog55.3dn.ru

Sitemap: http://catalog55.3dn.ru/sitemap.xml


-запрещает доступ ко всему сайту, всем роботам. Можно вместо звёздочки поставить конкретного робота поисковой системы.

User-agent: *

Disallow: /


-запрещает доступ к страницам,  начинающимся с  /search.  Можно вместо звёздочки поставить конкретного робота поисковой системы, дальше согласно карте сайта sitemap.xml.

User-agent: *

Disallow: /search

Host: catalog55.3dn.ru

Sitemap: http://catalog55.3dn.ru/sitemap.xml


-запрещает доступ к папке /stat/. Можно вместо звёздочки поставить конкретного робота поисковой системы. В данном случаи запрещено просматривать папку статистики всем роботам, дальше согласно карте сайта sitemap.xml.

User-agent: *

Disallow: /stat/

Host: catalog55.3dn.ru

Sitemap: http://catalog55.3dn.ru/sitemap.xml


О файлах Sitemap- карта сайта

Продвигаем свой любимый сайт сами.

chernyaev-ol © 2019
Время
Праздники сегодня
Праздники сегодня
Облако тегов
Поиск
Архив записей
Погода Владимир
Категории раздела
Разное [19]
Новости каталога [20]



Besucherzahler mail order brides
счетчик посещений
Рейтинг@Mail.ru Счетчик PR-CY.Rank тематический каталог сайтов и статей Яндекс.Метрика
Хостинг от uCoz