Skip to content
 

Как создать файл Robots.txt

Как создать файл Robots.txt

Вы спросите, что такое файл Robots.txt и с чем его едят:)? А, возможно, вы ищите эту информацию, вам нужно создать и установить на сайт файл Robots.txt. Буду рада, если мой опыт вам пригодиться.

Как начинающий веб-мастер я столкнулась с этим вопросом не сразу. Просто информация прошла мимо, такое бывает. Спешу вас успокоить, дорогой читатель, ничего страшного не произошло, например,  мой сайт «Автошкола на дому»- www.natalianakonechnaja.com жил без этого файла  больше года и ничего страшного не случилось. Вы за 5 минут создадите и установите на свой сайт файл Robots.txt и еще проверите , только дочитайте статью до конца и можете приступать за дело.

Как создать карту сайта с помощью плагина?

Поисковой системе Google данный файл не нужен. Ей достаточно найти на сайте sitemap.xml — откуда он берется? После  установки плагина Google XML SiteMap, активируйте плагин и в настройках плагина нажмите на ссылку «Создать карту сайта». Все, карта сайта для поисковой системы Google создана.

Ваши действия можно выстроить в следующую цепочку:

КОНСОЛЬ —  ПЛАГИНЫ — ДОБАВИТЬ — ПОИСК или ЗАГРУЗИТЬ —  УСТАНОВИТЬ — АКТИВИРОВАТЬ ПЛАГИН — НАСТРОЙКИ — XML-карта сайта — Карта не была построена еще. Нажмите здесь

Нажимаете и автоматически построится карта сайта. 

Что такое файл Robots.txt и зачем он нужен?

Файл Robots.txt любого сайта вы сможете посмотреть самостоятельно, выполнив следующие действия:

  • откройте интересующий вас сайт
  • в строке браузера после адреса сайта подпишите /robots.txt 
  • нажмите Enter

Рассмотрите строку браузера, гдепрописан адрес еще одного моего сайта по духовному развитию Ангел Света:

Сайт "Ангел Света"

Перед вами файл Robots.txt — это текстовый файл, который содержит инструкции для поисковых роботов. Рассмотрите содержимое файла Robots.txt, идеального содержимого файла не существует, его время от времени можно редактировать.

Файл Robots.txt нужен для поисковой системы Яндекс, он несет информацию для поисковой системы какие страницы сайта индексировать, а какие оставить без индекса. Файл Robots.txt создается в корневой папке сайта.  

Перед обращением к страницам вашего сайта поисковый робот прежде ищет файл Robots.txt, который запрещает поисковым системам доступ к указанными вами разделам или ресурсам. Эти ограничения для поисковых систем не означает, что в файле спрятано что-то запрещенное. Просто на любом сайте есть часть информации, которая для поисковых систем и посетителей не важна, поэтому нет смысла ее индексировать роботами. Например, не важна информация страниц логина, регистрации, rss лента у каждого поста и т.д.

В WordPress по умолчанию нет файла Robots.txt, поэтому файл нужно создать в блокноте и загрузить на хостинг в корневую папку вашего сайта.

Поисковой системе Google данный файл не нужен. Ей достаточно найти на сайте sitemap.xml. Как создается «сайтмап» Вы видели в моих бесплатных уроках по созданию и настройке сайта.

Как файл Robots.txt залить на хостинг Джино

Сначала подготовим файл Robots.txt вашего сайта для установки в корневую папку. Скопируйте содержимое файла Robots.txt, например с моего сайта и вставьте содержимое файла  в блокнот:

Файл Roborts.txt

В самом низу файла найдите адрес моего сайта и замените на свой адрес

сохраните, например, на рабочем столе или в удобной для Вас папке.

Для установления файла в корневую папку сайта, выполните следующую цепочку действий:

КОНТРОЛЬНАЯ ПАНЕЛЬ — ВОЙТИ — УПРАВЛЕНИЕ — ФАЙЛОВЫЙ МЕНЕДЖЕР — папка domains — выберите адрес сайта (вы попали в корневую папку сайта) — ВЫБЕРИТЕ файл Robots.txt (со своего компьютера) — ЗАГРУЗИТЬ 

Все, вы установили файл Robots.txt  на свой сайт. О благополучной загрузке вам сообщит система надписью «Файл Robots.txt загружен успешно» на зеленом фоне.


Проверяем установку файла Robots.txt

Теперь обязательно проверим установленный  файл Robots.txt. Для этого в окне браузера введите адрес своего сайта и к имени сайта добавьте строчку /robots.txt  и нажимаем Enter

У вас откроется файл Robots.txt и вам остается его просто проверить. Проверяем все ли есть строчки, звездочки, стоит ли имя вашего сайта в трех местах. Посмотрите, не появилось ли чего лишнего.

Поздравляю Вас, вы создали и установили файл Robots.txt. 

Удачи Вам в создании сайта своими руками на пути к Финансовой Свободе!

Пожалуйста, поделитесь информацией с друзьями и знакомыми в соц. сетях, нажмите на кнопки:

Опубликовать в Google Plus
Опубликовать в Мой Мир
Опубликовать в Одноклассники

6 комментариев

  1. Анна:

    Добрый день, Наташа!
    Как быстро при желании и упорстве приходит опыт! А у меня такой вопрос: как определить, какая информация важна и какая не важна для поисковых систем?

  2. admin:

    Анна, спасибо за вопрос! Ответ смотри в статье, «.. не важна информация страниц логина, регистрации, rss лента у каждого поста и т.д.» и могу добавить «комментарии». Знаю, что можно редактировать файл robots.txt как тебе надо. Как мне надо я пока не знаю, взяла предложенный шаблон и переделала под свой сайт. Но скажу, что запланировала для себя дать анализ сайтам, меня интересующим, посмотреть их файл, т.е. более глубоко изучить эту тему.

  3. Анна:

    Наталья, спасибо за ответ. Можно позже узнать результат изучения этой темы? Продолжение статьи будет?

  4. admin:

    Конечно, продолжение будет, так как, изучая тему «Как создать сайт» своими руками, конца я не вижу:)))

  5. Anna:

    Здравствуйте, Наташа! Хочу вам выразить искреннюю благодарность за вашу статью. Для меня установка файла роботса на хостинг была огромной головной болью. Я не понимала, как это можно сделать через контрольную панель Джино.Точнее, я забыла как это делается, потому что один раз я его туда залила.И сделала это правильно, как показала проверка на ЯНДЕКС.ВЕБМАСТЕР. Теперь встал вопрос изменить его полностью. Вот я и спрашиваю у вас, мне нужно старый роботс удалить и только потом вставить новый? Я должна выделить старый роботс и нажать «удалить». Я правильно мыслю?Ну, а что делать дальше, я благодаря вам, уже теперь знаю.Я случайно попала к вам на блог, поэтому убедительная просьба написать мне ответ на емейл.Заранее вас благодарю.Желаю вам всего доброго и светлого всегда и во всём.Заходите в гости, буду рада, и ответный визит вам обеспечен.

  6. Галина:

    Здравствуйте,Наташа! Как я Вам благодарна! У меня в файле Robots.txt случайно в Вебмастерах увидела, что дважды прописан Host и красный минус стоит. Начала искать,как исправить. Убила массу время, а потом пришла к Вам. У Вас все по полочкам, все понятно, открыла джино и по вашей статье удалила лишнее. Проверила в Яндекс мастере — все Ок! Спасибо. Наташа, а какой путь в админке к Robots.txt? Хочу посмотреть,но не знаю где. Видела как-то, но не записала. Знаю,что в корне где — то. А сейчас все записываю и сегодняшний путь тоже. Спасибо и дай Вам Бог!

Написать отзыв