**Robots.txt —** это текстовый файл, предназначенный для ограничения доступа поисковых роботов к разделам и страницам сайта, которые нужно исключить из обхода и результатов выдачи.
**Зачем нужен файл robots.txt**
Например, иногда роботам не стоит посещать:
1. страницы с личной информацией пользователей на сайте;
2. страницы с разнообразными формами отправки информации;
3. сайты-зеркала;
4. страницы с результатами поиска;
5. другие служебные информации
Файл **Sitemap** выполняет роль **карты сайта**. После загрузки файла **robots.txt** поисковый бот загружает карту сайта, если таковая имеется.
Карта сайта XML позволяет роботу найти все необходимые страницы для последующей индексации. Файл **Sitemap** имеет расширение XML и представляет собой документ, который содержит дерево XML-тегов.
**Нужно для заказа:**
**Чтобы начать работу, нужно предоставить след. данные:**
1. - Ссылку на сайт
2. - Доступ к хостингу (ftp)
3. - Если хотите запретить индексирование определенные страницы, то ссылки на эти страницы
**Объем услуги :** Для 1го сайта
Цена - 500 рублей