Правильный файл robots.txt для сайта: примеры robots txt

15.08.2025

Файл robots.txt — это текстовый документ, который регулирует поведение поисковых роботов на сайте, указывая, какие страницы или разделы можно индексировать, а какие следует исключить.

Файл robots.txt помогает оптимизировать видимость сайта в поисковых системах, таких как Яндекс и Google, управляя доступом к контенту.

robots.txt

Зачем нужен robots.txt

Поисковые роботы (например, Googlebot, YandexBot) перед сканированием сайта проверяют robots.txt, чтобы определить, какие страницы доступны для индексации.

Это позволяет:

Скрыть конфиденциальные данные или ненужные страницы (например, админ-панель, корзину).
Повысить релевантность выдачи, исключив неважные разделы.
Снизить нагрузку на сервер, ограничив сканирование.

Однако важно помнить:

Не все боты соблюдают правила robots.txt. Злоумышленники могут использовать файл для поиска скрытых разделов.
Заблокированные страницы могут попасть в выдачу, если на них есть внешние ссылки.
Для каждого субдомена нужен отдельный robots.txt.

Основные поисковые роботы

Googlebot: основной робот Google.

YandexBot: краулер Яндекса.

Googlebot-Image, YandexImages: индексируют изображения.
Yandex Metrika, Yandex Market: роботы для аналитики и маркетплейсов.
Googlebot-Mobile: индексирует мобильные версии.

Robots.txt для WordPress (2025)

Ниже пример универсального файла robots.txt для WordPress. Замените sitevam.com на ваш домен.

User-agent: *
Disallow: /cgi-bin/
Disallow: /?
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: /xmlrpc.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-content/plugins/
Disallow: *utm*=
Disallow: *openstat=
Sitemap: https://sitevam.com/sitemap.xml

User-agent: Googlebot
Disallow: /cgi-bin/
Disallow: /?
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: /xmlrpc.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-content/plugins/
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Disallow: *utm*=
Disallow: *openstat=

User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /?
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: /xmlrpc.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-content/plugins/
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Clean-param: utm_source&utm_medium&utm_campaign
Clean-param: openstat
Sitemap: https://sitevam.com/sitemap.xml

Пояснения:

Disallow: блокирует доступ к указанным разделам (например, админ-панель, поиск).
Allow: разрешает индексацию нужных файлов (CSS, JS, изображения).
Clean-param: убирает UTM-метки для Яндекса.
Sitemap: указывает путь к карте сайта.

Robots.txt для WooCommerce

Для интернет-магазинов на WooCommerce добавляются ограничения для корзины и страниц оформления заказа:

User-agent: *
Disallow: /cgi-bin/
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: /xmlrpc.php
Disallow: *utm*=
Disallow: *openstat=
Disallow: /cart/
Disallow: /checkout/
Disallow: /*add-to-cart=*
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php
Sitemap: https://sitevam.com/sitemap_index.xml

Robots.txt для 1C-BitrixДля Bitrix важно исключить служебные страницы и дубли:

User-Agent: *
Disallow: */index.php
Disallow: /bitrix/
Disallow: /brands/
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*bitrix_include_areas=
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*ORDER_BY
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*print_course=
Disallow: /razdely-konditsionerov/
Disallow: /*?action=
Disallow: /*&action=
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*backurl=
Disallow: /*back_url=
Disallow: /*BACKURL=
Disallow: /*BACK_URL=
Disallow: /*back_url_admin=
Disallow: /*?utm_source=
Disallow: /*?bxajaxid=
Disallow: /*&bxajaxid=
Disallow: /*?alfaction=
Disallow: /*?set_filter=
Disallow: /*?sphrase_id=*
Disallow: /*?success=*
Disallow: /*?SECTION_CODE=*
Disallow: */detail?ID=
Disallow: */list.php
Disallow: *?SECTION_ID=
Disallow: *?arrFilter
Disallow: /catalog/compare
Disallow: */filter
Disallow: /upload/resize_cache/
Disallow: /private-policy
Disallow: /search*
Disallow: /personal/
Disallow: /*?view=*
Disallow: /*?search=*
Disallow: *?*
Disallow: /*?year=*
Disallow: /*?offer=*
Allow: /bitrix/templates/
Allow: */upload/
Allow: /bitrix/*.js
Allow: /bitrix/*.css
Allow: /local/*.js
Allow: /local/*.css
Allow: /local/*.jpg
Allow: /local/*.jpeg
Allow: /local/*.png
Allow: /local/*.gif
Sitemap: https://sitevam.com/sitemap.xml

Robots.txt для OpenCartДля OpenCart исключаются страницы фильтров, корзины и админки:

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Allow: *.css
Allow: *.js
Sitemap: https://sitevam.com/sitemap.xml

Robots.txt для UMI.CMSДля UMI.CMS исключаются системные разделы и корзина:

User-Agent: *
Disallow: /?
Disallow: /emarket/addToCompare
Disallow: /emarket/basket
Disallow: /go_out.php
Disallow: /images
Disallow: /files
Disallow: /users
Disallow: /admin
Disallow: /search
Disallow: /install-temp
Disallow: /install-static
Disallow: /install-libs
Allow: *.css
Allow: *.js
Sitemap: https://sitevam.com/sitemap.xml

Robots.txt для JoomlaДля Joomla важно закрыть служебные папки:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /component/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*?start=*
Disallow: /xmlrpc/
Allow: *.css
Allow: *.js
Sitemap: https://sitevam.com/sitemap.xml

Где находится robots.txt

Файл robots.txt обычно лежит в корневой папке сайта. Если его нет, создайте текстовый документ и загрузите через FTP или панель хостинга. Некоторые плагины, например Yoast SEO, создают виртуальный robots.txt, который не виден в корне, но доступен по адресу вашсайт.ру/robots.txt.

Как редактировать robots.txt в Yoast SEO

Зайдите в админ-панель: вашсайт.ру/wp-admin/.
В меню выберите Yoast SEO → Инструменты → Редактор файлов.
Если robots.txt отсутствует, нажмите Создать robots.txt и вставьте код из примера выше.
Сохраните изменения и проверьте корректность через сервисы (например, Яндекс Вебмастер).

Вывод

Правильно настроенный robots.txt — ключ к эффективной индексации сайта. Он помогает управлять доступом поисковых роботов, скрывать ненужные страницы и улучшать SEO. Настройте файл с учётом особенностей вашей CMS, регулярно проверяйте его и указывайте путь к sitemap для максимальной эффективности.