РазноеСтатьи

Robots.txt для сайтов на WordPress

Файл нужен для настройки поисковых систем (и не только). Простыми словами можно сказать что в этом файле можно прописать каким поисковикам можно заходить на ваш сайт, а каким нет. Или же можно закрыть доступ в некоторые папки на вашем сайте.

Так как структура папок на Вордпресс одинаковая, то и файл robots.txt будет очень похож для всех сйтов сделаных на этой CMS.

Скачать файл robots.txt для Вордпресс сайтов.

Скачайте, замените в некоторых местах на свой домен и закачайте в корневую папку сайта.

User-agent: Yandex
Disallow: /wp-admin/
Disallow: /wp-admin/admin-ajax.php
Disallow: /author/
Disallow: /wp-json/
Disallow: /tag/
Disallow: /?
Disallow: *?s=
Disallow: *&s=
Disallow: *?q=
Disallow: *&q=
Disallow: /search/
Disallow: /results/
Disallow: /author/
Disallow: /users/
Disallow: *utm*=
Disallow: *openstat=
Host: https://yoursite.com/

User-agent: Googlebot
Disallow: /wp-admin/
Disallow: /wp-admin/admin-ajax.php
Disallow: /author/
Disallow: /wp-json/
Disallow: /tag/
Disallow: /?
Disallow: *?s=
Disallow: *&s=
Disallow: *?q=
Disallow: *&q=
Disallow: /search/
Disallow: /results/
Disallow: /author/
Disallow: /users/
Disallow: *utm*=
Disallow: *openstat=

User-agent: Mail.ru
Disallow: /wp-admin/
Disallow: /wp-admin/admin-ajax.php
Disallow: /author/
Disallow: /wp-json/
Disallow: /tag/
Disallow: /?
Disallow: *?s=
Disallow: *&s=
Disallow: *?q=
Disallow: *&q=
Disallow: /search/
Disallow: /results/
Disallow: /author/
Disallow: /users/
Disallow: *utm*=
Disallow: *openstat=

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-admin/admin-ajax.php
Disallow: /author/
Disallow: /wp-json/
Disallow: /tag/
Disallow: /?
Disallow: *?s=
Disallow: *&s=
Disallow: *?q=
Disallow: *&q=
Disallow: /search/
Disallow: /results/
Disallow: /author/
Disallow: /users/
Disallow: *utm*=
Disallow: *openstat=

Sitemap: https://yoursite.com/sitemap.xml
Sitemap: https://yoursite.com/sitemap-image.xml
Давай еще
Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Close