Расширение настроек зеркал в вебмастере. История о том, как я сменил главное зеркало Как указать главное зеркало в гугл

Когда только начинаешь заниматься сайтами, то не задумываешься, что, например, www..ru — разные адреса. Эти доменные имена являются зеркалами. На каждом из них могут отображаться разные сайты.

Какие сайты Яндекс считает зеркалами?

Яндекс считает зеркалами сайты, которые содержат одинаковый контент на страницах, находящихся на одинаковых адресах. Например, www..ru/yandex-webmaster/. У меня стоят , поэтому все зеркала ведут на один адрес.

Какие адреса могут являться зеркалами:

• с префиксом www и без него - www.primer.ru и primer.com;
• по протоколам HTTP и HTTPS - http://primer.com и https://primer.com;
• находится в разных доменных зонах - primer.com и primer.ru;
• настроен серверный 301 редирект с одного адреса на другой - primer.com перенаправляет на primer.ru.

Что такое главное зеркало?

Главное зеркало - это доменное имя сайта, по которому он индексируется в поисковике и показывается в результатах поиска, если доступен по нескольким доменам. Можно настроить в сервисе Яндекс Вебмастера.

Как указать главное зеркало в Яндекс Вебмастер?

Если изначально не было выбрано главное зеркало сайта, то робот выберет его самостоятельно в соответствии со своим алгоритмом.

Чтобы указать главное зеркало поисковику необходимо настроить переезд в Яндекс Вебмастере .

Зайдите в раздел «Индексирование» в пункт «Переезд сайта». Выберите новый домен, который будет главным зеркалом. Если в списке нет нужного адреса, то следует .

Если не планируете менять домен, а просто хотите сменить протокол или префикс, то для этого есть два пункта:

• добавить https;
• добавить www.

Чтобы выбрать главное зеркало нужно пройти несколько этапов:

1. Добавить сайт в Яндекс Вебмастер;
2. Отметить галочкой нужный пункт;
3. Сделать 301-редирект со старого домена на соответствующие страницы нового.

Раньше это делалось довольно сложно и долго. На данный момент все проходит очень быстро и, обычно, без проблем.

И да, советую переходить на HTTPS , т.к. Google дает таким адресам чуть больше преимуществ за повышенную безопасность передачи данных по этому протоколу.

Если вы планируете сделать главным адрес с протоколом HTTPS (или с префиксом www), то добавляйте адрес именно с этим протоколом (префиксом), например, https://сайт.

Есть другой вариант перехода на главное зеркало — просто сделать 301-редирект. Но если сначала сделать настройки в Яндекс Вебмастере, то переезд пройдет быстрее. Яндекс пишет, что смена занимает от одной до трех недель. После этого сайт начинает участвовать в поиске под именем нового главного зеркала.

Индексируются ли зеркала?

Яндекс склеивает все домены и показывает в поиске только главное зеркало. Страницы неглавного зеркала будут в поиске до тех пора, пока страницы главного зеркала их не вытеснят. Вытесненные страницы будут исключены из поиска, но могут храниться в базе Яндекса.

Как проверить, является ли сайт чьим-нибудь зеркалом?

Проверить является ли сайт зеркалом, можно добавив его в Яндекс.Вебмастер.

1. Если сайт признан неглавным зеркалом, он будет автоматически добавлен вместе со своим главным зеркалом.
2. Если сайты не являются зеркалами, они будут отображаться в сервисе независимо друг от друга.

При необходимости зеркало может быть отклеено.

Учитываются ли характеристики неглавных зеркал на главном?

Да, учитываются. Например, это полезно, если интернет-ресурс переезжает на новый домен. Если старый домен станет неглавным зеркалом нового, это поможет сайту сохранить позиции в поиске.

Склеятся ли адреса, если настроить перенаправление со всех страниц одного сайта на главную страницу другого?

Да, робот склеит такие сайты, но использовать этот способ не рекомендуется. Вместо него лучше настроить перенаправление на соответствующие друг другу страницы.

Как расклеиваются зеркала?

Если сайты перестают являться зеркалами друг друга и отдают разное содержимое, в течение нескольких недель они расклеиваются роботом.

Вы можете сообщить роботу о необходимости расклейки сайтов с помощью специального инструмента в сервисе Яндекс.Вебмастер.

После того, как адреса расклеятся, они будут отображаться как отдельные, не связанные между собой ресурсы.

Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».

Зеркало сайта – частичный или полный дубль интернет проекта

Под термином «зеркало сайта» чаще всего подразумевается две копии одного и того же ресурса с префиксом «www» и без него. Поисковики обрабатывают адреса yoursite.ru и www.yoursite.ru как два разных домена. Соответственно, ссылочное ранжирование и показатели ИКС/PR будут распределяться на оба адреса. Чтобы устранить лишний дубль, осуществляется склейка зеркал сайта.

Больше видео на нашем канале - изучайте интернет-маркетинг с SEMANTICA

Под зеркалом сайта может подразумеваться полная копия интернет ресурса, имеющая отдельный домен и размещенная на другом сервере. Вебмастер, который знает, как настроить зеркало сайта, может создать дубль в целях безопасности. Если главный интернет проект будет временно недоступен, то трафик перенаправляется на функционирующий сервер.

Как указать основное зеркало сайта

До того как приступать к поисковому продвижению, нужно проверить главное зеркало сайта. Роботы ПС не всегда корректно определяют основной домен. Поэтому web-мастер должен знать, как самостоятельно указать главное зеркало сайта.

Поисковику Google можно передать сведения об основном домене с помощью инструментов для web-мастеров . Для этого следует зайти в Search Console, добавить ресурс и подтвердить права на него. Затем нужно перейти в настройки (значок шестеренки) и указать отображение основного домена с префиксом «www» либо без него.

Хотите узнать, как определить главное зеркало сайта для робота Yandex? Для этой поисковой системы производится настройка зеркала сайта через robots.txt. Добавьте в него директиву

Host: www.yoursite.ru (главный домен будет отображаться с префиксом)

Host: yoursite.ru (в этом случае главным зеркалом станет домен без www)

Важно! Вместо «yoursite.ru» следует подставить имя домена своего интернет проекта.

Файл robots.txt представляет собой стандартный текстовый документ, обычно располагающийся в корневой папке web-сайта. Его можно редактировать посредством приложения «блокнот».

Если все выполнено корректно, то поисковики смогут склеить зеркала сайта гораздо быстрее, что положительно отразится на продвижении.

Проверка зеркала сайта online-сервисами

Вебмастер, желающий узнать, как найти зеркало сайта, может воспользоваться сервисом recipdonor.com от RDS-бара. В доменной зоне RU поиск зеркал сайта выполняется с помощью сервиса seobudget.ru/mirrorlist/.

Как сделать зеркало сайта (запасной дубль)

Зачем зеркало сайта может потребоваться владельцу web-проекта? Необходимость в копии площадки на другом домене может быть вызвана следующими причинами:

• Защита данных от серверного сбоя;
• Обеспечение стабильной работы интернет проекта;
• Необходимость обойти блокировку, законодательные ограничения тех или иных стран;
• Вывод сайта из-под санкций поисковых систем.

Вас интересует, как создать зеркало сайта путем привязки нескольких доменных имен к web-проекту? Помочь с выполнением этой процедуры может служба поддержки хостинговой компании, на сервере которой размещается сайт.

Создание зеркала сайта можно осуществить при помощи программ, способных копировать структуру и html-код интернет проекта. К наиболее популярному софту для зеркалирования относится ПО под названием CVSup, wget, HT Track.

Главное зеркало – основная версия сайта. Зеркалом именуют полную или практически полную копию сайта, размещённую по другому интернет-адресу. Она повторяет контент на 80% и выше. Для поисковых роботов, наличие приставки www перед адресом делает сайт совершенно другим, то есть www.названиесайта.ru и названиесайта.ru – понимаются, как физически отличающиеся адреса.

Яндекс и Google индексируют сайты по-разному: первый может считать главным сайтом www.сайт.ru, а второй – сайт.ru. Или наоборот. Именно поэтому важно «тыкнуть их носом» в главный и зеркальный сайты.

Почему важно чтобы сайт имел главное зеркало?

Обычно зеркало сайта возникает из-за www-префикса.. Но случаются и переезды на другой домен с оставлением того же контента сайта, но без настройки редиректа.

Но если не сделать это по-умному, то ТИЦ и PageRank только снизятся для каждого сайта, разделившись, из-за непонимания поисковиками, что должно считаться главным зеркалом, а что – второстепенным. Поэтому, чтобы не навредить себе, вебмастер должен дать понять роботам Яндекс и Google – какая версия сайта является главным зеркалом.

Также перестанет работать часть ссылок и поведенческие факторы. Если по ссылкам переходят на сайт.ru и проводят там долго времени - это сигнал поисковой системе о качестве сайта. При этом переход по ссылке на www.сайт.ru - никакого влияния на сайт.ru не окажет.

Как проверить и определить, указано ли главное зеркало.

Проверка правильности настройки зеркала проста – в адресной строке используемого браузера вводится адрес сайта.

Возьмём адрес www.сайт.ru, как и в прошлых примерах. Если после ввода адреса и символы www не исчезли, перенаправив пользователя на сайт.ru, то далее следует проверка сайт.ru тем же способом.

Если после перехода адрес снова не изменился – то есть к нему не добавились символы www, – то значит, что зеркало не настроено. Получается, что оба указанных адреса индексируются поисковыми системами как самостоятельные сайты.

Виртуальный хостинг сайтов для популярных CMS:

И это плохо, поскольку все показатели распыляются на 2 сайта. Как поправить ситуацию – рассмотрим ниже.

Какую версию выбрать основной – с www или без?

Большинство сайтов сейчас отображаются без приставки www, поскольку она являла собой некую отличительную черту адреса на заре становления Internet как глобальной сети. Тогда буквы www считались прогрессивным префиксом, который отождествлялся с Интернетом как жутко интересной новинкой.

По мере того, как он плотнее входил к нашу жизнь, сайтостроители задали тенденцию к упрощению. В том числе это коснулось и самих адресов. Поэтому, выбирая основное зеркало сегодня, следует задавать адрес без www, который стал уже анахронизмом, пережитком времени.

Главное зеркало в инструментах Яндекс Вебмастер и Google Search Console.

Значения главного и второстепенного зеркала задаются с помощью файлов.htaccess и robots.txt, которые должны быть помещены в корневую директорию домена. В первом необходимо прописать условие – если пользователь заходит на www.сайт.ru, то он перенаправляется на сайт.ru. Какой вид это имеет в коде – можно найти в интернете для каждого конкретного случая (в зависимости от того, какая CMS используется).

Поскольку файл.htaccess не гарантирует абсолютно одинакового понимания роботами от Яндекс и Google какая версия является главным зеркалом, то в инструментарии web-мастера нужно проделать нижеследующую работу.

Для Яндекса:

1. Зайти в инструменты вебмастера, пункт «Настройка индексирования» – «Главное зеркало».
2. Указать в нём один из трёх имеющихся вариантов: «на усмотрение робота», «www.сайт.ru» или «сайт.ru» (вместо «сайт.ru» следует подставлять нужный адрес сайта). В этом случае выбор должен быть остановлен на «сайт.ru».

Для Гугла:

1. Зайти в Google Search Console, в раздел – «Сообщения».
2. В пункте «Выберите предпочтительную версию» – указать желаемую версию сайта.

Директива host в robots.txt для Яндекса

Для Яндекса указание в.htaccess и инструментах вебмастера не гарантирует стопроцентный результат. Поэтому следует в файле robots.txt в корне директории с сайтом прописывать директиву, отправляющую Яндекс на нужный сайт – Host. В файле прописывается следующее:

User-agent: Yandex
Disallow: /wp-admin
Host: сайт.ru

В сроке «Disallow:» указывается всё, что, по мнению вебмастера, не должен делать и куда не должен заглядывать робот от Яндекса – cgi-bin, админка и т.п. В приведенном примере от индексации закрыта администраторская часть wordpress.

После этого, Яндекс правильно определяет основное зеркало сайта.

Как сделать главное зеркало с SLL и HTTPS

После перевода сайта на протокол HTTPS, Google начинает https-сайты повышать в позициях выдачи, т.к. считает их сайтами с повышенной безопасностью. Поэтому, кроме перехода на безопасный протокол шифрования, после такого шага необходимо выполнить редирект зеркала на основное, содержащее HTTPS.

Если до этого сайт http://сайт.ru был основным, а http://www.сайт.ru – вспомогательным, то теперь основным станет https://сайт.ru, а два указанные – вспомогательными зеркалами. Причиной переезда сайта на новый адрес, с буковкой «s» является установка на сайт сертификатов SSL, повышающих безопасность (данные, которые передаются на сайт шифруются).

Мониторинг проиндексированных страниц сайта.

Роботам требуется определённое время, чтобы «прочитать» изменения, произошедшие на сайте. А потому проверяются показатели посещаемости и количество страниц в индексе спустя 2-4 недели.

Это делается, чтобы удостовериться, что выполненные ранее действия привели к желаемому результату. Если что-то не получилось – необходимо проверить – возможно, где-то закралась ошибка. Даже лишняя запятая, закравшаяся в код, может сделать файлы robots.txt и.htaccess бесполезными для поисковых систем.

правильно его использовать .

Команда Яндекс.Вебмастера

Сегодня мы хотим рассказать о расширении функциональности инструмента по управлению зеркалами сайта в Яндекс.Вебмастере и показать, как правильно его использовать .

Команда Яндекс.Вебмастера

","contentType":"text/html"},"proposedBody":{"source":"

Сегодня мы хотим рассказать о расширении функциональности инструмента по управлению зеркалами сайта в Яндекс.Вебмастере и показать, как правильно его использовать .

Команда Яндекс.Вебмастера

Сегодня мы хотим рассказать о расширении функциональности инструмента по управлению зеркалами сайта в Яндекс.Вебмастере и показать, как правильно его использовать .

Команда Яндекс.Вебмастера

","contentType":"text/html"},"authorId":"30364427","slug":"19180","canEdit":false,"canComment":false,"isBanned":false,"canPublish":false,"viewType":"old","isDraft":false,"isOnModeration":false,"isSubscriber":false,"commentsCount":67,"modificationDate":"Tue Jul 08 2014 20:20:00 GMT+0000 (Coordinated Universal Time)","showPreview":true,"approvedPreview":{"source":"

Сегодня мы хотим рассказать о расширении функциональности инструмента по управлению зеркалами сайта в Яндекс.Вебмастере и показать, как правильно его использовать .

Команда Яндекс.Вебмастера

инструмента по управлению зеркалами сайта в Яндекс.Вебмастере и показать, как правильно его использовать .","contentType":"text/html"},"proposedPreview":{"source":"

Сегодня мы хотим рассказать о расширении функциональности инструмента по управлению зеркалами сайта в Яндекс.Вебмастере и показать, как правильно его использовать .

Команда Яндекс.Вебмастера

","html":"Сегодня мы хотим рассказать о расширении функциональности инструмента по управлению зеркалами сайта в Яндекс.Вебмастере и показать, как правильно его использовать .","contentType":"text/html"},"titleImage":null,"tags":[{"displayName":"Яндекс.Вебмастер","slug":"yandeks-vebmaster","categoryId":"153547628","url":"/blog??tag=yandeks-vebmaster"},{"displayName":"зеркала","slug":"zerkala","categoryId":"153547627","url":"/blog??tag=zerkala"},{"displayName":"главное зеркало","slug":"glavnoe-zerkalo","categoryId":"153547377","url":"/blog??tag=glavnoe-zerkalo"}],"isModerator":false,"publishCount":1,"commentsEnabled":true,"url":"/blog/19180","urlTemplate":"/blog/%slug%","fullBlogUrl":"https://webmaster.yandex.ru/blog","addCommentUrl":"/blog/createComment/webmaster/19180","updateCommentUrl":"/blog/updateComment/webmaster/19180","addCommentWithCaptcha":"/blog/createWithCaptcha/webmaster/19180","changeCaptchaUrl":"/blog/api/captcha/new","putImageUrl":"/blog/image/put","urlBlog":"/blog","urlEditPost":"/blog/569dee91cb28c8a506119926/edit","urlSlug":"/blog/post/generateSlug","urlPublishPost":"/blog/569dee91cb28c8a506119926/publish","urlUnpublishPost":"/blog/569dee91cb28c8a506119926/unpublish","urlRemovePost":"/blog/569dee91cb28c8a506119926/removePost","urlDraft":"/blog/19180/draft","urlDraftTemplate":"/blog/%slug%/draft","urlRemoveDraft":"/blog/569dee91cb28c8a506119926/removeDraft","urlTagSuggest":"/blog/api/suggest/webmaster","urlAfterDelete":"/blog","isAuthor":false,"subscribeUrl":"/blog/api/subscribe/569dee91cb28c8a506119926","unsubscribeUrl":"/blog/api/unsubscribe/569dee91cb28c8a506119926","urlEditPostPage":"/blog/569dee91cb28c8a506119926/edit","urlForTranslate":"/blog/post/translate","urlRelateIssue":"/blog/post/updateIssue","urlUpdateTranslate":"/blog/post/updateTranslate","urlLoadTranslate":"/blog/post/loadTranslate","urlTranslationStatus":"/blog/19180/translationInfo","urlRelatedArticles":"/blog/api/relatedArticles/webmaster/19180","author":{"id":"30364427","uid":{"value":"30364427","lite":false,"hosted":false},"aliases":{},"login":"webmaster","display_name":{"name":"webmaster","avatar":{"default":"0/0-0","empty":true}},"address":"[email protected]","defaultAvatar":"0/0-0","imageSrc":"https://avatars.mds.yandex.net/get-yapic/0/0-0/islands-middle","isYandexStaff":false},"originalModificationDate":"2014-07-08T16:20:29.000Z","socialImage":{"orig":{"fullPath":"https://avatars.mds.yandex.net/get-yablogs/51778/file_1461153249801/orig"}}}}}">

Главное зеркало сайта или основной домен сайта следует указывать поисковым системам для того, чтобы они точно знали какой из доменов считать основным, а какой зеркалом.

Указание главного зеркала сайта является одним из пунктов по технической оптимизации сайта. Это действие можно сделать тремя способами:

1. Настройкой файла robots.txt
2. Настройкой файла.htaccess
3. Настройкой соответствующих разделов в инструментах для вебмастеров поисковых систем Яндекса и Google.

Уточняю один момент. В данном посте мы рассмотрим самый распространенный случай по определению главного зеркала сайта – с WWW или без WWW.
Другие ситуации, которые возникают, например, при переезде сайта на другой домен мы опустим.

Честно говоря, современный аналитический уровень возможностей поисковых систем, на мой взгляд, может легко обеспечить решение этой задачи.

Но все ведущие специалисты по продвижению все-таки настоятельно рекомендуют проводить такую настройку.

Причем настаивают выполнять все три вышеперечисленных пункта, несмотря на то, что пункт с robots.txt носит рекомендательный характер для поисковых систем.

Настройка robots.txt

Файл robots.txt представляет собой текстовый файл с набором определенных директив. Расположен этот файл в главной директории сайта. Редактируется простейшими редакторами типа «Блокнот».


Очень хорошо и подробно описано применение этого файла и его команд в справочном разделе сервиса Яндекс Вебмастер. Также можно расширить свой кругозор в этом вопросе на сайте robotstxt.org.ua.

В этой публикации нам следует указать поисковым системам главное зеркало сайта. Делается это при помощи директивы Host следующим образом:

Обращаю Ваше внимание, что эту директиву используют только для поискового робота Яндекс. Фрагмент выглядит примерно таким образом:

User-agent: Yandex
Crawl-delay: 4
Disallow: /cgi-bin
Disallow: /wp-admin
……………
Disallow: /tag
Disallow: /feedback
Host: сайт

Проверить корректность заполнения файла robots.txt можно в том же Яндекс Вебмастере. В разделе «Настройка индексирования» есть подраздел, который так и называется «Анализ robots.txt».

Отмена директивы Host в Яндексе

Поисковая система Яндекс объявила, что с марта 2018 года директива Host в файле robots.txt больше поддерживаться не будет.

Хорошо это или плохо? Скорее хорошо. Ведь Google и ранее не учитывал эту директиву. Теперь правила указания основного зеркала сайта становятся более унифицированными.

Настройка файла.htaccess

Определение главного зеркала сайта в файле.htaccess осуществляется путем настройки 301 Редиректа.


Как это делается можно . Здесь даны примеры настройки для блогов на CMS WordPress.

Файл.htaccess, как и robots.txt, также является текстовым файлом и располагается в главной директории сайта. В этом случае все его директивы должны выполняться для всего сайта. Если же такие файлы встречаются в других директориях сайта, то его команды будут действовать только в этой директории и в подчиненных ей поддиректориях.

Настройка главного зеркала сайта в инструментах вебмастеров.

Для настройки главного зеркала сайта в инструментах для вебмастеров Яндекса и Google следует иметь аккаунт в этих поисковых системах.

Также для этого следует подтвердить права на сайт. Как это делается, надеюсь, Вы уже знаете.

Заостряю Ваше внимание на одном нюансе. В инструментах вебмастеров Google следует подтверждать права как на домен с www, так и без www.

Это делается довольно просто, путем размещения небольшого файла в основной директории или указания специальных тегов.

Настройка зеркала в Яндексе

Указание главного зеркала в Яндексе происходит в разделе «Настройка индексирования». В подразделе «Главное зеркало» дается три варианта, которые следует указать. По умолчанию система выбирает – «На усмотрение робота».

Таким образом производилась настройка в старой версии Вебмастера. В новом Вебмастере Яндекса этот параметр настраивается несколько по другому. Думаю, что главное зеркало Яндекс определяет при регистрации сайта в этом сервисе. Вы ведь явно указываете протокол и URL основного домена с www или без него.

При необходимости главное зеркало можно перенастроить в разделе «Индексирование» — подразделе «Переезд сайта».

Настройка зеркала в Google

В инструментах для вебмастеров Google возможность настройки находится сразу при входе в раздел «Настройки сайта». Но еще раз повторюсь, что подтвердить права на домен придется дважды. Для домена с www и без www.

Вот такие нехитрые, но необходимые действия следует проделать, чтобы у поисковых систем не осталось вопросов о Главном Зеркале Вашего сайта или сайтов Ваших клиентов.

Полезные Материалы: