Может кто-то сюда заглядывает. Рекомендовано закрыть от индексации облако меток в файле роботс. Порывшись нашла, что нужно сделать в файле такую запись User-agent: * Disallow: Disallow: /tag/ Вопрос 1: куда конкретно (в каком месте, строчке файла) это надо вписать? Вопрос 2: Верная ли запись?
У вас уже есть файл роботс? Строчка Disallow: /tag/ прописывается наряду со всеми закрывающими инструкциями ПОСЛЕ инструкции Allow (если она есть). Правильно составленный роботс - это не просто "закрытие тегов"))) Лучше читайте хелп яндекса по роботсу, там с примерами все очень подробно описано П.С. Верна ли для вашего сайта та или иная запись, закрыто/открыто ли то, что хотите, смотрите в валидаторе вебмастера.
Disallow: */tag/ Пропишите эту строку в блоках User-agent: Yandex и User-agent: Googlebot перед строкой Allow Проверьте закрытие здесь: https://webmaster.yandex.ru/tools/robotstxt/
