Как его настроить и главное где взять. На марафоне мы скачивали. Теперь там ссылка не рабочая и поэтому возник вопрос. Подскажите буду благодарна
User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /trackback Disallow: */trackback Disallow: */*/trackback User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Host: сайт Sitemap: сайт/sitemap.xml User-agent: Googlebot-Image Allow: /wp-content/uploads/ User-agent: YandexImages Allow: /wp-content/uploads/ Это он? Нашла у себя в закромах....
на марафонском сайте случайно тыцнула в яндексе вебмастере на проверить роботс выдало 2 ошибки, как же их испавить… на хостинг в папки заходить или как быть вот это да....
возможно, у Вас есть страницы и папки, которые тоже нужно скрыть. Иногда наоборот нужно показывать гуглу плагины, чтобы он нормально видел страницу. Можно проверить, как видит гул на компе и в мобильном варианте, он подскажет, что открыть. Здесь не расскажешь в двух словах. Все это нужно изучать индивидуально.
