Адсенс и robots.txt

Тема в разделе "Google AdSENSE", создана пользователем Dreamy, 24 май 2020.

Метки:
  1. Dreamy

    Dreamy Webmaster

    Меня замучил Адсенс. Ежедневно на вкладке "Правила программы" вылезают ошибки, которые не надо исправлять, но их всё больше и больше.

    Вот пример сообщения об ошибке:
    site.ru/search.php?search_id=newposts
    - Поисковый робот заблокирован в файле robots.txt - Спрос ограничен

    То же самое с различными вариантами страниц, которые действительно заблокированы в роботсе, дабы избежать дублей и некачественного контента. Ниже фрагмент из роботса.
    Для Mediapartners-Google в файле роботс прописано то же самое.

    Началось это не так давно. Возможно, я что-то исправила в роботсе. Но не помню, что именно.

    Пожалуйста, подскажите, как исправить роботс, чтобы все эти страницы не индексировались, а Адсенс показывал там рекламу и не ругался. :dash:
     
    Dreamy, 24 май 2020
    #1
  2. Лена Л

    Лена Л Webmaster

    Проконсультироваться у местного технического гения пробовали?) Он же делает разбор роботсов.
     
    Лена Л, 25 май 2020
    #2
  3. Dreamy

    Dreamy Webmaster

    Убрала все проблемные строки для Mediapartners-Google. Помогло. :dashline:
     
    Dreamy, 9 июн 2020
    #3
    Лето и puma нравится это.
  4. Лето

    Лето Member

    Добрый вечер. У меня похоже такая же проблема. Про одну страницу они написали: робот ее не может найти. Прекратили показ рекламы. Почему ее не могут найти - не понимаю Ничего не меняла..

    Вы пишете:

    Убрала все проблемные строки для Mediapartners-Google.

    Чего это такое и где его искать и тоже убрать?..
     
    Лето, 14 сен 2020
    #4
  5. Лето

    Лето Member

    А кто этот гений? Мне нужна консультация..
     
    Лето, 14 сен 2020
    #5
  6. Dreamy

    Dreamy Webmaster

    Ой, я уже не помню, что за проблемные строки. Надо в роботс глянуть. Смогу только завтра к вечеру.
     
    Dreamy, 19 сен 2020
    #6
    Лето нравится это.
  7. Лена Л

    Лена Л Webmaster

    Гений - MAzZY.
     
    Лена Л, 19 сен 2020
    #7
  8. MAzZY

    MAzZY Генератор идей

    Мощно, но нет, не гений даже близко. Но спасибо

    Вообще-то не robots, а совсем даже наоборот - htaccess
     
    #8
  9. Лена Л

    Лена Л Webmaster

    Ввела в заблуждение)) Простите)) :beаr:
     
    Лена Л, 19 сен 2020
    #9
    MAzZY нравится это.
  10. Dreamy

    Dreamy Webmaster

    В файле robots в блоке "User-agent: Mediapartners-Google" удалила те строки, на которые указывал гугл в сообщениях об ошибках.
    То есть теперь там нет вот этих строчек:
    Disallow: /search.php
    Disallow: /search.php?*
    Disallow: /search.php?search_id=newposts
    Disallow: /search.php?search_id=*
    Disallow: /viewtopic.php?f=*&t=*&view=next
    Disallow: /viewtopic.php?f=*&t=*&view=previous
    Disallow: /viewtopic.php?f=*&t=*&view=unread
    Disallow: /viewtopic.php?f=*&t=*&view=unread*
    Disallow: /viewtopic.php?f=*&t=*&view=unread#unread
    Disallow: /viewtopic.php?p=*

    (может, ещё и другие удалила, просто не сохранился тот файл)
     
    Dreamy, 19 сен 2020
    #10
  11. Лето

    Лето Member

    Понятно, спс. Изменила роботса - вроде гугл отстал от меня.
     
    Лето, 11 окт 2020
    #11
    Dreamy нравится это.