Что вы делаете, чтобы снизить нагрузку на сервер? Я знаю всего три способа, но они не слишком эффективны: 1. Блокировка по юзер-агенту в файле .htaccess. 2. Блокировка IP в файле .htaccess. 3. Запрет индексации для юзер-агентов в файле robots. Проблема в том, что нужно знать, кто именно создаёт нагрузку. Самый доступный вариант: просмотр файла логов. Но там сложно понять, какие именно IP и боты гадят больше всего. Правда, когда на сайт приходит агрессивный юзер-агент, то его сразу видно - он буквально в каждой строке, но такое "счастье" - редкость. Давайте поделимся, у кого какие наработки в этом плане - как найти гадских гадов?
1. Кеширование. 2. Вынос картинок за пределы сервера. 3. Вызвать шамана для грамотной настройки сервера или найти хостинг с повышенной допустимой нагрузкой.
Заметно помогает снизить нагрузку в несколько раз кеширование сайта. Также нужно увеличить интервал пульсации Wordpress, иначе сами себе создаем нагрузку, когда готовим статью к публикации. Злоумышленники по моим наблюдениям создают не более 2-5%, это самые агрессивные.
Пока на сайт не лезут боты, там тишь да гладь, даже когда работают несколько редакторов. Без ботов - 30-50% от предельной нагрузки, а с ботами - допустимая была превышена в 5 раз , то есть более, чем в 10 раз по сравнению с обычной. Неужели правда никого боты не мучают? Судя по моему журналу ошибок, атаки чаще всего нацелены именно на сайты Вордпресса (у меня не ВП). Также временами нападают спамеры, часть из которых пробивает трехступенчатую защиту. А те, которые не пробивают, всё равно ведь создают нагрузку, даже по коду 403 сервер грузится.
Я ведь не единственная, кого донимают боты. Даже плагины специальные имеются для защиты от спамеров, есть чёрные списки IP вредителей, списки бесполезных юзер-агентов и т.д. Если у меня есть список IP, то я знаю, что делать. Проблема в том, как их выявить. Вот вчера я зашла в 10 утра посмотреть использование ресурсов и порадовалась, как чисто и красиво. А когда зашла в 9 вечера, волосы дыбом. Причём если раньше переживала по поводу пиков с превышением, то вчера это был сплошной забор. Как действовать в такой ситуации - то есть как определить, кто именно грузит сервер?
1. Поднимаем логи сервера и изучаем - либо специальным софтом (бывает установлен на хостингах), либо вручную 2. Выясняем, что именно происходит - кто-то ломится: - в админку - по несуществующим адресам (ищут ВП там, где его нет) - по существующим адресам/скриптам слишком (не нормально) много и часто 3. Выясняем IP-адреса: - один и тот же - очень много разных - откуда они (нетипичные и явно не целевые страны, явные прокси и т.д.) - поисковики или нет 4. Выясняем время пиковых нагрузок: - равномерно по суткам - по каким-то часам, не совпадающим с обычными пиками посещаемости Зная это уже можно что-то думать, как-то бороться. Ну и заодно стоит посмотреть счётчик посещаемости. Если там нет соответствующих пиков посещаемости, то это одно дело, а если есть, то совсем другое.
Практически всё использую. Те, кто ломится в админку и по несуществующим адресам, а также попытки подбора паролей фиксируются во внутреннем журнале. Случаи единичные, ну пару раз в месяц бывают "обходы"с кодом 404. Все IP методично проверяю, при необходимости выставляю блокировку. Логи тоже смотрю - в периоды пиковых нагрузок особенно тщательно. Некоторых, конечно, вычисляю чисто визуально, но это метод тыка. Пару дней назад в логах за неполный день было около 54 тысяч строк. ( Сайт, на котором эти проблемы, сейчас сложно назвать посещаемым. Если 1000 уников в сутки, то ура. ) При этом неделю назад из-за ботов даже сайт вис, я не понимала, в чём дело, пока не зашла на хостинг и в логи. Сначала глаза зарябило от Яндекса, который с четырех IP шарился по 2-3 хита в секунду. Оказалось, что теперь он игнорирует установку в роботсе. Потом увидела график нагрузки с превышением всего, чего только можно. Чтобы был понятен масштаб проблемы, вот статистика с хостинга за первые дни ноября. Можно видеть, что нагрузка от неопознанных ботов и роботов в 2 раза превышает Яндекс (а он постоянно сидит с четырёх или даже пяти IP). Yandex bot: хиты 8051 трафик 55.68 MB Unknown robot (identified by 'bot'): хиты 9738 трафик: 96.86 MB Unknown robot (identified by 'robot') хиты: 1031 трафик 10.39 MB Хочется выцепить этих неопознанных.
Почитала уже. Для посещаемого сайта это выход, наверно. С другой стороны, можно перейти на другой хостинг с лучшими возможностями. У меня форум на быстром хостинге, справляется. ТТТ Хотя всегда думала, что форумы очень ресурсоёмкие. Единственный минус - техподдержка там слабая, приходится самой ковыряться, а я во всём этом полнейший чайник.
Вот эти, например, с одним IP ходят или с разными? Вычислить принадлежность удалось? Если нет, то можно в htaccess закрыть им доступ и всё. Почему Яндекс так долбится надо с поддержкой разбираться
Ну тут либо нужно тариф менять, либо кэширование хорошее ставить, либо CDN. А если роботы донимают, то надо выяснить, что именно они делают. Обычно они лезут на с айт за каким-то действием - поспамиить в комментариях, ломануться в админку и т.д. Если в комменты - ставим плагин, который автоматически блокирует злоумышленников по айпи. Если в админку - прописываем правила в .htaccess, которые блочат каждого, кто пробует зайти под именем admin или под названием сайта. Еще помогает менять дефолтные урлы регистрации, входа, потери пароля и т.д. с 404 ошибкой и перенаправлением на левый айпи. Если комментарии выводятся отдельной записью, тоже это надо блокировать.
Я пользуюсь Cloudflare, за последние сутки по его статистике 3 миллиона запросов и только 32 из них плохих. Разницы в спаме с Cloudflare и без него вообще не заметила. Но так как сервис для одного сайта бесплатный, я бы советовала попробовать. Хуже точно не будет.
В статистике показывает оптом, без уточнений по IP. Кого-то выцепляю в логах или журналах ошибок, но уверенности нет. Сейчас в Яндекс Вебмастере указано, что он больше не подчиняется директивам роботса, и в настройках можно указать промежуток. Беда в том, что минимальный промежуток 0,6 в секунду. Я считаю, что это слишком часто. ( А в чем смысл? Атаки ботов обычно косят стразу по тысячам сайтов, им без разницы, что за хостинг. Проблема в том, что я не знаю, что делает большинство ботов. Те, которые под видом юзер-агентов плотно наседают, конечно, сразу заметны. От спама в комментах стоит защита, редко кто прорывается, да и не много их. В админку тоже редко лезут. Насчёт остальных затрудняюсь. Вот сегодня увидела в статистике, что 7% ноябрьского трафика - Китай и столько же Чехия. Это явно боты.
У меня тут на Бегете было превышение нагрузки в 7 раз. Тех.поддержка сказала, что надо заблокировать бот Дзена. Ага, счас. Переехала. Другому хостингу бот Дзена не мешает.
У меня тоже на одном сайте была проблема с нагрузкой, пришлось пересмотреть тариф и перейти на дороже, ну и фото некоторые пересмотрела, которые создавали нагрузку на сервер.
