Яндекс бот озверел

[titann]

Народ вопрос, на скриншоте все видно, это яша озверел(соскучился по моему трекеру), или скорее всего боты правооблодателей поперли на сайт маскируясь под яшку?

 

[Protektor]

Ну так ip проверь, как тут ответить не видя ip с которых заходит бот. У меня в 2 раза больше было чем у тебя несколько дней назад, я проверил ,все ip принадлежали реально яндекс боту.

 

[Dr_Brown]

Логи надо смотреть. Хуня этот мод

 

[vitalix]

Как раз к случаю. Поперли стр. в индекс по яшке - тут как тут абузы полетели.

Спойлер: тут

Официально новый уровень или я что то пропустил ?
Письмо идёт в копии хостеру на 3 адреса.

 

[Protektor]

vitalix, я уже как то писал альтернативный способ по борьбой с ботами правообладателей, на данный момент после его использования за последние пол года получил одну обузу от ООО «МЕГОФИЛЬМ»
Я делаю так: ставлю fail2ban (у него широкий функционал можно использовать по разному), указываю путь к файлу с логами, указываю страницу на которую пришла обуза в настройках своего фильтра и после этого при заходе на эту страницу ip банится на 1000 дней (у меня так). Кол-во дней ставим сами. Можно сделать что бы после первого захода по "нужному" url ip банился, или после второго и т.д.
Если интересно вот пример:
это нужно добавить в конец файла jail.local

Спойлер

[nazvanie-filtra] //название фильтра
enabled = true // тут все понятно
port = 80,443 // тут тоже понятно
protocol = tcp // протокол
filter = nazvanie-filtra //название фильтра
logpath = /var/log/apache2/domains/мой-сайт.com.log //путь к файлу с логами
maxretry = 2 // количество заходов по "нужному" url

После создаем фильтр nazvanie-filtra.conf

Спойлер

[Definition]
failregex = <HOST> .*GET /viewtopic.php?t=1.html
<HOST> .*GET /viewtopic.php?t=2.html
<HOST> .*GET /viewtopic.php?t=3.html
<HOST> .*GET /viewtopic.php?t=4.html
<HOST> .*GET /viewtopic.php?t=5.html

Где указываем урл страниц на которые пришли абузы.
После через консоль смотрим кого отловил фильтр
iptables -L --line-numbers
где ищем секцию nazvanie-filtra там и будут ip тех кто попался.
Если по ошибке попался яндекс бот или гугл бот то разбанить можно так:
iptables -D nazvanie-filtra 10 // 10 - это номер строки где ip адрес для разбана

или

iptables -D nazvanie-filtra -s xxx.xxx.xxx.xxx -j DROP
где xxx.xxx.xxx.xxx - ip адрес который надо разблокировать.

Так же будет не лишним установить iptables-persistent (с учетом того, что iptables уже установлена).
persistent понадобится для сохранения правил, так как после перезугрузки сервера или после перезагрузки fail2bana все ранее выданные баны - будут сняты автоматически.
После установки iptables-persistent вам нужно будет изредка заходить и сохранять правила (а именно забаненые ip)
командой
iptables-save > /etc/iptables/rules.v4
что бы при необходимости в дальнейшем вернуть правила.
Возврат правил происходит командой:
iptables-restore < /etc/iptables/rules.v4

ВСЕ ВЫШЕПЕРЕЧИСЛЕННОЕ
Работает на debian 8, для других линух могут отличаться команды но принцип останется тот же.

 

[vitalix]

От всех не зафильтруешься - просто вопрос времени. Если делетить релизы по абузам - можно так же прожить без банана в росс. сети (в зависимости от серванта, расположения и реакции на абузы) как и с фильтрами.
Если просто забить - то банан в росс. сети - и в принципе всё. ))

 

[Protektor]

vitalix, Ну это само собой просто в моем варианте я их удаляю но боты все рано проверяют урл еще несколько дней, тут то их и ждет бан)))) Смысл прост, от всех конечно не "зафильтруешься" , но они гадят нам, а fail2ban гадит им))))