Яндекс бот озверел

titann

Пользователь
Народ вопрос, на скриншоте все видно, это яша озверел(соскучился по моему трекеру), или скорее всего боты правооблодателей поперли на сайт маскируясь под яшку?
 

Вложения

  • sshot-2.jpg
    sshot-2.jpg
    4.7 KB · Просмотры: 31
  • sshot-1.jpg
    sshot-1.jpg
    187.6 KB · Просмотры: 32

Protektor

Пользователь
Ну так ip проверь, как тут ответить не видя ip с которых заходит бот. У меня в 2 раза больше было чем у тебя несколько дней назад, я проверил ,все ip принадлежали реально яндекс боту.
 

vitalix

Пользователь
Как раз к случаю. Поперли стр. в индекс по яшке - тут как тут абузы полетели.
3522bf1754bff3ce2bae2b3f40899c54.png
de0ddd20f88b05a4eff06ff1f23e82df.png
Официально новый уровень или я что то пропустил ?
Письмо идёт в копии хостеру на 3 адреса.
 

Protektor

Пользователь
vitalix, я уже как то писал альтернативный способ по борьбой с ботами правообладателей, на данный момент после его использования за последние пол года получил одну обузу от ООО «МЕГОФИЛЬМ»
Я делаю так: ставлю fail2ban (у него широкий функционал можно использовать по разному), указываю путь к файлу с логами, указываю страницу на которую пришла обуза в настройках своего фильтра и после этого при заходе на эту страницу ip банится на 1000 дней (у меня так). Кол-во дней ставим сами. Можно сделать что бы после первого захода по "нужному" url ip банился, или после второго и т.д.
Если интересно вот пример:
это нужно добавить в конец файла jail.local
[nazvanie-filtra] //название фильтра
enabled = true // тут все понятно
port = 80,443 // тут тоже понятно
protocol = tcp // протокол
filter = nazvanie-filtra //название фильтра
logpath = /var/log/apache2/domains/мой-сайт.com.log //путь к файлу с логами
maxretry = 2 // количество заходов по "нужному" url
После создаем фильтр nazvanie-filtra.conf
[Definition]
failregex = <HOST> .*GET /viewtopic.php?t=1.html
<HOST> .*GET /viewtopic.php?t=2.html
<HOST> .*GET /viewtopic.php?t=3.html
<HOST> .*GET /viewtopic.php?t=4.html
<HOST> .*GET /viewtopic.php?t=5.html
Где указываем урл страниц на которые пришли абузы.
После через консоль смотрим кого отловил фильтр
iptables -L --line-numbers
где ищем секцию nazvanie-filtra там и будут ip тех кто попался.
Если по ошибке попался яндекс бот или гугл бот то разбанить можно так:
iptables -D nazvanie-filtra 10 // 10 - это номер строки где ip адрес для разбана

или

iptables -D nazvanie-filtra -s xxx.xxx.xxx.xxx -j DROP
где xxx.xxx.xxx.xxx - ip адрес который надо разблокировать.

Так же будет не лишним установить iptables-persistent (с учетом того, что iptables уже установлена).
persistent понадобится для сохранения правил, так как после перезугрузки сервера или после перезагрузки fail2bana все ранее выданные баны - будут сняты автоматически.
После установки iptables-persistent вам нужно будет изредка заходить и сохранять правила (а именно забаненые ip)
командой
iptables-save > /etc/iptables/rules.v4
что бы при необходимости в дальнейшем вернуть правила.
Возврат правил происходит командой:
iptables-restore < /etc/iptables/rules.v4

ВСЕ ВЫШЕПЕРЕЧИСЛЕННОЕ
Работает на debian 8, для других линух могут отличаться команды но принцип останется тот же.
 

vitalix

Пользователь
От всех не зафильтруешься - просто вопрос времени. Если делетить релизы по абузам - можно так же прожить без банана в росс. сети (в зависимости от серванта, расположения и реакции на абузы) как и с фильтрами.
Если просто забить - то банан в росс. сети - и в принципе всё. ))
 

Protektor

Пользователь
vitalix, Ну это само собой просто в моем варианте я их удаляю но боты все рано проверяют урл еще несколько дней, тут то их и ждет бан)))) Смысл прост, от всех конечно не "зафильтруешься" , но они гадят нам, а fail2ban гадит им))))
 
Сверху