Иконка ресурса

Автоматический парсер раздач с rutor.info 2016-09-17

Нет прав для скачивания

Virtuoz

Пользователь

Вложения

Protektor

Пользователь
Вот вы тут развели теорию заговора))) не нужно никакого sleep(3) сколько раз парсил этот сайт все без проблем работало, конечно если вы сразу пытаетесь 10к раздач слить, тогда ставьте, но для обычного использования 50-150 раздач в день ничего подобного не нужно, делайте что бы парсер раз в час заходил на рутор, чаще не стоит, да и не к чему, вы же не курс валют обновляете. Касаемо ipv6 - это просто зеркало рутора. Тут все просто, у рутора несколько зеркал запомните простое правило:
1. Ваш сервер не в россии - парсите rutor[.]info
2. Ваш сервер в россии - парсите free-ru[.]org (или то что не забанено в россии)
3. Все редиректы что делает рутор для разных локаций, это его личная воля и нельзя парсить из россии rutor[.]info (ДАЖЕ ЕСЛИ БЫ ОН БЫЛ НЕ ЗАБАНЕН, ДЛЯ РОССИИ С ДОМЕНА .INFO РЕДИРЕКТ НА ДРУГОЙ ДОМЕН, И ОН ПРОИСХОДИТ ЕЩЕ ДО ОТРИСОВКИ КОНТЕНТА СТРАНИЦЫ - ПОЭТОМУ ПРИДЕРЖИВАЕМСЯ ПЕРВЫХ ДВУХ ПРАВИЛ.)
4. Если у вас все таки ничем не объеснимое желание парсить, к примеру rutor[.]info из россии, то покупаете прокси и прописываете в snoopy, если не знаете как это сделать курите маны по снупи, он появился не вчера и манов есть куча.
 

Daniels

Пользователь
Где то так и парсил, даже меньше, около 50 раздач за день, получал бан, менял IP, благо своя подсеть(IPv4 и IPv6). Парсил разными методами, кучей разных методов ! Прописал sleep, баны пропали ! Прописал вместо хоста IPv6 адрес и убрал sleep, банов не было(сейчас так и парсю). Продолжил эксперименты, взял IP с другой подсети(в другой стране), парсил без sleep, опять бан ! Сменил IP, прописал sleep, баны пропали.
Вот так вот господа.
 

weber_u

Пользователь
Я не являюсь автором мода, автор указан в описании.
Спасибо за архив
А чего не каждую минуту? Раз в 2 часа по 5 релизов самое то.
Можно и так, хочу для себя узнать где ограничения ставить
Работает, все отлично, только немного надо файлы подправить, в файлах подключения
Код:
/classes/snoopy.php
, а в архиве class_snoopy.php
 
Сверху