Иконка ресурса
- Автор темы Virtuoz
- Дата начала
Я не являюсь автором мода, автор указан в описании.
Protektor
Пользователь
Вот вы тут развели теорию заговора))) не нужно никакого sleep(3) сколько раз парсил этот сайт все без проблем работало, конечно если вы сразу пытаетесь 10к раздач слить, тогда ставьте, но для обычного использования 50-150 раздач в день ничего подобного не нужно, делайте что бы парсер раз в час заходил на рутор, чаще не стоит, да и не к чему, вы же не курс валют обновляете. Касаемо ipv6 - это просто зеркало рутора. Тут все просто, у рутора несколько зеркал запомните простое правило:
1. Ваш сервер не в россии - парсите rutor[.]info
2. Ваш сервер в россии - парсите free-ru[.]org (или то что не забанено в россии)
3. Все редиректы что делает рутор для разных локаций, это его личная воля и нельзя парсить из россии rutor[.]info (ДАЖЕ ЕСЛИ БЫ ОН БЫЛ НЕ ЗАБАНЕН, ДЛЯ РОССИИ С ДОМЕНА .INFO РЕДИРЕКТ НА ДРУГОЙ ДОМЕН, И ОН ПРОИСХОДИТ ЕЩЕ ДО ОТРИСОВКИ КОНТЕНТА СТРАНИЦЫ - ПОЭТОМУ ПРИДЕРЖИВАЕМСЯ ПЕРВЫХ ДВУХ ПРАВИЛ.)
4. Если у вас все таки ничем не объеснимое желание парсить, к примеру rutor[.]info из россии, то покупаете прокси и прописываете в snoopy, если не знаете как это сделать курите маны по снупи, он появился не вчера и манов есть куча.
Где то так и парсил, даже меньше, около 50 раздач за день, получал бан, менял IP, благо своя подсеть(IPv4 и IPv6). Парсил разными методами, кучей разных методов ! Прописал sleep, баны пропали ! Прописал вместо хоста IPv6 адрес и убрал sleep, банов не было(сейчас так и парсю). Продолжил эксперименты, взял IP с другой подсети(в другой стране), парсил без sleep, опять бан ! Сменил IP, прописал sleep, баны пропали.
Вот так вот господа.
weber_u
Пользователь
Где ставить ограничения, например 2 пости за один проход крона?
он за раз заливает на трекер максимум 5 раздач
weber_u
Пользователь
все равно много, хочу сделать одну раздачу раз в 5мин, так безопасные будет и вероятность больше в бан не попасть
А чего не каждую минуту? Раз в 2 часа по 5 релизов самое то. Парсер то работает?
weber_u
Пользователь
Спасибо за архив
Можно и так, хочу для себя узнать где ограничения ставить
Работает, все отлично, только немного надо файлы подправить, в файлах подключения
Код:
/classes/snoopy.php