актуально Разработка ваших проектов начинается тут

Glueon

Пользователь
#11
Наша команда достаточно часто работает по задачам парсинга веба, и сегодня кратко опишем, чем мы занимаемся по данному направлению.

1) Парсинг веб-сайтов.
Автоматическое извлечение данных любой направленности и представление их в удобной для заказчика форме.
2) Парсинг поисковых машин.
Автоматизация работы с поисковыми машинами, настройка сбора выборок по различным параметрам, ускорение рутинных процедур, фильтрация избыточной информации.
3) Написание прикладных БД для работы с полученной информацией.
Написание ПО для веба и десктопа, облегчающего работу с полученной информацией. У нас имеется опыт как использования готовых платформ для написание БД (в разы удешевляет конечный результат), так и написания ПО по индивидуальным запросам заказчика.

Мы используем многопоточные решения, применяем полный комплект доступных средств (запросы с ipv4, ipv6, TOR, luminati.io), возможно подключение сторонних сервисов распознавания каптчи (Антигейт), чаще всего данные представляются в БД (sqlite, mssql, mysql), либо пишем импорты в различные CMS (Wordpress, Webasyst).

Свяжитесь с нами:
jabber: slava@contactroot.com
skype: contactroot
icq: 657324100
 

Glueon

Пользователь
#14
Нами реализован комплект скриптов по контролю и учету IP адресов для хостинг-компании.
Основная цель системы заключается в оперативном извещении администратора о вредоностной деятельности клиента на конкретном адресе, превентивная её блокировка и последующая очистка адреса в один клик.

В кратком изложении система представляет собой следующее: владелец ip-адресов и подсетей забивает список, и софт периодически проверяет его по определенным критериям.

Параметры достаточно гибкие, могут включать в себя нахождение адреса в выдаче поисковика по определенному запросу, нахождение адреса в списке blacklist, нахождение упоминания адреса на конкретном сайте.

Отдельные параметры могут помечаться как "критические", например, при нахождении адреса в базе Spamhaus срабатывает триггер нульроута адреса с моментальным отключением его на сервере для предотвращения запрещенной деятельности клиента.

В случае появления менее значительных параметров у проверяемого адреса (нахождение в базе spamforum, etc) администратору системой высылается предупреждение на электронный адрес (ICQ, Jabber) с просьбой обратить внимание.
Администратор в ответ на сообщение может одной командой в своем мессенджере заблокировать адрес (нами реализован небольшой бот с набором требуемых команд).
При блокировке клиенту высылается стандартизированное по шаблону сообщение с описанием сути проблемы и времени на исправление.

В связи с большой загруженностью мы не берем большие проекты в разработку на данный момент времени.
Мы не занимаемся вёрсткой и дизайном.
Основная наша специализация - программирование на Python и PHP.

Отдельно прошу не обращаться с задачами, нарушающими законодательство РФ.

Всегда на связи:
jabber: slava@contactroot.com
skype: contactroot
icq: 657324100
telegram: contactroot (

Please Login or Register to view hidden text.

)
 
Сверху