динамический ip стрим не виден

Табл. 2 - Realtime Monitoring по крупным регионам (Мск, Спб) с поддержкой кеширования

* Необходимо обратить внимание, что данные ограничения на скорость загрузки установлены при работе программы без обращения к кешу сервера edrom. Если мониторинг объявлений идет в реальном времени по крупным регионам, то за счет распределенного анализа между одновременно работающими копиями программы скорость загрузки может быть выше (см. Табл.2).  

avito.ru(измен. с 25.07.12)

Динамический ip-адрес, VPN

Статический ip-адрес

Динамический ip-адрес, VPN

Статический ip-адрес

Кол-во телефонов, загружаемых за 1 час работы программы*

Интервал загрузки одного телефона*

Табл. 1 - Скорость загрузки телефонов (без обращения к кешу сервера edrom)

Преимущества использования динамического ip-адреса при загрузке контактных телефонов с сайтов avito.ru, bibika.ru, slando.ru, drom.ru указаны в следущей таблице.

Подавляющее число Интернет-провайдеров предоставляют именно динамический ip-адрес: "Стрим", "Билайн" ("Корбина"), "Акадо", "Дом.ру", мобильный 4G-интернет "Yota", Мегафон GPRS/EDGE и т.д. 

Начиная с версии edrom 1.60 скорость сбора данных с сайтов сландо, дром, бибика зависит от используемого способа подключения к Интернет. Для наиболее эффективной работы программы необходимо VPN-соединение с провайдером, при котором выделяется динамический ip-адрес. 

При этом, как правило, применяется не один, а сразу комбинация нескольких или даже всех перечисленных выше методов защиты. Последняя версия программы edrom достаточно эффективно преодолевает все перечисленные методы защиты и позволяет автоматически извлекать номера телефонов с перечисленных сайтов для последующего анализа. Для автоматического распознавания капчи с сайтов drom.ru и bibika.ru используются возможности одного из известных online OCR-сервисов. Cтоимость распознавания одной капчи составляет всего 1$ за 1000 изображений и поэтому использование данных сервисов является экономически оправданным.

Применяемые методы защиты достаточно разнообразны и основаны на различных методах:1) блокировка ip-адреса;2) выдача капчи для возможности продолжения дальнейшей загрузки информации с сайта;3) динамическая генерация ключей скриптами; 4) представление текстовой информации в виде изображений. 

Такими примерами являются: 1) avito.ru; 2) slando.ru; 3) drom.ru; 4) bibika.ru и многие др. сайты.

Ключевыми данными, на которых основан функционал программы edrom по анализу объявлений, являются контактные телефоны из объявлений и качество работы программы во многом определяется ее возможностями по автоматическому извлечению номеров телефонов. К сожалению, все больше сайтов объявлений применяют различные методы защиты для предотвращения парсинга (автоматической загрузки данных с www-страниц программами-роботами). Как правило, защищаются именно контактные номера телефонов, что несколько затрудняет работу программы edrom. 

Парсер avito, slando, drom, bibika

Загрузка. Пожалуйста, подождите...

Парсер avito, slando, drom, bibika » Autodrom Engine Программа для поиска объявлений