Антон
Был на сайте: 30.01.2021 14:26

Антон Pakkard

Паспорт не верифицирован
65
 
Добавить в закладки

Парсер сайта "ОГРН.онлайн" 

  • 14
  • Опубликовано: 2017-10-06
Конкуренты не дремлют :)

Иногда дешевле купить прокси, заплатить разработчику и спарсить интересующие тебя данные, чем платить ещё раз 250 тысяч рублей ФНС за доступ к базе юр.лиц.

По ОГРН "дергались" компании, данные записывались, извлекались учредители и сотрудники с правом подписи, их данные также собирались.

После чего всё это анализировалось скриптами в командной шине BRC Компании и данные в нашей базе обновлялись.

Всего за цикл (около 10 дней) обновлялось около 45 миллионов записей.

Комментариев нет
оставить комментарий могут только авторизованные пользователи
Пожаловаться
Другие работы автора:
BRC Компании

BRC Компании Лучший проект использующий открытые данные России в 2017 :) Мой руководитель получила диплом из рук Антона Силуанова. Описать коротко вряд ли получится, но попробую. Сайт реализован на Laravel 5, использует в качестве баз данных PerconaSQL и Redis,…

BRC Маркет

BRC Маркет Площадка, наподобие Яндекс.Маркет. На данный момент такие клиенты как ОЗОН, Мегафон, Плеер. Площадка интегрирована в сервис BRC Компании, связь продавцов с юр.лицами и прочее облегчение жизни по заполнению реквизитов прилагаются. Полностью автомати…

Парсер Яндекс.Новости

Парсер Яндекс.Новости Парсер разработан как два java-приложения. Первое парсит напрямую Яндекс.Новости. В него забиты данные о категориях новостей и регионах, в которых требуется их парсить, а также статус категории в данном регионе (требуется ли парсить или нет). В данно…

Парсер сайта арбитражных судов России

Парсер сайта арбитражных судов России Этот функционал так и не попал в BRC Компании. Возможно, его внедрят со временем. Собрано более 30 миллионов арбитражных решений по спорам юридических лиц России. В качестве источника использовался официальный портал арбитражных судов http://kad.a…

Парсер Яндекс.Маркет

Парсер Яндекс.Маркет В рамках реализации проекта BRC Market требовалось наполнить базу товаров. Учитывая специфику площадки требование к товарам было одно: чем больше, тем лучше. Т.к. сама площадка подразумевала наличие карточки товара (база площадки) с которой соотносил…

Фактор Новости

Фактор Новости Новостной сайт. В принципе, описывать тут практически нечего. Сайт написан на Laravel 5, целиком от начала до конца. Некоторые функции не были закончены в связи с началом нового проекта, дальше у владельца не осталось ресурсов для поддержания работос…

Прототип приложения BRC Компании

Прототип приложения BRC Компании Приложение для BRC Компании. На момент заключительного этапа разработки, команду перебросили на создание нового сервиса BRC Маркет, как у старшего разработчика у меня добавилось огромное количество головной боли, и времени закончить разработку прост…

International Bulletin

International Bulletin Сайт - 95% аналог Фактор Новости. Общий движок на Laravel 5, контент из парсеров. Главное отличие - сайт предназначался для зарубежной аудитории, поэтому он целиком переведён на английский. Есть версии и на других языках. Админка у всех одна. Как …