Клиенту нужна была ежедневная выгрузка всех новых банкротств и сообщений конкурсных управляющих из публичного реестра Федресурс. Сайт защищён Cloudflare и JA3-fingerprint — обычный requests/httpx заблокирован.
Написал асинхронный парсер на Python 3.12 с curl_cffi (JA3-отпечаток Chrome 120) и ротацией резидентных прокси. Инкрементальная загрузка через Redis-курсор, Celery beat для периодического запуска. Нормализатор данных на pydantic v2.
30 000+ записей в день без банов. Парсер работает 24/7. Клиент получает автоматические выгрузки по расписанию.
Пожаловаться
