Проект был направлен на автоматизацию работы международной экспортной компании с корейским сайтом Encar.com. Основной задачей стало создание парсера, который позволяет собирать данные о автомобилях, переводить описания на другие языки, конвертировать цены в выбранную валюту, автоматически рассчитывать стоимость с учётом растаможки, налогов и дополнительных взносов, а также формировать каталог с возможностью фильтрации по марке, модели, году выпуска, пробегу и другим параметрам.
В процессе реализации была проведена детальная аналитика структуры сайта и его механизмов защиты. Первоначально разработка велась на Python и Node.js, однако попытки обойти защиту Encar.com оказались ограниченными. После серии экспериментов было принято решение переписать систему на нативном JavaScript, что обеспечило стабильную работу и позволило гибко адаптировать логику под особенности ресурса.
Итоговый инструмент представляет собой полуавтоматический парсер, в работе которого всё же необходим человеческий фактор. Дело в том, что защита Encar.com достаточно агрессивно фильтрует трафик, поэтому для безопасного сбора данных требуется периодический контроль за состоянием процесса, чтобы избежать блокировок и потерь информации. Кроме того, специально для заказчика был разработан модуль с планировщиком, который проверяет актуальность объявлений и обновляет данные в случае снятия автомобиля с продажи или изменения его характеристик. Также парсер стал отличным SEO-ускорителем для сайта заказчика
Пожаловаться
