Андрей Геннеберг › Safir
Рейтинг
3 246
№ 355 в каталоге
Отзывы
Профессионализм
10/10
Коммуникация
10 /10
Город
Томск
Опыт работы
28 лет
На сайте с
2012 года
Юридический статус
Самозанятый
Freelance.Boutique
Премиум-сервис для лучших исполнителей

Парсер группы магазинов, продающих мобильные устройства

Используемые навыки Python

Описание

На входе были прайс магазина и 4 сайта магазинов-конкурентов. На этих сайтах надо было находить товары из прайса с использованием нечёткого поиска, находить наименьшую цен среди всех 4 и на её основе предлагать скидку.

Решение

Написал 4 парсера, которые ищут товары из файла с прайсом каждый на своём сайте и либо выгружают в файл, либо, если их подключают в качестве библиотек, отдают вызвавшей их функции. После того, как парсеры заработали, написал объединяющую программу, которая запускала эти парсеры одновременно, в многопоточном варианте, выбирала из результатов их работы наименьшие цены и дальше генерировала скидку, которую и вписывала в выходной файл. Далее сделал графическую оболочку, которая позволяет удобно выбрать входной файл, выбрать или назначить место и имя выходного файла и отслеживать прогресс работы.

Поиск товаров из прайса на сайтах делался с помощью нормализации названий и разбивки на смысловые части. То есть название приводилось к нижнему регистру, цвет и прочие параметры с помощью словарей приводились к словам-маркерам. Разбивка на смысловые единицы позволила сделать нечёткое сравнение. Словарей получилось много, но система заработала без необходимости подключения тяжёлой артиллерии в виде нейросетей.

Результат

На выходе - 6 программ: 4 парсера, обёртка компандной строки, которая запускает парсеры одновременно и сводит результат в один файл, графическая оболочка, позволяющая выбирать файлы привычным способом и следить за процессом.

Оценили проект:

Другие проекты

Все проекты →
Веб-разработка и IT Парсеры Авито
Парсеры Авито
83
Веб-разработка и IT Сайт для проверки дипломов унивеситета КАЗГЮУ
Сайт для проверки дипломов унивеситета КАЗГЮУ
625
Веб-разработка и IT Автоматизация работы с реферальной системой Ojooo
Автоматизация работы с реферальной системой Ojooo
204
Веб-разработка и IT Парсер https://www.etp-ets.ru/. Сбор данных.
Парсер https://www.etp-ets.ru/. Сбор данных.
224