Vyacheslav Simdyanov › vyacheslav742 Сбер ID
Python разработка для ваших целей
Рейтинг
606
№ 1 948 в каталоге
Отзывы
0
Профессионализм
-/10
Коммуникация
- /10
Город
Самара
Опыт работы
4 года
На сайте с
2025 года
Юридический статус
Самозанятый

Автоматизированный сбор данных каталога Электрогенераторов «ЭнергоКонтинент»

Используемые навыки BeautifulSoup JSON Python

Описание

Разработка парсера для извлечения структурированных данных о дизельных и бензиновых генераторах с сайта energocontinent.ru. Основная цель проекта — автоматизация мониторинга ассортимента, цен и технических характеристик оборудования для последующего анализа или импорта в базу данных. Скрипт осуществляет обход всех категорий каталога, обрабатывает пагинацию и собирает детальную информацию о каждой товарной единице.

Решение

Для реализации проекта был выбран язык Python и стек библиотек для эффективного веб-скреппинга:
— Библиотека Requests: использовалась для отправки HTTP-запросов и получения HTML-кода страниц. Настроены кастомные заголовки (User-Agent) для имитации поведения реального пользователя.
— Библиотека Beautiful Soup 4: применялась для парсинга DOM-дерева, навигации по тегам и извлечения целевых данных (цена, артикул, мощность, тип двигателя, фазность).
— Модуль JSON: выбран в качестве формата хранения данных для обеспечения легкой интеграции с другими системами и сохранения вложенной структуры характеристик оборудования.
— Обработка ошибок: реализована проверка статус-кодов ответов и механизмы обработки отсутствующих данных в карточках товаров.

Результат

В итоге был создан масштабируемый инструмент, который:
— Собирает полные данные о более чем 1000 наименований товаров за один цикл работы.
— Формирует структурированный JSON-файл с сохранением иерархии категорий.
— Сокращает время на обновление информации о ценах в 15 раз по сравнению с ручным сбором.
— Позволяет получать актуальные технические спецификации для сравнения моделей генераторов.

Оценили проект:

Другие проекты

Все проекты →
Веб-разработка и IT Парсинг каталога интернет-магазина ChipDip
Парсинг каталога интернет-магазина ChipDip
212
Веб-разработка и IT "Парсинг данных организаций с портала 2GIS"
"Парсинг данных организаций с портала 2GIS"
143
Веб-разработка и IT Парсинг каталога с сайта https://pkf-m.ru/
Парсинг каталога с сайта https://pkf-m.ru/
178
Веб-разработка и IT Автоматизированный парсер реестра компаний дорожно-строительной отрасли (ОКВЭД 42.11)
Автоматизированный парсер реестра компаний дорожно-строительной отрасли (ОКВЭД 42.11)
116