Автоматизирую рутину: сбор данных, интеграции, отчёты, ИИ
- Город
- Санкт-Петербург
- Опыт работы
- 10 лет
- На сайте с
- 2012 года
- Юридический статус
- Самозанятый
Данные с чужого сайта нужны в таблице: цены конкурентов, каталог товаров, список организаций, объявления. Вручную одна карточка занимает минуту, а их тысячи — на каталог уходят недели, и к концу работы начало уже устарело. Отдельная сложность в том, что на современных сайтах содержимое подгружается скриптами и обычное сохранение страницы даёт пустоту.
Написал парсер, который обходит каталог постранично и забирает нужные поля: название, цену, характеристики, наличие, ссылку на карточку. Работает через настоящий браузер, поэтому видит данные, подгружаемые скриптами, и справляется там, где простой запрос к странице возвращает пустую разметку.
Результат складывается в Excel и, при необходимости, сразу в базу данных. Запуск вручную или по расписанию: повторный проход обновляет данные и отмечает, что изменилось с прошлого раза. Скорость и паузы между обращениями настраиваются, чтобы не создавать нагрузку на чужой сайт.
Каталог в несколько тысяч позиций собирается за минуты и всегда в одном формате, пригодном для анализа и загрузки в другие системы. Повторный сбор занимает столько же — сравнить два периода становится обычной операцией.
Собираю под конкретную задачу: цены и ассортимент конкурентов, товарные каталоги для наполнения магазина, контакты организаций из справочников, объявления, вакансии. Выгрузка в Excel, CSV или напрямую в вашу базу данных.
