Забираю у человека повторяющуюся работу: собрать данные, свести в таблицу, проверить изменения, отправить отчёт. Скрипт делает это по расписанию и не устаёт.
Что делаю:
— парсинг интернет-магазинов и каталогов: товары, цены, остатки, характеристики, контакты;
— выгрузка результата в Excel, CSV, XML, Google Sheets, вашу базу или по API в вашу систему;
— сценарии в живом браузере, где обычный запрос не проходит: вход в кабинет, формы, пагинация, скачивание файлов;
— запуск по расписанию и отчёт: cron на сервере, уведомление в Telegram или на почту;
— мониторинг изменений: сообщение, когда у конкурента изменилась цена или появился товар.
Пишу на Node.js и Python, для сложных сайтов — управление настоящим браузером. Закладываю повторы при сбоях, паузы между запросами и журнал прогонов: видно, что и когда собрано, а не «скрипт вроде отработал». Капчу решаю через сервисы распознавания, без ручного участия.
Сразу говорю, если сайт отдаёт данные готовым API: тогда работа выходит дешевле, чем парсинг страниц, и я предлагаю этот путь, а не тяну часы.
Что понадобится для старта:
Ссылка на сайт или раздел, список полей, которые нужно собрать, и куда класть результат (файл, таблица, база). Если данные за логином — доступ или тестовый аккаунт. Скажите периодичность: разовый сбор или регулярный по расписанию.