Разработал Python-скрипт для автоматического сбора данных о железнодорожных перевозках по нескольким маршрутам. Скрипт был развёрнут на сервере и работал автономно 7 дней подряд, собирая данные 4 раза в сутки (утро, день, вечер, ночь) — итоговый датасет составил более 50 000 записей.
Собранные данные включают маршрут, дату и время, стоимость и класс мест, наличие свободных мест и другие параметры — такой массив можно использовать для анализа динамики цен, выявления сезонных колебаний спроса и сравнения направлений.
- Скрипт развёрнут на сервере и работает сам по расписанию: 4 сбора в сутки (ночью, утром, днём и вечером).
- Собирает данные сразу по нескольким маршрутам из Москвы (в Санкт-Петербург, Казань, Самару) на даты от 1 до 30 дней вперёд. Так видно, как меняется цена по мере приближения поездки.
- Каждый запуск дописывает новые строки в базу данных с отметкой времени сбора, поэтому старые данные не перезаписываются и можно отслеживать изменения.
- Данные выгружаются в таблицу, с которой можно сразу работать в Excel или BI-системе.
Скрипт отработал 7 дней подряд без сбоев и ручного вмешательства: 28 запусков, больше 50 000 записей в итоговом датасете. По каждой поездке видно, как менялись цена и количество свободных мест в течение недели. На этих данных можно строить отчёты по спросу, находить лучшее время для покупки билета и сравнивать направления.