Распознавание ж/д пикетных столбиков по фотографиям с беспилотника на основе PyTorch и YOLO

Описание

Разработка системы компьютерного зрения для автоматического распознавания пикетных столбиков на железнодорожных путях по аэрофотоснимкам, полученным с геодезических дронов.
Цель проекта — автоматизировать процесс обнаружения пикетных столбиков на изображениях, полученных с БПЛА, для последующего мониторинга состояния железнодорожной инфраструктуры.

Решение

В проекте рассмотрен процесс подготовки фотографий с БПЛА, разметки объектов для обучения нейронной сети, ее обучения и получения результата в виде выявления объекта на новом фото на реальном участке железнодорожного перегона, определяемые объекты — пикетные столбики.

Исходные данные:
- 594 цветных фотографии железнодорожного полотна, сделанных с высоты 200 метров.
- Разрешение изображений: 3264×4928 пикселей.
- Формат изображений: JPG, вертикальная ориентация.
- На каждом фото присутствует от одного до трёх пикетных столбиков размером примерно 50×50 пикселей.

Подготовка и разметка данных:
- Разметка объектов проводится вручную с использованием инструмента LabelImg.
- Результаты сохраняются в формате XML, содержащем координаты ограничивающих рамок (bounding boxes) для каждого пикетного столбика.
- Изображения нарезаются на патчи размером 1024×1024 пикселей с перекрытием 512 пикселей для эффективного обучения модели.

Обучение модели:
- Создание файла data.yaml с путями к тренировочной и валидационной папкам, указанием числа классов и имени класса.
- Запуск обучения

Результат

Разработан end-to-end пайплайн: от сбора и разметки данных до обучения детектора (YOLO, PyTorch)
По итогам работы опубликовал результаты в научно-популярном издании. Статья на Хабр: https://habr.com/ru/articles/854646/

Результаты:
- Модель успешно детектирует пикетные столбики на новых изображениях.
- Гистограммы и корреляционные диаграммы показывают стабильные размеры и формы объектов.
- Анализ графиков обучения (box_loss, obj_loss, cls_loss); метрики precision, recall, mAP@0.5 (~0.9) и mAP@0.5:0.95 (~0.6)
- F1-confidence curve: оптимальный порог ~0.6 (F1 ≈ 0.99)
- Precision-, Recall- и PR-кривые — высокие значения, полнота ~1 до 0.8 порога
- Матрица ошибок: практически без ошибок классификации
- Гистограммы и коррелограммы меток показывают регулярное распределение и однородность пикетов (ширина ≈ высота, равномерные координаты)
- Время обучения на GPU (RTX 4070 Ti): около 30 минут для 15 эпох.

Ссылки на примеры реализации

 github.com/AV-Tar/railway-piket-detection

Презентация проекта