Кейс: Нейросеть для автоклассификации и генерации описаний товаров

Описание

Кейс: Нейросеть для автоклассификации и генерации описаний товаров
Бизнес‑задача: у клиента быстро рос ассортимент, карточки заполнялись вручную. Нужна нейросеть, которая автоматически определяет категорию, теги и черновики описаний, чтобы ускорить запуск SKU и снизить ошибки.
Подход: начал с формулировки метрик успеха (скорость публикации, доля исправлений редакторами, единообразие категорий). Подготовил MVP, проверил на реальных данных, затем развернул прод‑конвейер с мониторингом качества.
Решение (MVP → прод):
Сбор и чистка данных: выгрузки карточек, тексты, изображения, правила категорий.
Модели: мультимодальный классификатор (тексты + изображения) и генератор описаний с контролем стиля под бренд.
API и интеграция: единая точка FastAPI, очереди на обработку, автомодерация.
MLOps: версионирование датасетов/моделей, автотренировки, алерты деградации.
Результат для клиента:
Публикация карточек стала стабильной и предсказуемой — без «узких мест».
Ручная разметка сократилась: редакторы правят только спорные случаи.
Единообразные категории и тональность описаний во всём каталоге.
Система масштабируется при пиковых нагрузках и не «падает» от роста.
Стоимость и сроки:
Цена: от 89 000 ₽ за MVP под ваши данные.
Сроки: MVP — 2–3 недели; полная интеграция — 4–6 недель (в зависимости от ИТ‑контуров и источников данных).
Почему со мной:
Ведущий датасайентист; объясняю сложное простыми словами и отвечаю за результат.
7 отзывов и 14 реализованных кейсов — от e‑commerce до NLP и CV.
Пишу чистый, производительный код; учитываю ваши сроки, бюджет и инфраструктуру.
Технологии и стек:
PyTorch/TensorFlow/JAX, трансформеры для текста и мультимодальности.
FastAPI, Docker/K8s, очереди (RabbitMQ/Redis), Postgres/ClickHouse.
MLflow/DVC для экспериментов, Airflow/Prefect для пайплайнов, мониторинг качества.
Как начнём:
1) 30‑минутный бриф и аудит данных.
2) План работ + смета с рисками и быстрыми победами.
3) MVP на ваших примерах, согласование метрик.
4) Итерации, интеграция, мониторинг, обучение команды.
Гарантии:
Прозрачность работ и метрик; фиксируем критерии качества до старта.
NDA, передача прав на код/модель, документация и 30 дней поддержки.
Напишите «Нейросеть от 89к» — в течение 24 часов пришлю персональный план, смету и демо‑пример на ваших данных.

Решение

Какие действия я предпринял для решения задачи
Брифинг и фиксация целей: согласовал бизнес-метрики (время публикации, точность категорий, доля правок), ограничения по ИТ‑ландшафту, SLA и бюджет.
Аудит данных: выгрузил карточки, тексты, изображения, исторические категории; построил data‑dictionary, выявил шумные и пересекающиеся классы.
Нормализация таксономии: унифицировал правила присвоения категорий, договорился о fallback‑классах и top‑3 рекомендациях для спорных случаев.
Подготовка корпуса: очистка/дедупликация, лемматизация, извлечение признаков; предварительная авторазметка правилами + активное обучение для ускорения ручной верификации.
Бейзлайн: быстрый текстовый TF‑IDF + логрег и визуальные фичи ResNet как отправная точка с понятными метриками (macro‑F1, top‑3 recall).
Мультимодальный классификатор: объединил трансформер по тексту (ruBERT/XLM‑R) с визуальными эмбеддингами (CLIP/ViT), сделал late‑fusion, баланс классов, калибровку вероятностей.
Генерация описаний: дообучил компактную LLM (QLoRA) на примерах клиента; ввёл контролируемую генерацию (тон, длина, стоп‑слова), анти‑галлюцинации (фактические проверки, правила).
Оценка качества: holdout + 5‑fold CV, стресс‑тест «длинного хвоста», ручная ревизия спорных кейсов; зафиксировал пороги метрик и примеры.
Продуктовые сценарии: приоритизировал топ‑категории по трафику/выручке; добавил human‑in‑the‑loop: интерфейс «принять/исправить», обратная связь уходит в тренировочный пул.
Интеграция: поднял сервис на FastAPI, очереди (RabbitMQ/Redis), batch и потоковая обработка; идемпотентность запросов, ретраи, трейсинг и структурированное логирование.
MLOps‑контур: MLflow/DVC для экспериментов и версий; пайплайны Airflow/Prefect (сбор→обучение→валидация→деплой); Docker/K8s; мониторинг дрейфа (PSI/KS), алерты и автооткат при деградации.
Безопасность и права: анонимизация полей, разграничение доступов, NDA; оформил передачу прав на код/модели и лицензии зависимостей.
A/B и теневое тестирование: запустил shadow‑режим, затем контролируемый A/B; измерял скорость публикации, долю правок редакторов, консистентность категорий, нагрузочную устойчивость.
Документация и обучение: подготовил гайдлайны категоризации, инструкции по работе с сервисом, чек‑листы качества; провёл онбординг команды.
План развития: добавление новых категорий без полной переобучаемости (few‑shot), мультиязычность, автоматизация правок по правилам редакции, расширение анти‑галлюцинаций.
Результат — воспроизводимый пайплайн от данных до продакшна: категории присваиваются автоматически с управляемой точностью, редакторы видят только спорные случаи, описания генерируются в фирменном стиле, а метрики и качество прозрачно контролируются через мониторинг и A/B.

Результат

Результат и как его применяют на практике
Качество и скорость
Точность классификации: macro‑F1 ≈ 0.84–0.88 на holdout по топ‑категориям; top‑3 recall ≈ 0.94–0.96 (спорные карточки — в ручную верификацию).
Скорость публикации: сокращение цикла от «скинули материалы» до «карточка в проде» на −60–70% (с 2–3 дней до 8–12 часов в среднем, зависит от потоков согласования).
Доля ручных правок: −45–60%, редакторы работают только со спорными кейсами и нестандартными товарами.
Покрытие автокатегоризацией: 75–90% SKU проходят без вмешательства; остальное — human‑in‑the‑loop.
Стабильность под нагрузкой: выдерживает распродажи/сезонный пик (до ×10 событий/час), горизонтально масштабируется.
Экономический эффект
Экономия FTE: высвобождено ~300–600 часов/мес у контент‑команды (в зависимости от объёма и доли «длинного хвоста»).
Снижение возвратов из‑за некорректной категории/описания: −8–15% в затронутых группах товаров.
Окупаемость: 1–2 месяца при потоке от 10–15 тыс. карточек/мес; дальше — чистая экономия и рост выручки за счёт скорости вывода SKU.
Как применяют сегодня
Автокатегоризация при загрузке SKU: сразу после импорта материалов (CMS/PIM/ERP) система присваивает категорию и топ‑3 альтернативы; если уверенность ниже порога — задача уходит редактору.
Генерация описаний: готовит черновик под гайдбук бренда (тон, длина, стоп‑слова); редактор правит по чек‑листу, правки становятся обучающими примерами.
Автомодерация: правила комплаенса и стоп‑слова проверяются до публикации, снижая риск блокировок и штрафов.
Мультиканальная публикация: один черновик → разные каналы (маркетплейсы, сайт, приложения) с адаптированной длиной/структурой.
Аналитика качества: дашборды по метрикам (macro‑F1, доля правок, дрейф данных), алерты при деградации, автооткат модели при выходе за пороги.
Где уже приносит пользу
Запуск новых коллекций/поставок: ускоренный онбординг SKU без узких мест в контент‑отделе.
Ретрокаталог: массовая нормализация старых карточек → повышение консистентности и качества поиска/фильтров.
Маркетплейсы: корректный мэппинг к их рубрикаторам, меньше отказов модерации.
Локализация: генерация описаний на нескольких языках по одному брифу (при наличии глоссариев).
Что дальше (дорожная карта)
Few‑shot добавление категорий без полного переобучения; самообучение на пост‑факте правках.
Расширение анти‑галлюцинаций и факт‑чеков для описаний, подключение внешних каталожных справочников.
Глубже в SEO: шаблоны сниппетов, контроль семантики под приоритетные кластеры.
Итог: у клиента — воспроизводимый ML‑конвейер, где большинство карточек обрабатывается автоматически с контролируемой точностью, редакторы фокусируются на сложных случаях, время вывода товаров в продажу заметно сокращается, а качество каталога становится предсказуемым и измеряемым.
Сократили время публикации на −60–70%, ручные правки на −45–60%.
Достигли macro‑F1 ≈ 0.84–0.88 и top‑3 recall ≈ 0.94–0.96 по ключевым категориям.
Покрыли автокатегоризацией 75–90% SKU; система устойчиво масштабируется в пики.

Презентация проекта