RAG-помощник службы поддержки: семантический поиск, локальная LLM и API

Используемые навыки FastAPI Large Language Models (LLMs) Python Telegram API Автономный ИИ

Описание

Командный хакатонный проект по кейсу РЖД. Задача — помогать оператору искать сведения в базе знаний и формировать ответы по документам. Моя роль — участник разработки AI-решения. Кейс показывает практику построения поиска по корпоративным материалам и интеграции LLM с прикладным интерфейсом.

Решение

Подготовка и разбиение документов, embeddings BGE-M3, индекс FAISS и поиск релевантных фрагментов. Локальная генерация через vLLM/Vikhr-Nemo-12B, классификация тем запросов и формирование ответа. В проекте есть API на FastAPI, Telegram-бот и Streamlit-интерфейс. Стек: Python, PyTorch, sentence-transformers, FAISS, vLLM, FastAPI, aiogram, Streamlit.

Результат

Собран командный прототип RAG-системы с поиском по базе знаний, локальной генерацией и несколькими интерфейсами доступа. Публичный репозиторий содержит код и инструкции запуска. Опыт применим к внутренним помощникам, поиску по инструкциям и поддержке сотрудников.