Поставлена задача — разработать корпоративного AI-ассистента, который отвечает на вопросы сотрудников на основе внутренней документации компании (PDF, DOCX, XLSX, CSV). Клиенту требовалось решение, которое:
Обеспечивает высокую точность ответов благодаря гибридному поиску (векторный + полнотекстовый BM25 + реранкинг).
Указывает источники (конкретные документы и страницы) для верификации ответов.
Поддерживает ACL (Access Control List) — сотрудники видят только те документы, к которым у них есть доступ.
Работает как on-premise продукт, готовый к white-label и коммерческой лицензии.
Ключевые вызовы: обеспечить качество поиска на русскоязычных документах (стемминг, токенизация), поддерживать несколько форматов файлов, интегрироваться с любым OpenAI-совместимым LLM и предоставить удобный интерфейс (Telegram-бот + веб-админка + REST API).
Спроектировал и реализовал два параллельных подхода (исторический и актуальный), выбрав лучший для продакшена:
Актуальная реализация (REST-бэкенд на LlamaIndex):
Бэкенд: Python 3.11+ FastAPI с эндпоинтом /api/v1/rag/ask, SQLAlchemy 2.0 + SQLite (с возможностью перехода на PostgreSQL), документация Swagger, HTML-лендинг.
Гибридный RAG-пайплайн (ручная сборка):
Индексация: загрузка документов через парсеры (pypdf для PDF, python-docx для DOCX, pandas/openpyxl для XLSX/CSV). Текст чанкуется, векторизуется через LlamaIndex и сохраняется в ChromaDB (векторное хранилище).
Векторный поиск: LlamaIndex VectorIndexRetriever + ChromaDB (top-10 релевантных чанков).
Полнотекстовый поиск: BM25Okapi с русскоязычной токенизацией и стеммингом (top-5).
Объединение: конкатенация топ-5 векторных + топ-3 BM25 результатов.
Ранжирование: объявлен SentenceTransformer-реранкер (инфраструктура готова, но в текущей версии не активирован для ускорения прототипа).
Генерация: прямой httpx-запрос в Mistral AI (mistral-small-latest, temp 0.3, max 1500 токенов) с кастомным промптом и указанием источников.
ACL (контроль доступа): фильтрация документов по метаданным acl_groups (по умолчанию ["public"]). Пользователи видят только те документы, к которым у них есть доступ.
Telegram-бот: реализован на python-telegram-bot + LangChain (историческая версия). Поддерживает аутентификацию по корпоративному email-домену, список доступных документов (/sources), rate-limit (10 сообщений/мин).
Админ-панель: Streamlit-приложение для управления документами, просмотра аналитики запросов и управления пользователями.
DevOps: Docker Compose (dev: app + ChromaDB, prod: rag-backend :8011 + rag-admin :8501), CI (GitHub Actions) с тестами качества поиска и security-сканами.
Ключевая архитектурная особенность: гибридный поиск ручной сборки (без высокоуровневых абстракций) даёт полный контроль над качеством выдачи и позволяет тонко настраивать веса векторного и полнотекстового поиска под конкретную предметную область.
Создан действующий прототип корпоративного RAG-бота (версия API 1.1.0), который уже используется для внутренних консультаций сотрудников. Ключевые достижения:
Снижение времени поиска информации с 15–30 минут до 10–15 секунд — сотрудники получают ответ с указанием источника за один запрос.
Высокое качество ответов: в тестах на золотом наборе из 12 запросов — recall@3 = 1.0 (все релевантные документы попадают в топ-3), MRR ≥ 0.5 (релевантный документ в среднем на позиции ≤ 2).
Прозрачность и доверие: каждый ответ сопровождается блоком «📚 Источники» с ссылкой на конкретный документ и страницу, что позволяет верифицировать информацию.
Безопасность данных: ACL-фильтрация гарантирует, что сотрудник видит только те документы, к которым у него есть доступ — критично для корпоративных секретов и персональных данных.
Гибкость интеграций: бот работает как через Telegram (удобно для быстрых запросов), так и через REST API (интеграция с внутренними системами). Админ-панель позволяет управлять документами без доступа к серверу.
Масштабируемость: поддержка нескольких форматов документов, готовность к переходу на PostgreSQL и облачные векторные БД (Pinecone/Weaviate) при росте корпорации.
Продукт коммерчески готов: может продаваться как on-premise-решение с лицензией, white-label для партнёров или как часть корпоративного AI-стекa. Отличие от конкурентов — гибридный поиск (вектор + BM25) и встроенный ACL, что критично для российских компаний с требованиями к защите данных (152-ФЗ).