Максим Мазунин › iamthat
Боты, Скрипты, Веб-сайты и Приложения, Парсинг
Рейтинг
67
№ 57 888 в каталоге
Отзывы
0
Профессионализм
-/10
Коммуникация
- /10
Город
Пермь
Опыт работы
12 лет
На сайте с
2026 года
Юридический статус
Самозанятый

Корпоративный RAG-бот с гибридным поиском (Vector + BM25 + Rerank) для работы с внутренними документами компании

Используемые навыки Docker FastAPI Python SQLite

Описание

Поставлена задача — разработать корпоративного AI-ассистента, который отвечает на вопросы сотрудников на основе внутренней документации компании (PDF, DOCX, XLSX, CSV). Клиенту требовалось решение, которое:

Обеспечивает высокую точность ответов благодаря гибридному поиску (векторный + полнотекстовый BM25 + реранкинг).

Указывает источники (конкретные документы и страницы) для верификации ответов.

Поддерживает ACL (Access Control List) — сотрудники видят только те документы, к которым у них есть доступ.

Работает как on-premise продукт, готовый к white-label и коммерческой лицензии.

Ключевые вызовы: обеспечить качество поиска на русскоязычных документах (стемминг, токенизация), поддерживать несколько форматов файлов, интегрироваться с любым OpenAI-совместимым LLM и предоставить удобный интерфейс (Telegram-бот + веб-админка + REST API).

Решение

Спроектировал и реализовал два параллельных подхода (исторический и актуальный), выбрав лучший для продакшена:

Актуальная реализация (REST-бэкенд на LlamaIndex):

Бэкенд: Python 3.11+ FastAPI с эндпоинтом /api/v1/rag/ask, SQLAlchemy 2.0 + SQLite (с возможностью перехода на PostgreSQL), документация Swagger, HTML-лендинг.

Гибридный RAG-пайплайн (ручная сборка):

Индексация: загрузка документов через парсеры (pypdf для PDF, python-docx для DOCX, pandas/openpyxl для XLSX/CSV). Текст чанкуется, векторизуется через LlamaIndex и сохраняется в ChromaDB (векторное хранилище).

Векторный поиск: LlamaIndex VectorIndexRetriever + ChromaDB (top-10 релевантных чанков).

Полнотекстовый поиск: BM25Okapi с русскоязычной токенизацией и стеммингом (top-5).

Объединение: конкатенация топ-5 векторных + топ-3 BM25 результатов.

Ранжирование: объявлен SentenceTransformer-реранкер (инфраструктура готова, но в текущей версии не активирован для ускорения прототипа).

Генерация: прямой httpx-запрос в Mistral AI (mistral-small-latest, temp 0.3, max 1500 токенов) с кастомным промптом и указанием источников.

ACL (контроль доступа): фильтрация документов по метаданным acl_groups (по умолчанию ["public"]). Пользователи видят только те документы, к которым у них есть доступ.

Telegram-бот: реализован на python-telegram-bot + LangChain (историческая версия). Поддерживает аутентификацию по корпоративному email-домену, список доступных документов (/sources), rate-limit (10 сообщений/мин).

Админ-панель: Streamlit-приложение для управления документами, просмотра аналитики запросов и управления пользователями.

DevOps: Docker Compose (dev: app + ChromaDB, prod: rag-backend :8011 + rag-admin :8501), CI (GitHub Actions) с тестами качества поиска и security-сканами.

Ключевая архитектурная особенность: гибридный поиск ручной сборки (без высокоуровневых абстракций) даёт полный контроль над качеством выдачи и позволяет тонко настраивать веса векторного и полнотекстового поиска под конкретную предметную область.

Результат

Создан действующий прототип корпоративного RAG-бота (версия API 1.1.0), который уже используется для внутренних консультаций сотрудников. Ключевые достижения:

Снижение времени поиска информации с 15–30 минут до 10–15 секунд — сотрудники получают ответ с указанием источника за один запрос.

Высокое качество ответов: в тестах на золотом наборе из 12 запросов — recall@3 = 1.0 (все релевантные документы попадают в топ-3), MRR ≥ 0.5 (релевантный документ в среднем на позиции ≤ 2).

Прозрачность и доверие: каждый ответ сопровождается блоком «📚 Источники» с ссылкой на конкретный документ и страницу, что позволяет верифицировать информацию.

Безопасность данных: ACL-фильтрация гарантирует, что сотрудник видит только те документы, к которым у него есть доступ — критично для корпоративных секретов и персональных данных.

Гибкость интеграций: бот работает как через Telegram (удобно для быстрых запросов), так и через REST API (интеграция с внутренними системами). Админ-панель позволяет управлять документами без доступа к серверу.

Масштабируемость: поддержка нескольких форматов документов, готовность к переходу на PostgreSQL и облачные векторные БД (Pinecone/Weaviate) при росте корпорации.

Продукт коммерчески готов: может продаваться как on-premise-решение с лицензией, white-label для партнёров или как часть корпоративного AI-стекa. Отличие от конкурентов — гибридный поиск (вектор + BM25) и встроенный ACL, что критично для российских компаний с требованиями к защите данных (152-ФЗ).

Оценили проект:

Другие проекты

Все проекты →
Веб-разработка и IT ИИ-юрист (Legal Copilot) для анализа юридических документов и compliance-проверок
ИИ-юрист (Legal Copilot) для анализа юридических документов и compliance-проверок
38
Веб-разработка и IT AI-платформа оценки, анализа и управления недвижимостью (Property Copilot) с токенизацией RWA
AI-платформа оценки, анализа и управления недвижимостью (Property Copilot) с токенизацией RWA
31
Веб-разработка и IT Автономный AI-агент с EVM-кошельком для выполнения on-chain операций (DeFi-трейдинг, арбитраж, эскроу-контракты)
Автономный AI-агент с EVM-кошельком для выполнения on-chain операций (DeFi-трейдинг, арбитраж, эскроу-контракты)
41
Веб-разработка и IT AI-менеджер сделок (deal copilot) / AI-Powered Deal Intelligence Platform для M&A-профессионалов и инвесторов
AI-менеджер сделок (deal copilot) / AI-Powered Deal Intelligence Platform для M&A-профессионалов и инвесторов
40