Уменьшение среднего времени ответа бота.
ИИ-ассистент для ответов пользователям по базе знаний компании, с кешированием для ускорения ответов пользователям.
В проекте использовались такие технологии и инструменты:
1. Архитектурный паттерн RAG - ИИ генерирует ответ исходя из поиска данных в нашей базе знаний (генерирует ответ опираясь на 100% верные данные)
2. Подключение OpenAl для генерации ответов.
3. Кеширование - сохранение уникальных запросов. Если пользователь задаёт вопрос который уже есть в базе - он получает ответ из базы, а не генерируется (экономия времени пользователя, стоимости запроса, времени работы сервера)
4. Локальное хранение данных о компании, для поиска по запросу клиента.
5. В проекте используется ChromaDB, Python, OpenAl.
По итогам внедрения кеширования в систему среднее время ответа бота - уменьшилось на 30%.
Пожаловаться
