Создание RAG архитектуры для существующего чатбота компании
Задача
Имеется существующий чат-бот, не обладающий возможностью отвечать на вопросы пользователей, имеется база запросов пользователей организации (~ 3 тысячи запросов), сайт организации и ее нормативные публичные документы на нем.
Цель - разработка rag, с помощью которой бот будет отвечать на вопросы пользователя опираясь на официальные документы организации, предлагая несколько вариантов ответа, подходящих по смыслу в векторной бд, отвечая с помощью LLM.
Нужна четко структурированная и не примитивная архитектура, так как пишется для дипломной работы, нужно обосновать выбор тех или иных программных средств, расписать технические детали, расписать метрики по которым можно оценить качество работы модуля. Позже можно обсудить детально при контакте с исполнителем. Задача имеет срочный характер, срок выполнения до 10-15 февраля
Оставлять заявки могут только авторизованные пользователи.
Нам необходимо разработать архитектуру Retrieval-Augmented Generation (RAG) для существующего чат-бота, чтобы он мог отвечать на вопросы пользователей, основываясь на официальных документах нашей организации. У нас есть база из примерно 3 тысяч пользовательских запросов, а также доступ к сайту и нормативным документам компании. Ваша задача — создать детализированную и обоснованную архитектуру, которая будет использовать векторную базу данных и Large Language Model (LLM) для предоставления нескольких подходящих ответов. Также потребуется описание технических деталей, обоснование выбора технологий и разработка метрик для оценки качества работы модуля. Проект срочный, с дедлайном до 10-15 февраля.
Для выполнения этого задания могут потребоваться следующие навыки: знание архитектур RAG и работы с LLM, опыт работы с векторными базами данных, навыки в области обработки естественного языка (NLP), умение обосновывать выбор технологий и разрабатывать метрики для оценки качества, а также навыки проектирования и документирования архитектурных решений.
Спасибо за подробное описание. Это чётко сформулированная RAG-задача исследовательского уровня, и я уверен, что смогу реализовать архитектуру и решение, подходящие как для академической экспертизы, так и для промышленного применения.
У меня есть практический опыт проектирования сложных Retrieval-Augmented Generation систем, объединяющих структурированные запросы, веб-контент и нормативные документы в единую, аудируемую цепочку знаний. В рамках проекта я предложу модульную, thesis-ready архитектуру, включающую загрузку и нормализацию документов (PDF-регламенты, веб-страницы, исторические запросы) с обоснованной предобработкой, выбор стратегии эмбеддингов (модель, чанкинг, перекрытия) с акцентом на семантическую точность и язык регуляторов, а также проектирование векторного хранилища с мультикандидатным поиском и трассируемостью источников.
RAG-оркестрация будет поддерживать несколько путей формирования ответа, контролируемую композицию промптов и ответы с цитированием, строго основанные на официальных документах. Слой LLM будет настроен с ограничениями, предотвращающими галлюцинации.
С академической точки зрения я обосную выбор всех инструментов (LLM, эмбеддинги, векторное хранилище, стратегия ретривера) и предложу систему оценки: Recall@k, MRR, метрики достоверности, релевантности и полноты, а также анализ задержек и устойчивости.
Итогом станет структурированная архитектура, пригодная для тезиса, техническое описание на уровне graduate / research и расширяемый дизайн для дальнейших экспериментов. С учётом дедлайна 10–15 февраля я могу сразу приступить к работе. Для удобного обсуждения пишите в Telegram: @Mohammedtech1
Есть похожий опыт:
- Telegram RAG с FAQ/PDF (№4–5): JSON/CSV база, ChatGPT Assistants file search, 24/7 точность ~80% (file:21).
- HR RAG FAISS/RuBERT (№16): 5к резюме, similarity search k=5, метрики для оценки (file:21).
Решение в 5 этапов:
- подготовка данных: парсинг сайта (BeautifulSoup/Scrapy), очистка 3к запросов (pandas), чанкинг/эмбеддинги (OpenAI или HuggingFace).
- векторная БД + RAG: LangChain + ChromaDB/FAISS (обоснование: FAISS для скорости на 3к+, Chroma для persist), retriever k=3–5.
- LLM-генерация: GPT-4o-mini с промптом для топ-вариантов, structured output (JSON с scores).
- интеграция в бот: webhook/API (n8n/Flask), сессия/память; архитектура: диаграммы (UML/Mermaid), доки с выбором стека (latency/accuracy).
- метрики + тесты: ROUGE/BLEU для ответов, precision@5/recall, embedding similarity; A/B на holdout 20% запросов.
Срок: 7–10 дней до MVP, полностью - до 10 февраля. Бюджет ориентир 50–80к. Пришлите код бота/примеры запросов/доступ к сайту — набросаю архитектуру, обсудим.
Понял: есть действующий чат-бот без Q&A, есть ~3000 реальных запросов пользователей, сайт и нормативные документы. Нужно сделать RAG-модуль так, чтобы бот отвечал строго с опорой на официальные источники, а вы могли это нормально защитить в дипломе: архитектура, выбор инструментов, метрики и оценка качества.
Сделаю как полноценный пайплайн: сбор документов с сайта (краулинг + нормализация), разметка и чанкинг с привязкой к источнику, затем индексация в векторной БД и отдельный слой “retrieval policy” (фильтры по типам документов, дате, приоритетам, дедупликация, rerank). На входе вопроса будет классификация (тип вопроса/намерение), retrieval top-k + rerank, после чего LLM генерирует ответ только из контекста, плюс выдаёт 2–3 альтернативы (как “кандидаты” из базы) и ссылки на фрагменты документов. Отдельно сделаю evaluation-стенд на ваших 3000 запросах: разметка эталонов/релевантности, метрики для retrieval (recall@k, mrr/ndcg) и для ответа (faithfulness/groundedness, citation accuracy, rate of “не отвечаем, если нет источника”), и короткий отчёт, который можно прямо вставлять в диплом.
Гарантия: 14 дней после сдачи работы.
Примеры моих работ
11:54 22.01.26
Бот сейчас на чём написан и как к нему подключаться (API/вебхук/свой сервер)?
Документы на сайте в каком виде: html/pdf/docx, есть ли личный кабинет или всё публичное?
В дипломе допускается использование облачных LLM и векторных БД, или нужно максимально on-prem без внешних сервисов?
Дмитрий, приветствую, да, здесь делается нормальная rag архитектура, не примитивная, отдельный слой подготовки данных из сайта, документов и истории запросов, дальше чанкинг под разные типы контента, эмбеддинги, векторная бд, retrieval с reranking и генерация ответа через llm с привязкой к источникам и несколькими вариантами ответа
для диплома все обосновывается выбором инструментов, моделей и подходов. по метрикам precision recall mrr ndcg плюс тесты на ваших реальных запросах. архитектура описывается схемой и текстом, выглядит как полноценный инженерный модуль, который можно защищать
в сроки до 10 февраля укладываюсь
нсли есть требования от вуза по стеку, учту сразу
свяжитесь со мной в тг https://t.me/BizAutomation_pro
Добрый день. Занимаюсь машинным и глубоким обучением. Специализируюсь в том числе на NLP. Занимался разработкой RAG-систем с использованием LLM для обработки текстовых документов, разработки интеллектуальных чат-ботов, кластеризации и кластеризации документов, их тематического моделирования, семантического поиска и других задач NLP, в том числе с дообучением и применением векторных БД. С другим моим опытом можете ознакомиться в моём профиле. Давайте обсудим и я решу Вам Вашу задачу в кратчайшие сроки.
Здравствуйте! Готов разработать специализированную RAG-архитектуру для интеграции с вашим существующим чат-ботом: ответы строго по официальным документам, извлечение нескольких релевантных контекстов, с понятным обоснованием выбранных технологий.
Я опытный Web full-stack разработчик с более чем 12-летним стажем работы в области разработки сайтов. Задача интересная, готов обсудить подробности\условия. Работаю сам, без посредников
Оставлять заявки могут только авторизованные пользователи.
Создание RAG архитектуры для существующего чатбота компании
Реклама
Создание RAG архитектуры для существующего чатбота компании
Имеется существующий чат-бот, не обладающий возможностью отвечать на вопросы пользователей, имеется база запросов пользователей организации (~ 3 тысячи запросов), сайт организации и ее нормативные публичные документы на нем.
Цель - разработка rag, с помощью которой бот будет отвечать на вопросы пользователя опираясь на официальные документы организации, предлагая несколько вариантов ответа, подходящих по смыслу в векторной бд, отвечая с помощью LLM.
Нужна четко структурированная и не примитивная архитектура, так как пишется для дипломной работы, нужно обосновать выбор тех или иных программных средств, расписать технические детали, расписать метрики по которым можно оценить качество работы модуля. Позже можно обсудить детально при контакте с исполнителем. Задача имеет срочный характер, срок выполнения до 10-15 февраля