Подготовка инфраструктуры
Анализ аппаратных требований и подбор оптимальной конфигурации сервера (GPU, RAM, CPU) для выбранной модели. Установка Ollama — платформы для управления локальными LLM — и настройка окружения Python 3.12+ или Node.js 22+ для интеграционного слоя. Конфигурация выделенных ресурсов и оптимизация системы для минимизации задержек обработки.
Развертывание моделей
Загрузка и установка выбранных моделей (Qwen 3.5, Qwen 2.5 в диапазоне 8B-32B параметров) через Ollama CLI. Создание кастомных профилей моделей с настройкой параметров inference (температура, top-p, context window) под конкретные задачи. Тестирование производительности и точности ответов на типовых запросах.
Разработка интеграционного слоя
Создание API-обертки для взаимодействия с локальной LLM через REST endpoints или WebSocket для real-time обработки. Реализация RAG (Retrieval-Augmented Generation) архитектуры для работы с внутренними базами знаний: загрузка документов, векторизация через HuggingFace Embeddings, хранение в FAISS или ChromaDB. Интеграция LangChain или аналогичных фреймворков для управления контекстом, промптами и цепочками вызовов.