Локальная нейросеть на вашем сервере - данные не уходят
Разворачиваю нейросеть на Вашем сервере - переписка и документы не уходят к внешнему провайдеру.
Что входит:
Подбор модели под задачу и под Вашу видеокарту - Qwen, Llama, DeepSeek, GPT-OSS
Установка и запуск - Ollama или vLLM, квантование под доступную память
Веб-интерфейс для сотрудников - вход по логину, роли, история переписок
API в формате OpenAI - то-есть существующий код переключается сменой адреса и ключа
Загрузка Ваших документов и поиск по ним прямо из чата
Разграничение доступа - кто в какие чаты и папки ходит
Автозапуск, логи, мониторинг нагрузки на карту
Инструкция по обновлению модели и бэкапу базы
Главное ограничение здесь - видеопамять, и считать её надо до закупки железа.
Модель на 70B в полной точности в одну потребительскую карту не помещается, под 24 гигабайта берётся квантование и урезанный контекст.
Если сервера пока нет - подберу конфигурацию под Ваш объём запросов и скажу прямо, где одной карты хватит, а где придётся брать две.
Стек - Linux, Docker, Ollama или vLLM, Open WebUI, nginx с сертификатом.
Доступы, конфиги и все данные остаются на Вашей стороне.
25.000 - установка, модель, веб-интерфейс и доступ по API на Вашем сервере, срок 14 дней.
Напишите какое железо есть и какие данные нельзя выпускать наружу - посчитаю под Ваш случай.
