Поставлю локальную модель, которая работает без интернета и без оплаты за токены.
Что делаю:
• устанавливаю Ollama и подбираю модель под ваше железо (память и видеокарта);
• ставлю веб-интерфейс для работы с моделью;
• подключаю базу знаний из ваших файлов: вопросы по документам с источниками;
• закрытый доступ только для ваших сотрудников;
• инструкция: как обновить модель, где логи, как всё остановить.
Разворачивал такие контуры на Linux с GPU: два сервера, 20+ сервисов. Если железа не хватает — скажу до оплаты и предложу вариант слабее или облако.