AI-ассистент на RAG: Go + Next.js + локальная LLM

Описание

Это AI-ассистент, который отвечает на вопросы по технической документации. Но не просто «спросил у ChatGPT» — он ищет ответы в реальных документах через векторный поиск и генерирует связный ответ через локальную языковую модель.

Архитектура называется RAG (Retrieval-Augmented Generation):

Ты задаёшь вопрос
Система находит релевантные куски документации (чанки) через векторный поиск
Локальная LLM (Mistral 7B) генерирует ответ на основе найденных кусков
Ты получаешь ответ с цитатами и ссылками на источники
Главная фишка — всё работает локально. Никаких OpenAI API, никаких ключей, никаких утечек данных. Документация и модель лежат на твоём компьютере.

Решение

Что использовал
Frontend: Next.js 16, React 19, Tailwind CSS
Backend: Go 1.23, chi, pgx
AI: Ollama (mistral:7b + nomic-embed-text)
Database: PostgreSQL 16 + pgvector (векторное расширение)
Infra: start.sh, Makefile

Ссылки на примеры реализации

 github.com/dmironovru/rag-portfolio

Презентация проекта