Дообучение Saiga/Llama 3 8B: QnA-ассистент, LoRA, 4-bit NF4 и Telegram

Используемые навыки FastAPI Large Language Models (LLMs) Python Pytorch Telegram API

Описание

Командный хакатонный кейс Т-Банка: вопросно-ответный помощник по базе знаний с API и Telegram-интерфейсом. Задача — адаптировать языковую модель под предметные вопросы и связать её с прикладным сервисом. Моя роль — участник командного решения.

Решение

В проекте подготовлен пайплайн дообучения Saiga/Llama 3 8B с PEFT/LoRA и SFTTrainer. Использовано 4-bit NF4 квантование для работы с ограниченной GPU-памятью. Реализованы подготовка данных, локальный inference, поиск по базе знаний и интеграция с API/Telegram. Стек: Python, PyTorch, Transformers, PEFT, TRL, spaCy.

Результат

Подготовлены материалы дообучения и прототип QnA-приложения с серверным API и ботом. Кейс демонстрирует опыт адаптации LLM, экономии GPU-памяти и интеграции моделей в пользовательский сценарий.