AI-Tool-RAG-Weaviate-Pinecone. GUI-приложение с RAG (Retrieval-Augmented Generation) системой и векторными базами данных Weaviate и Pinecone

Используемые навыки AI Text-to-text Embedded System LLM Prompt Engineering OpenAI Retrieval-Augmented Generation

Описание

Полноценный Python-проект с GUI для работы с RAG (Retrieval-Augmented Generation) системой и векторными базами данных Weaviate и Pinecone.

📋 Описание проекта
Этот проект предоставляет унифицированный интерфейс для работы с различными векторными базами данных в контексте RAG-системы. Вы можете:

🖥️ Использовать удобный GUI на PySide6 для работы с системой
🧠 Генерировать эмбеддинги с помощью OpenAI's text-embedding-3-large
💾 Хранить и индексировать документы в векторных хранилищах
🔍 Выполнять семантический поиск по документам
📊 Сравнивать результаты поиска между разными хранилищами
🔄 Легко переключаться между векторными базами данных

Решение

✨ Ключевые возможности
🖥️ GUI Приложение (PySide6)
3 вкладки для удобной работы:
📄 Документы: добавление текстов и загрузка файлов (TXT, DOCX, PDF)
🔍 Поиск: семантический поиск + генерация ответов через LLM
📊 Сравнение: сравнение результатов Pinecone и Weaviate
✂️ Автоматическое разбиение на чанки (200 токенов)
🤖 Генерация ответов через GPT-4o-mini на основе найденных чанков
⚡ Асинхронная обработка
📊 Прогресс бары и статус бар
💬 Понятные сообщения об ошибках

Результат

💡 Использование GUI
Вкладка "Документы"
Введите текст или загрузите файл (TXT, DOCX, PDF)
Выберите векторную БД (Pinecone/Weaviate)
Нажмите "Добавить документ"
Документ автоматически разобьётся на чанки по 200 токенов
Вкладка "Поиск"
Введите ваш вопрос
Выберите БД и количество результатов (top_k)
Нажмите "Поиск чанков" - увидите релевантные фрагменты
Нажмите "Сгенерировать ответ (LLM)" - получите связный ответ от GPT-4o-mini
Вкладка "Сравнение"
Введите запрос
Нажмите "Сравнить"
Увидите результаты из Pinecone и Weaviate одновременно