Репозиторий для хранения проекта

Стек

Бекенд

• Ollama
• Llamaindex
• Qdrant
• Fastapi

Фронтенд

• React
• Typescript
• Axios

Установка бекенда

Поддержка GPU вычислений

Nvidia

Ставим cuda

AMD

Ставим ROCM P.S. Поддержка ollama rocm пока в стадии разработки

docker

Windows

Установка docker-desctop или docker в wsl

Linux

Установка docker

Ollama

Скачать

Установить 3 используемые модели:

• llama3 - для ответов
• rjmalagon/gte-qwen2-1.5b-instruct-embed-f16 - для создания ембедингов
• thinkverse/towerinstruct - для перевода P.S. при желании установка ollama в docker

Запуск qdrant в docker

docker run -p 6333:6333 -p 6334:6334 -d --restart always -v ~/qdrant_storage:/qdrant/storage:z qdrant/qdrant

Poetry

Использовать мануал poetry

Комманды для запуска

Бекенд

git clone https://github.com/9i5BCrUcNX5NmT/Hackaton3
cd Hackaton3
git submodule update --init
cd llm-rag
poetry shell
poetry install
mkdir data

Поместить в data файлы для загрузки

python ./ml/load.py
python ./ml/llm.py

Бекенд запущен P.S. можно использовать ngrok для открытия туннеля к порту 8009 и соединить его с фронтом по адресу chat_ai/src/components/SendMessage.tsx(53 строчка)

Установка фронтенда

Репозиторий фронтенда

bun

Установить с официального сайта

Команды

cd chat_ai
bun install

Для запуска

bun run start

Для сборки установщика

bun run build