Skip to content

Commit

Permalink
Minor fixes
Browse files Browse the repository at this point in the history
  • Loading branch information
@nicl-nno
nicl-nno committed Dec 22, 2024
1 parent 26c7eb5 commit 4d10753
Show file tree
Hide file tree
Showing 4 changed files with 51 additions and 16 deletions.
Empty file added protollm_tools/llm-api/protollm_api/__init__.py
View file
Empty file.
2 changes: 1 addition & 1 deletion protollm_tools/sdk/README.md
View file
Original file line number Diff line number Diff line change
@@ -1 +1 @@
Пока тут пустовато
SDK is a module for intaraction with LLMs in asynchronous task-based mode.
35 changes: 35 additions & 0 deletions tests/validation/api_check.py
View file
Original file line number Diff line number Diff line change
@@ -0,0 +1,35 @@
from fastapi import FastAPI
from protollm_tools.llm-api.protollm_api.config import Config
from protollm_tools.llm-api.backend.endpoints import get_router

app = FastAPI()

config = Config.read_from_env()

app.include_router(get_router(config))

'''
curl -X POST "http://localhost:8000/generate" -H "Content-Type: application/json" -d '{
"job_id": "12345",
"meta": {
"temperature": 0.5,
"tokens_limit": 1000,
"stop_words": ["stop"],
"model": "gpt-model"
},
"content": "What is AI?"
}'
curl -X POST "http://localhost:8000/chat_completion" -H "Content-Type: application/json" -d '{
"job_id": "12345",
"meta": {
"temperature": 0.5,
"tokens_limit": 1000,
"stop_words": ["stop"],
"model": "gpt-model"
},
"messages": [
{"role": "user", "content": "What is AI?"},
{"role": "assistant", "content": "Artificial Intelligence is..."}
]}'
'''
30 changes: 15 additions & 15 deletions tests/validation/testing.md
View file
Original file line number Diff line number Diff line change
@@ -1,15 +1,15 @@
| Пункт ПиМ | Описание | Основные файлы |
|-----------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------:|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------:|
| 6.1 | Комплексная проверка возможности интеграции БЯМ без необходимости внесения изменений в архитектуру приложения и интеграции с инструментами для оценки и сравнения эффективности различных конфигураций системы на основе БЯМ | tests/validation/complex_check.py |
| 6.2 | Комплексная проверка возможности создания прототипов RAG систем с \| автоматизацией процессов индексации, обработки и загрузки данных в векторные БД, а также возможностью настройки процесса retrieval в системах на основе RAG | tests/validation/rag_check.py |
| 6.3 | Комплексная проверка возможности создания прототипов агентных систем с унифицированным способом для подключения внешних сервисов и приложений в виде плагинов | examples/real_world/chemical_pipeline |
| 6.4 | Проверка возможности создания, управления и использования ансамблей языковых моделей | tests/validation/complex_check_ens.py tests/validation/admin_config.yml |
| 6.5 | Проверка возможности генерации сложных синтетических примеров, пригодных для дообучения БЯМ | examples/real_world/urbanistics/synthetic_rag_query_example.py |
| 6.6 | Комплексная проверка комплектности программных модулей и программной документации | docs |
| 6.7 | Комплексная проверка наличия шаблонов для типовых систем с RAG и агентами | protollm/templates |
| 6.8 | Проверка наличия обработки сбоев и исключений | tests/validation/fail_check.py |
| 6.9 | Проверка наличия сведений о порядке обращения к разработчикам при выявлении сбоев и ошибок при работе библиотеки | README.md, CONTRIBUTING.py, ISSUES_TEMPLATE |
| 6.10 | Проверка наличия возможности предоставления API для программного управления всеми основными функциями системы | protollm_tools/llm-api/protollm_api/backend/endpoints.py |
| 6.11 | Проверка наличия поддержки механизмов для обеспечения воспроизводимости экспериментов с различными конфигурациями БЯМ и плагинов | tests/validation/repro_check.py |
| 6.12 | Комплексная проверка быстродействия и точности конфигураций системы на основе БЯМ | https://github.com/ITMO-NSS-team/llm-agents-for-smartcities-paper/blob/main/pipelines/tests/tests_for_experiments.py |
| 6.13 | Проверка наличия тестов | tests |
| Пункт ПиМ | Описание | Основные файлы |
|-----------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------:|:------------------------------------------------------------------------------------------------------------------------------------------------------------:|
| 6.1 | Комплексная проверка возможности интеграции БЯМ без необходимости внесения изменений в архитектуру приложения и интеграции с инструментами для оценки и сравнения эффективности различных конфигураций системы на основе БЯМ | tests/validation/complex_check.py |
| 6.2 | Комплексная проверка возможности создания прототипов RAG систем с \| автоматизацией процессов индексации, обработки и загрузки данных в векторные БД, а также возможностью настройки процесса retrieval в системах на основе RAG | tests/validation/rag_check.py |
| 6.3 | Комплексная проверка возможности создания прототипов агентных систем с унифицированным способом для подключения внешних сервисов и приложений в виде плагинов | examples/real_world/chemical_pipeline |
| 6.4 | Проверка возможности создания, управления и использования ансамблей языковых моделей | tests/validation/complex_check_ens.py tests/validation/admin_config.yml |
| 6.5 | Проверка возможности генерации сложных синтетических примеров, пригодных для дообучения БЯМ | examples/real_world/urbanistics/synthetic_rag_query_example.py |
| 6.6 | Комплексная проверка комплектности программных модулей и программной документации | docs |
| 6.7 | Комплексная проверка наличия шаблонов для типовых систем с RAG и агентами | protollm/templates |
| 6.8 | Проверка наличия обработки сбоев и исключений | tests/validation/fail_check.py |
| 6.9 | Проверка наличия сведений о порядке обращения к разработчикам при выявлении сбоев и ошибок при работе библиотеки | README.md, CONTRIBUTING.py, ISSUES_TEMPLATE |
| 6.10 | Проверка наличия возможности предоставления API для программного управления всеми основными функциями системы | protollm_tools/llm-api/protollm_api/backend/endpoints.py, tests/validation/api_check.py |
| 6.11 | Проверка наличия поддержки механизмов для обеспечения воспроизводимости экспериментов с различными конфигурациями БЯМ и плагинов | tests/validation/repro_check.py |
| 6.12 | Комплексная проверка быстродействия и точности конфигураций системы на основе БЯМ | https://github.com/ITMO-NSS-team/llm-agents-for-smartcities-paper/blob/main/pipelines/tests/tests_for_experiments.py |
| 6.13 | Проверка наличия тестов | tests |

0 comments on commit 4d10753

Please sign in to comment.