🔀 Роутинг / прокси
LiteLLM
Единый интерфейс для всех LLM · fallback · cost tracking
→ Оркестратор · Агенты
🏠 On-premise LLM
Ollama
Llama 3 · Mistral · Phi
vLLM / TGI
High-throughput inference
→ через LiteLLM
🎯 Спец. модели
Whisper · PaddleOCR
Перцептивный AI
LayoutLMv3 · YOLO
Документы · CV
→ Ops Systems
📦 Версионирование
MLflow Registry
Fine-tuned модели · staging / prod
HuggingFace Hub
Open-source модели
Если есть fine-tuning
💰 Cost control
LiteLLM budget
Лимиты по агентам и проектам
→ Prometheus / Grafana
Все слои
⚠️ Cloud LLM API
Коммерческие LLM-провайдеры
Reasoning · General · Multimodal
→ через LiteLLM
Пользователь
① Инициирует
чат / форма / ERP
чат / форма / ERP
② Получает результат
уведомление / отчёт
уведомление / отчёт
③ Согласование
Approval Queue
Approval Queue
④ Уточняет контекст
агент запросил данные
агент запросил данные
⑤ Вмешивается
stop / correct
stop / correct
⑥ Экспертные данные
нет ни в одной системе
нет ни в одной системе
💬
Chat UI
Диалоговый интерфейс · веб-портал
🤖
Copilot
AI-ассистент в рабочей среде
📹
TrueConf
ВКС · уведомления · согласования
📧
Email
Уведомления · апрув · отказ
✅
Approval Queue
interrupt() · таймаут · эскалация
⇅ ОПЕРАЦИОННЫЕ СИСТЕМЫ — одни и те же системы: источники событий ▲ и точки исполнения ▼
Операц. системы
🏭 Целевые системы
ERP (1С)
Статусы → · ← Команды
MES
Задания → · ← Корректировки
WMS / TMS
Маршруты → · ← Изменения
CRM
Клиенты · сделки · SLA
Web-порталы
Личный кабинет · B2B · API
HR-системы
Сотрудники · полномочия
Бух. учёт
Проводки · документы
Фин. учёт
Бюджеты · отчётность
Планирование
APS · производство · ресурсы
через
🔌 Транспорт и интеграция
ESB (ActiveMQ / RabbitMQ)
Маршрутизация в обе стороны
REST API систем
Готовые коннекторы
MCP
Агентный доступ
n8n
Интеграции
🌐 Внешние источники данных
API · реестры · провайдеры
API · реестры · провайдеры
Гос. реестры и справочники
ЕГРЮЛ · ФНС · ФИАС
Курсы валют · ставки
ЦБ РФ · биржи
Геоданные · логистика
ГИС · OpenStreetMap · Яндекс
Погода · природные риски
OpenWeather · МЧС
Маркетплейсы · цены
Поставщики · тендеры
Отраслевые данные
Аналитика · бенчмарки · новости
👁 Перцептивный AI
неструктур. → структур.
неструктур. → структур.
Голос → текст
Whisper / Faster-Whisper
Сканы · фото → текст
PaddleOCR / Tesseract
Накладные · формы → поля
LayoutLMv3 / Donut
PDF · Word · Email → RAG
Unstructured.io
Изображения → события
YOLO / CLIP
Семантика · критичность · приоритет
🧠 LLM Classifier
📤 Генерация артефактов
структур. → файл
структур. → файл
Генерирует контент по шаблону
🧠 LLM Formatter
PowerPoint: слайды · графики
python-pptx
Excel: таблицы · формулы
openpyxl / xlsxwriter
Word · PDF: протоколы
python-docx / Pandoc
PDF из HTML-шаблонов
ReportLab / WeasyPrint
Шаблоны для любого формата
Jinja2
Контекст
📚 Знания и контекстчто есть — факты о мире
🗄️
Data Lake
PostgresPro · MS SQL · ClickHouse
История · аналитика · логи
История · аналитика · логи
🏛️
Informatica MDM
Золотые записи →
основа онтологии
основа онтологии
📋
Informatica Catalog
Метаданные: где что
лежит · кто владелец
лежит · кто владелец
🔍
Векторная память
Weaviate / Qdrant
pgvector · RAG
pgvector · RAG
🕸️
Граф знаний
Neo4j / GraphDB
Protégé — онтология
Protégé — онтология
⚖️ Политики и правилачто допустимо — ограничения действий агента
Инструменты
⚖️
OPA + Rego
Policy engine · проверка
до вызова инструмента
⚖ Apache 2.0
до вызова инструмента
⚖ Apache 2.0
🔒
Tool binding
Агент получает только
разрешённые инструменты
LangGraph
разрешённые инструменты
LangGraph
👤
СУИД
Права сервисного аккаунта
Hard stop на уровне системы
Hard stop на уровне системы
Оркестр.
Контекст
→
Планирование
→
Ядро
→
Исполнение
→
HiL
🔎
LlamaIndex
Ретривал контекста
из знаний для агентов
из знаний для агентов
🧭
Planner / Router
Декомпозиция задачи
выбор агентов
LangGraph
выбор агентов
LangGraph
🤖
LangGraph
Stateful · граф состояний
MIT лицензия
MIT лицензия
👥
CrewAI
Multi-agent teams
роли и память
роли и память
⏱️
Temporal
Long-running workflow
без потери состояния
без потери состояния
⏸️
interrupt() / resume()
Пауза → Approval Queue
→ возобновление
HiL
→ возобновление
HiL
Агенты
🔎
Диагностический
Причина ситуации
первопричины
LlamaIndex
первопричины
LlamaIndex
🗺️
Логистический
Альтернативные
маршруты / ресурсы
LangChain
маршруты / ресурсы
LangChain
💰
Аналитический
Экономика вариантов
SLA · штрафы · риски
LangChain
SLA · штрафы · риски
LangChain
✔️
Контрольный
Проверка политик
апрув нужен?
OPA
апрув нужен?
OPA
📨
Коммуникационный
Уведомление менеджеру
оффер клиенту
CrewAI
оффер клиенту
CrewAI
🧩
Custom Agent
Доменный агент
fine-tuned LLM
Pluggable
fine-tuned LLM
Pluggable
НАБЛЮДАЕМОСТЬ · АУДИТ · ОБРАТНАЯ СВЯЗЬ
① Бизнес-аудит ↗
Кто апрувил · решение · итог
HiL-трассировка ①–⑥
Human layer · Политики
② Инфра-мониторинг ↗
OpenTelemetry → Prometheus
ESB latency · ERP uptime
throughput событий
throughput событий
Grafana: мониторинг инфраструктуры
Ops Systems
③ Data quality ↗
MDM · Data Lake · граф
Дрейф онтологии
Grafana: тренды качества
Слой: Знания
④ Policy audit ↗
Статистика согласований
OPA metrics → Prometheus
Слой: Политики
⑤ LLM / Agent ↗
Langfuse: traces · evals
tokens · cost · latency
tokens · cost · latency
Langfuse → Prometheus → Grafana
RAGAS: качество RAG
Оркестратор · Агенты
⑥ Feedback loop ↗
Решения → память системы
Улучшение правил + онтологии
Все слои · непрерывно