Все кейсы

ИИ-инфраструктура

GPU-платформа для локальных моделей

На общей GPU-платформе с локальными моделями команда заказчика может сама запускать новые ИИ-приложения.

Задача

Заказчику нужна была общая инфраструктура для следующих ИИ-проектов, которую могла бы развивать его команда. На одной площадке требовалось разделить рабочие сервисы и эксперименты, а также подключить корпоративное хранилище.

Что сделали

  • В партнёрском проекте развели тестовую и рабочую среды на Red Hat OpenShift (Kubernetes). Через NVIDIA GPU Operator и MIG выделили командам квоты на части GPU с изолированной памятью, рабочим моделям — отдельные ресурсы.
  • Связали доступ с Active Directory. Роли и сетевые политики изолируют пространства команд. Хранилище подключили по NVMe/TCP с несколькими путями доступа, тома приложениям выдаёт CSI.
  • Для запуска моделей выбрали NVIDIA NIM Operator. Это позволило сохранить поддерживаемую конфигурацию без дополнительного слоя OpenShift AI. Веса кешируются на томах, адреса API остаются стабильными.

Результат

Заказчик принял платформу. Его команда получила инструкции по эксплуатации и на воркшопе самостоятельно развернула своё приложение.

Что проверили перед передачей

Пользователи могли менять ресурсы только своей команды. Тестовая нагрузка получила только выделенную ей часть GPU. Prometheus собирал метрики платформы и нагрузок. В тестовой среде восстановили состояние кластера из резервной копии.