Шлюз ИИ-помощника по коду: Azure API Management представляет новый уровень в предварительной версии

Сервис Azure API Management от Microsoft запустил новый выделенный уровень AI Gateway в публичной предварительной версии, предлагая разработчикам программного обеспечения централизованный способ управления и регулирования разнообразных моделей и инструментов ИИ, оптимизируя интеграцию таких возможностей, как функции ИИ-помощника по коду от нескольких поставщиков. Это нововведение призвано упростить операционные сложности развертывания ИИ в корпоративных приложениях, повышая производительность разработчиков.

• Централизованное управление моделями ИИ от нескольких поставщиков (OpenAI, Anthropic, AWS Bedrock, Google Vertex AI).
• Упрощенное управление инструментами и бэкэндами ИИ, включая коннекторы SaaS, через выделенную панель управления.
• Улучшенное применение политик для лимитов токенов, квот, безопасности контента и управления затратами на уровне шлюза.
• Улучшенный экспорт телеметрии через OpenTelemetry для лучшего мониторинга и аудита в рамках подписок клиентов.

Новый уровень AI Gateway: Сдвиг в управлении ИИ-помощниками по коду

В рамках значительного шага для интеграции корпоративного ИИ, Azure API Management представил специализированный уровень AI Gateway, теперь доступный в публичной предварительной версии. Это новое предложение отличается от традиционного управления API, поскольку его панель управления структурирована специально вокруг моделей ИИ, серверов Managed Component Provider (MCP) и различных инструментов ИИ, а не общих API. Для разработчиков программного обеспечения это представляет собой фундаментальный сдвиг к более интуитивному и ориентированному на ИИ опыту управления, отличающемуся от простого добавления еще одного слоя политик к существующим шлюзам. В то время как уровни classic и v2 сохраняют свои текущие возможности ИИ, этот выделенный уровень предлагает свежий, индивидуальный подход.

Объединение разнообразных моделей ИИ для разработчиков программного обеспечения

Основная задача для разработчиков программного обеспечения сегодня — управление моделями ИИ, полученными от многочисленных поставщиков. Новый уровень AI Gateway решает эту проблему, централизуя доступ к широкому спектру моделей, включая те, что размещены на Foundry, такие как OpenAI, Anthropic и Mistral, а также модели от AWS Bedrock, Google Vertex AI и прямые интеграции OpenAI. Все OpenAI-совместимые поставщики могут использовать единый путь конечной точки, при этом шлюз интеллектуально маршрутизирует запросы на основе точного совпадения поля модели, что требует уникальных имен для каждой опубликованной модели. Модели Anthropic также поддерживаются через настраиваемый поставщик, облегчая беспрепятственную передачу Messages API, упрощая интеграцию продвинутого ИИ для кодирования.

Оптимизированное управление и операционный контроль для инструментов ИИ

AI Gateway представляет более удобный подход к настройке политик, отказываясь от сложных XML- и выраженно-ориентированных конфигураций. Политики теперь управляются как интуитивно понятные карточки в Azure portal, охватывая такие критические аспекты, как лимиты токенов и запросов, квоты использования, применение Content Safety и стратегии отката моделей. Это оптимизированное управление политиками напрямую способствует повышению производительности разработчиков ИИ за счет сокращения накладных расходов на конфигурацию. Кроме того, экземпляр шлюза может быть быстро развернут, обычно в течение минуты, без необходимости сложного планирования масштабируемых единиц. Для надежного мониторинга телеметрия экспортируется как метрики токенов OpenTelemetry в популярные места назначения, такие как Application Insights, Datadog и Grafana, все в рамках собственной подписки Azure и клиента Entra, предлагая всесторонние данные об использовании ИИ для генерации кода и других инструментов ИИ.

Как AI Gateway повышает производительность разработчиков с помощью функциональности ИИ-помощника по коду

AI Gateway значительно повышает производительность разработчиков, объединяя бэкэнды из трех основных источников: удаленных серверов MCP по URL, спецификаций OpenAPI и богатой экосистемы встроенных коннекторов для более чем тысячи SaaS-приложений, устраняя необходимость размещения дополнительных серверов. Каждая операция из этих бэкэндов превращается в пригодный для использования инструмент, и команды могут настраивать методы аутентификации — отсутствие, API key, OAuth 2.0 или управляемое удостоверение — для каждого бэкэнда отдельно. Эта архитектура поддерживает операционную модель, при которой центральная группа платформы может подключать и публиковать утвержденные модели и инструменты, позволяя командам приложений самостоятельно использовать эти активы и разрабатывать на их основе с помощью тестовой консоли, не требуя центрального одобрения для каждого изменения. Это дает практическую выгоду для разработчиков программного обеспечения: это позволяет им быстро экспериментировать и развертывать функции ИИ-помощника по коду и другие инструменты на базе ИИ, сохраняя при этом корпоративные меры безопасности и видимость использования.

Реакция отрасли и развивающиеся вопросы управления ИИ

Первоначальные реакции архитекторов и инженеров платформы были в основном положительными, особенно в отношении консолидации управления ИИ. Паоло Перроне, видный эксперт в области производственных систем ИИ, подчеркнул часто недооцениваемое преимущество управления затратами на уровне шлюза. Он отметил, что большинство команд реагируют на ограничение скорости и отслеживание расходов реактивно, а централизация этого обеспечивает «единую панель управления вместо патчей для каждого приложения», что является критически важным аспектом для управления операционными затратами на инструменты ИИ для разработчиков. Однако объявление также вызвало вопросы о точных границах управления. Адольф Уайт-младший, архитектор корпоративных систем ИИ, поднял критически важный вопрос относительно запусков агентов, которые не завершаются чисто. Он задался вопросом, сохраняется ли вывод для аудита или шлюз просто повторяет попытку, рассматривая это как различие между «управлением трафиком ИИ и управлением полным жизненным циклом» процессов ИИ. В объявлении явно не указывается, находится ли полномочие над выводом агента на уровне шлюза или на более высоком уровне оркестрации. Хотя в целом это было встречено положительно, некоторые, как Сринивасулу Кандакуру из Aer Lingus, предположили, что, несмотря на то, что это очень необходимая функция, Azure все еще может отставать от конкурентов, таких как AWS и Databricks, в этой конкретной области.