Plano de controle do MLflow: gerencie o tráfego de LLMs no AI Gateway | MLflow de A a Z: C

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: MLflow Control Plane: Govern LLM Traffic in AI Gateway | MLflow A–Z: C · Canal: MLflow · 01:02 · Assistir no YouTube

Tópicos: Agentes de IA, Governança e regulação de IA, Infraestrutura e hardware de IA

Resumo

Quando equipes colocam seus próprios agents em produção, é necessário mais do que LLMs: é preciso um plano de controle. O AI Gateway do MLflow centraliza o gerenciamento de pontos de controle, como controle de acesso, políticas de orçamento e guardrails. Também permite adicionar instruções de guardrail, direcionar solicitações a diferentes modelos conforme o tráfego e acompanhar o uso em um dashboard. O vídeo recomenda integrar o AI Gateway ao pipeline e indica outro vídeo com instruções de configuração.

Pontos-chave

A implantação de aplicações com agents em produção requer um plano de controle.
O AI Gateway do MLflow centraliza o gerenciamento de diferentes pontos de controle.
É possível adicionar instruções de guardrail aos modelos.
As equipes podem configurar políticas de orçamento.
As solicitações podem ser direcionadas a vários modelos com base no tráfego.
O uso pode ser acompanhado em um único dashboard.
O vídeo menciona outro vídeo do canal com detalhes de configuração do AI Gateway.

Capítulos

Início	Capítulo	Resumo
00:00	Por que é necessário um plano de controle	O vídeo introduz o desafio de colocar agents em produção e a necessidade de um plano de controle.
00:30	Gerenciamento centralizado com o AI Gateway	O AI Gateway reúne controle de acesso, políticas de orçamento, guardrails, roteamento de modelos e acompanhamento de uso.
00:52	Integração e recursos adicionais	O apresentador recomenda integrar o AI Gateway ao pipeline e informa que há outro vídeo sobre sua configuração.

Citações

Você precisa de mais do que LLMs. Precisa de um plano de controle. — 00:00

Gerenciar todos esses pontos de controle de forma independente é bastante desafiador. — 00:30

Com o AI Gateway do MLflow, podemos gerenciar tudo isso de forma centralizada. — 00:30

Você pode acompanhar todo o seu uso em um único dashboard. — 00:30

Conceitos e entidades

control plane (conceito): Camada para gerenciar de forma centralizada os pontos de controle de aplicações com LLMs em produção.
AI Gateway (ferramenta): Recurso do MLflow apresentado para centralizar políticas, guardrails, roteamento de solicitações e acompanhamento do uso.
MLflow (ferramenta): Projeto que oferece o AI Gateway discutido no vídeo.
guardrail (conceito): Instrução ou mecanismo usado para estabelecer limites e orientações para o comportamento de um modelo.
budget policies (conceito): Políticas que permitem definir limites de orçamento para uma equipe.

Tradução completa (pt-BR)

00:00 O que acontece quando cada uma das suas equipes começa a implantar seus próprios agents? Quando todas essas aplicações agênticas entram em produção, você precisa de mais do que LLMs. Precisa de um plano de controle. E como é possível alcançar isso? Olá a todos. Bem-vindos à série MLflow A to Z. Durante 26 dias, vamos falar sobre 26 recursos incríveis do MLflow. Hoje é o terceiro dia, com a letra C, e vamos falar sobre plano de controle. Se você está implantando um modelo baseado em GenAI em produção, há vários pontos de controle diferentes, como controle de acesso,

00:30 adicionar políticas de orçamento ou configurar mecanismos de proteção. Gerenciar todos esses pontos de controle de forma independente é bastante desafiador. Com o AI gateway do MLflow, poderemos gerenciar tudo isso de forma centralizada. Você pode adicionar instruções de proteção ao seu modelo. Pode configurar políticas de orçamento para sua equipe. Pode encaminhar suas solicitações para vários modelos com base no tráfego. Pode acompanhar todo o seu uso em um único painel e fazer várias outras coisas. Então, não espere: integre o AI gateway do MLflow ao seu pipeline e gerencie

01:02 tudo de forma centralizada. Se quiser saber como configurar o AI gateway do MLflow, fizemos um vídeo detalhado no canal do MLflow. Escreva “control” na seção de comentários. Vamos compartilhar o link do vídeo com você. Muito obrigado e até breve, no próximo vídeo.

Transcrição original

[00:00] What happens when every team of yours start deploying their own agents? When all these agentic applications moves to production, you need more than LLMs. You need a control plane. And how can you achieve it? Hello everyone. Welcome to MLflow A to Z series. 26 days we are going to discuss about 26 amazing MLflow features. Today we are at day three with letter C where we are going to talk about control plane. If you are deploying GenAI based model in production, there are multiple different control points. Be it access control,

[00:30] adding budget policies, or setting up a guardrail. Managing all these control points independently is quite challenging. With MLflow’s AI gateway, we’ll be able to manage all these things in a centralized way. You can add guardrail instructions on top of your model. You can set up budget policies for your own team. You can route your request to multiple models based on the traffic. You can track all your usage in a single dashboard and multiple other things. So don’t wait and go ahead and integrate MLflow’s AI gateway to your pipeline and manage

[01:02] everything in a centralized way. If you want to know how to set up MLflow AI gateway, we have done a detailed video in the MLflow channel. Type control in the comment section. We will share you the link to the video. Thank you very much and see you soon in the next video.