3. O que é o Databricks Unity AI Gateway e como funciona

Autoria: Databricks · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: 3. What is Databricks Unity AI Gateway and how it works · Canal: Databricks · 01:36 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Inferência e otimização de modelos, Mercados e economia, Modelos de IA

Resumo

O Unity AI Gateway centraliza o controle de acesso e dos gastos com modelos, agents, servidores MCP e ferramentas. Ele permite colocar vários modelos atrás de um único endpoint, trocar os modelos sem alterar a aplicação e distribuir solicitações entre eles. As solicitações são registradas em tabelas do sistema, possibilitando comparar custos e acompanhar o uso por modelo, usuário ou ferramenta. O Genie também pode ajudar a consultar os modelos utilizados e criar dashboards.

Pontos-chave

O AI Gateway funciona como uma camada centralizada diante de modelos, agents, servidores MCP e ferramentas.
A organização pode definir acesso e acompanhar gastos em um único plano de controle.
Vários modelos podem ficar atrás de um único endpoint, evitando nomes de modelos fixos na aplicação.
É possível testar e distribuir solicitações entre modelos como Gemini, Anthropic e OpenAI.
A troca do modelo no endpoint não precisa alterar a experiência do usuário.
As solicitações feitas pelo gateway são registradas em tabelas do sistema, com informações de custo.
O Genie pode responder quais modelos foram usados recentemente e ajudar a criar dashboards.
O uso e os custos podem ser acompanhados por modelo, usuário e ferramenta.

Capítulos

Início	Capítulo	Resumo
00:00	Por que usar um AI Gateway	O vídeo apresenta o desafio de acompanhar os gastos com ferramentas de IA e explica como o gateway centraliza o controle.
00:31	Configurar vários modelos em um endpoint	O apresentador mostra como colocar modelos diferentes atrás de um endpoint e atualizá-los sem mudar a aplicação.
01:02	Testar modelos e acompanhar custos	As solicitações são distribuídas entre modelos, registradas em tabelas do sistema e analisadas com ajuda do Genie.

Citações

Quanto estamos gastando de fato e com o quê? — 00:00

Você define o acesso e os gastos uma vez, em um único plano de controle. — 00:00

Não quero fixar no código da minha aplicação o nome de um modelo. — 00:31

Cada solicitação feita pelo gateway é registrada em tabelas do sistema. — 01:02

Você pode controlar o acesso, acompanhar o uso e registrar o que acontece. — 01:36

Conceitos e entidades

Databricks (empresa): Empresa responsável pelo Unity AI Gateway apresentado no vídeo.
Unity AI Gateway (ferramenta): Gateway que centraliza o acesso, o uso e o acompanhamento de custos de modelos e ferramentas de IA.
Agentyc AI Explain (conceito): Série de vídeos mencionada na introdução, voltada a desenvolver habilidades práticas.
Gemini (modelo): Um dos modelos citados como opção para configurar atrás do endpoint.
Anthropic (empresa): Uma das opções citadas para disponibilizar modelos por meio do endpoint.
OpenAI (empresa): Uma das opções citadas para disponibilizar modelos por meio do endpoint.
Genie (ferramenta): Ferramenta usada para consultar modelos utilizados recentemente e criar dashboards.
system tables (conceito): Tabelas em que são registrados os dados das solicitações feitas pelo gateway, incluindo seus custos.

Tradução completa (pt-BR)

00:00 Quanto mais ferramentas de IA adicionamos, mais difícil fica responder a uma pergunta simples: quanto estamos gastando de fato e com o quê? Boas-vindas à série Agentyc AI Explain, na qual você desenvolve habilidades práticas. É por isso que o AI Gateway está se tornando indispensável em todas as organizações. Ele fica à frente dos seus modelos, agents, servidores MCP e ferramentas. Assim, você define o acesso e os gastos uma única vez, em um único plano de controle, em vez de fazer isso ferramenta por ferramenta. Então, deixe-me mostrar. Estou usando o Unity AI Gateway,

00:31 e vou criar um ponto de extremidade. Como os modelos mudam toda semana, não quero fixar no código da minha aplicação o nome de um modelo. Em vez disso, vou colocar vários modelos atrás de um único ponto de extremidade e, então, posso testar qual deles tem melhor desempenho. Gemini, Anthropic, OpenAI. Para o usuário, isso é totalmente transparente. Ele não vê qual modelo está sendo executado por trás. Assim, quando um novo modelo é lançado, posso simplesmente atualizar o ponto de extremidade, e nada muda

01:02 para ele. Agora, vamos testar no ambiente de testes. Vou fazer uma pergunta simples, como qual é a capital de um país, e vou testá-la várias vezes para que você veja que as solicitações são distribuídas entre esses modelos. Agora, esta é a parte que realmente me interessa: quanto custa? Cada solicitação feita pelo gateway é registrada nas tabelas do sistema. Assim, posso ver quanto custou cada solicitação e comparar os valores. Aqui, estou perguntando ao Genie quais modelos foram usados recentemente. Também posso pedir ao Genie que crie um painel personalizado para minha

01:36 equipe ou para meu uso pessoal. Isso permite deixar de tentar adivinhar quanto você está gastando com todas essas ferramentas diferentes e passar a ver os gastos por modelo, por usuário e por ferramenta, em um único painel. Assim, você pode controlar o acesso, acompanhar o uso e registrar o que está acontecendo, em vez de gerenciar tudo separadamente em ferramentas diferentes. Agora, experimente você mesmo, e nos vemos no próximo vídeo de AI Explained.

Transcrição original

[00:00] The more AI tools we add, the harder it gets to answer one simple question. How much are we actually spending and on what? Welcome to Agentyc AI Explain series, where you build practical skills. This is why AI Gateway is becoming a must in every organization. It sits in front of your models, agents, MCP servers, and tools. So, you define access and spend once in one control plane instead of tool by tool. So, let me show you. I’m using Unity AI Gateway,

[00:31] and I’m going to create an endpoint. Because models change every single week. So, I don’t want to hardcode in my application a model name. So, instead, I’m actually going to put several models behind one endpoint, and then I can test which one performs better. Gemini, Anthropic, OpenAI. For the user, this is completely seamless. They don’t see which model is running underneath. So, now when a new model drops, I can simply update the endpoint, and nothing changes

[01:02] for them. So, now let’s test it in the playground. I will ask a simple question like a capital of a country, and I’ll test it the several times so that you can see that those requests are being distributed across those models. Now, this is the part that I actually care about. How much it cost? Every request through the gateway gets logged into system tables. So, I can see for every request how much it cost and compare it. So, here I’m asking Genie which models are utilized recently. I can also ask Genie to build a custom dashboard for my

[01:36] team or my personal use. This allows you to move from guessing how much you’re spending across all these different tools to actually seeing it per model, per user, per tool in one dashboard. So, you can control access, track usage, and log what’s happening instead of managing everything separately across different tools. Now, try it yourself and I’ll see you in the next AI Explained video.