Um futuro de IA sem aprisionamento — Remy Guercio, Tailscale

Autoria: AI Engineer · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: An AI Future Without the Lock-In — Remy Guercio, Tailscale · Canal: AI Engineer · 19:07 · Assistir no YouTube

Tópicos: Agentes de IA, Cibersegurança e segurança de software, Infraestrutura e hardware de IA, Mercados e economia

Resumo

Remy Guercio discute como aproveitar a IA sem ficar preso a um único fornecedor ou a uma stack verticalmente integrada. Ele argumenta que, em vez de apenas maximizar o uso de tokens, as organizações precisam buscar ROI e preservar a possibilidade de escolha entre modelos, conectores de dados, interfaces e sandboxes. Um AI gateway pode centralizar controle, monitoramento e autenticação, facilitando a experimentação com diferentes ferramentas e workflows. Guercio apresenta o Aperture, da Tailscale, como exemplo dessa abordagem e destaca que gateways também ajudam a entender e diagnosticar o que os agents estão fazendo.

Pontos-chave

O uso intensivo de context windows e tokens tornou possíveis novos casos de uso agentic, mas pode gerar custos elevados e desperdício.
Consolidar todo o uso de IA em um único fornecedor pode parecer uma solução para controlar gastos, mas aumenta o risco de lock-in.
ROI maxing significa demonstrar valor e ampliar as possibilidades de uso da IA, não apenas cortar custos.
Uma implantação interna de IA envolve quatro componentes: LLMs, conectores de dados, interfaces e sandboxes.
Um AI gateway pode centralizar o controle e o monitoramento de modelos, endpoints de dados e uso dos agents.
Com o Aperture, a identidade de usuários e máquinas pode ser usada para autenticação e controle de acesso sem criar credenciais separadas para cada ferramenta.
Separar as camadas da stack reduz o atrito para experimentar novos modelos, ferramentas e workflows.
Os logs de um gateway podem ajudar a identificar por que um agent falhou ou saiu do esperado.

Capítulos

Início	Capítulo	Resumo
00:01	Token maxing e seus custos	Guercio descreve o crescimento do uso de IA e explica como sessões longas e o uso de muitos tokens podem elevar os custos.
03:15	Por que evitar a consolidação em um único fornecedor	A partir de conversas sobre gastos com IA, ele alerta que concentrar tudo em um ou dois fornecedores pode aumentar o lock-in.
05:25	ROI e as quatro camadas de uma implantação interna	Ele apresenta ROI maxing como busca por valor e escolha entre LLMs, conectores de dados, interfaces e sandboxes.
08:00	O papel do AI gateway e da identidade	Guercio explica como um gateway pode monitorar conexões e como a Tailscale associa identidade a usuários e máquinas.
11:08	Modelos, conectores de dados e controle de acesso	A apresentação mostra como o Aperture centraliza o acesso a provedores de LLM e configura permissões para MCP e APIs.
14:49	Interfaces e sandboxes flexíveis	Ele descreve interfaces que podem usar as APIs do Aperture e aborda a preservação de identidade e a orquestração de sandboxes.
17:26	Escolha, experimentação e diagnóstico	Guercio conclui que preservar escolhas ajuda a evitar lock-in e que um gateway também permite entender e diagnosticar o comportamento dos agents.

Citações

ROI maxing não significa apenas cortar custos; significa realmente comprovar algum tipo de valor. — 05:25

É importante poder fazer uma escolha em qualquer camada, sempre que necessário. — 06:59

Tornamos muito mais fácil experimentar ferramentas, workflows e experiências diferentes. — 14:18

ROI maxing tem a ver com maximizar a escolha para evitar o lock-in. — 18:00

Conceitos e entidades

Remy Guercio (pessoa): Integrante da equipe de projetos estratégicos da Tailscale que apresenta a palestra e trabalha no Aperture.
Tailscale (empresa): Empresa em que Remy Guercio trabalha e que desenvolve o Aperture.
Aperture (ferramenta): AI gateway da Tailscale apresentado como uma forma de controlar, monitorar e conectar componentes de implantações internas de IA.
AI Gateway (conceito): Camada intermediária que pode centralizar conexões, controles, monitoramento e autenticação para o uso de IA.
TSNet (ferramenta): Biblioteca open source usada para criar aplicações que se integram à rede da Tailscale e recebem informações de identidade.
Tailscale (ferramenta): Rede mesh baseada em identidade, construída sobre WireGuard, que associa conexões à identidade do usuário ou da máquina.
MCP (conceito): Protocolo e forma de conectar agents a fontes de dados e ferramentas, cuja autenticação e configuração podem ser centralizadas por um gateway.
ROI maxing (conceito): Abordagem que busca demonstrar o valor da IA e maximizar a possibilidade de escolha entre os componentes de uma implantação.
lock-in (conceito): Dependência de um fornecedor ou de uma stack que torna mais difícil trocar ferramentas, modelos ou workflows.
sandbox (conceito): Ambiente em que um agent é executado, considerado uma das camadas de uma implantação interna de IA.

Tradução completa (pt-BR)

00:01 [música] Bem, olá, pessoal. Obrigado por se juntarem a mim para a última palestra neste palco da feira mundial de engenharia de IA deste ano. Meu nome é Remy. Faço parte da equipe de projetos estratégicos da Tailscale. Mais especificamente, trabalho no nosso gateway de IA, o Aperture, e hoje quero

00:36 falar um pouco sobre o que significa, ou o que será necessário, para termos um futuro de IA sem aprisionamento. Acho que muito do aprisionamento que vimos nos últimos 12 meses… E, se olharmos rapidinho para os últimos 12 meses, acho que eles podem ser descritos, em grande parte, pela expressão “maximização de tokens”. Não quero dizer isso no sentido negativo que talvez se ouça fora do círculo de entusiastas de IA. Quero dizer no sentido de que este foi um ano tentando descobrir o que

01:09 podemos fazer com context windows de um milhão de tokens, com a capacidade de obter contexto de qualquer lugar, certo? Não só com MCP em toda parte, mas também com ferramentas de programação ótimas para encontrar contexto usando a CLI e levá-lo para o modelo, para tudo de que você precisa, e seguir daí. Tem sido muito legal. Isso realmente tornou possível a programação agentic, com tudo isso. Então, é bem legal, e vamos ver não

01:42 só a programação agentic, mas também outros casos de uso agentic continuarem crescendo à medida que fazemos isso. Então, maximizar tokens é legal, mas tem problemas óbvios: é muito caro, é uma iniciativa extremamente cara. Acho que os últimos 12 meses talvez tenham sido marcados por “ei, temos um orçamento ilimitado para IA”, mas isso mudou nos últimos meses, em termos do que significa usar IA. Também é caro de modo geral, quando se faz isso, certo? Mas também incentiva, por padrão, o que eu chamaria de tokens desperdiçados. Trabalho em um gateway de IA. Nós usamos nosso gateway de IA. Posso ver todo o uso feito por ele. Vocês não acreditariam na quantidade de sessões com centenas ou milhares de mensagens em que ninguém limpa o contexto. As pessoas simplesmente continuam. Às vezes isso ajuda, mas é bem surpreendente. Vocês terão

02:13 dezenas de milhões de tokens em uma sessão, com o cache praticamente no limite o tempo todo. Fica muito caro. E outra coisa: este tem sido um período empolgante; as pessoas estão fazendo coisas novas, criando coisas novas. Mas isso levou, em muitos casos, a cadeias de ferramentas muito integradas verticalmente. Claude Code é obviamente um dos grandes exemplos. Codex também. Todo mundo está construindo sua própria estrutura, desde o modelo até o topo, criando seus agents, criando

02:45 suas cadeias de ferramentas. Então, há muitos problemas aí. E a minha pergunta, nesse contexto, é: como lidamos com esses problemas? Em particular, como lidamos com o aprisionamento e como melhoramos o uso da IA, para podermos usá-la em coisas que não sejam apenas tarefas de fronteira ou situações em que estamos simplesmente desperdiçando dinheiro e tokens, esse tipo de coisa? Mas primeiro quero falar sobre como não lidar com o problema. Isso é extremamente comum. Nos últimos seis meses,

03:15 conversamos — eu literalmente conversei — com centenas e centenas de pessoas sobre os gastos e o uso de IA delas. Essa é uma das vantagens de trabalhar em um gateway de IA: as pessoas vêm falar com você e dizem: “Não sei o que está acontecendo. Sei que estamos usando muita IA. Recebo uma fatura da Anthropic todo dia. Recebo uma fatura do Codex todo dia.” Então, não é só que eu vejo isso o tempo todo. O que devo fazer? Geralmente, elas chegam com uma solução em mente: “Ah, todo mundo parece estar usando Claude Code agora. Então vamos

03:48 consolidar tudo em um único fornecedor, talvez dois, certo? Talvez dois fornecedores.” É isso que elas dizem: “Preciso controlar isso. Como faço para controlar? Como faço para…” “Ah, certo, vou dizer que todo mundo vai usar isto. Vamos usar só esta ferramenta.” Isso não é uma boa ideia. Pode parecer óbvio dizer isso daqui, que talvez não seja uma boa ideia, mas, quando você está em pânico porque gastou muito dinheiro e não sabe exatamente como, e o pessoal de finanças está perguntando o que você está fazendo — como dissemos: “Use IA, mas talvez não tanta IA” —, é bastante natural responder: “Certo, vou consolidar tudo. Vou controlar isso, vou ter controle sobre isso.”

04:20 E acho que isso dá uma pista do que veremos nos próximos 12 meses e do que as pessoas estão realmente tentando fazer, pelo menos na fronteira: o que eu gostaria de chamar de maximização do ROI. Não vamos maximizar tokens; vamos maximizar o ROI. E isso é realmente uma necessidade. Quando digo maximização do ROI, não quero dizer apenas cortar custos. Quero dizer provar que há algum tipo de valor naquilo que você está fazendo e também abrir as possibilidades, certo? Se a única coisa que você tem são dois modelos de fronteira e todo o ecossistema integrado deles, isso implica um determinado nível de custo, que torna certas coisas inviáveis. Você não consegue realmente ampliar o uso de IA na empresa se essa for a única maneira de usá-la. Então,

04:55 quando pensamos em maximizar o ROI, primeiro precisamos pensar nos componentes de uma implantação interna de IA. Não estou falando de “ei, criamos este novo recurso de IA no nosso aplicativo”. Quero dizer algo interno à sua organização. Há quatro coisas: o LLM ou os LLMs, essa camada; e a camada de conectores de dados. Para muita gente, isso é MCP, mas, na realidade, é CLI, APIs ou qualquer forma de obter dados — pode ser ler um arquivo, por exemplo, no seu sistema agentic.

05:25 necessidade, certo? Não é… E não quero dizer que, quando falo em maximizar o ROI, quero dizer apenas cortar custos, certo? Quero dizer realmente comprovar algum tipo de valor naquilo que você está fazendo e, além disso, também abrir as coisas, certo? Então, se a única coisa que você tem são dois modelos de fronteira e todo o ecossistema completo deles, isso representa um certo nível de custo que simplesmente torna certas coisas inviáveis, certo? Você não consegue realmente expandir o uso de IA na empresa se essa for a única maneira de usar IA. E então você

05:56 sabe, quando pensamos em maximizar o ROI, primeiro precisamos pensar nos componentes de uma implantação interna de IA. Não estou falando de algo como: “Ei, criamos esse novo recurso de IA no nosso app.” Quero dizer, sabe, algo interno à sua organização. E então, sabe, há quatro coisas, certo? Há o LLM ou os LLMs, certo? Essa é uma camada. Há também uma espécie de camada de conectores de dados. Para muita gente, isso é o MCP, mas, na realidade, é CLI ou APIs, ou realmente qualquer maneira de obter dados; pode ser ler um arquivo, certo, para dentro do seu sistema agêntico.

06:26 Há a interface. Acho que às vezes as pessoas meio que se esquecem disso, mas tudo começou com a interface de chat. Tivemos duas, sabe, meio que tivemos ideias com chat. Depois veio uma espécie de reação brusca às duas, com a ideia de fazer isso no meu… de ir para o meu celular. Aí, sabe, passou para: “Ah, agora a moda é Claude Tag”, e tipo: “Vou usar… vamos simplesmente interagir com agents pelo Slack”, certo? Então, é outro componente central, e é um componente que você pode separar. E o último são os sandboxes, simplesmente o ambiente em que o agent é executado, certo? Então, esses são…

06:59 os seus quatro componentes, mais ou menos. E maximizar o ROI significa aproveitar ao máximo, sabe, todas as oportunidades que você tem de escolher em cada uma dessas camadas, certo? Você não precisa necessariamente ter algo exclusivo em cada camada, tipo: “Ah, fiz uma escolha especial e personalizada em cada uma delas”, mas é muito importante poder escolher em qualquer camada específica de que você precisar, a qualquer momento. E isso pode variar entre equipes ou pessoas, certo? É, sabe…

07:30 Isso pode variar bastante dentro da organização. Não consigo muito imaginar uma equipe de engenharia inteira programando só por uma thread do Slack. Pode ser divertido, mas não consigo muito imaginar isso, certo? Mas talvez a equipe de marketing inteira trabalhe só em uma thread do Slack, fazendo perguntas sobre dados e outras coisas assim. Então, é muito importante poder separar essas coisas. E, certo, eu trabalho na Tailscale, trabalho em um gateway de IA. Talvez não seja surpresa que eu esteja aqui para falar um pouco sobre por que um gateway de IA…

08:00 vai ajudar você a fazer isso — pode ajudar você a fazer isso. E não quero dizer necessariamente que você precisa usar o nosso gateway de IA. Acho que ele é bom, mas qualquer gateway de IA é importante para isso. O nosso gateway de IA se chama Aperture. E o que ele faz — talvez não seja nenhuma surpresa, certo? — é ficar entre os seus agents e a interface desses agents, além de todos os seus endpoints, tanto endpoints de LLM quanto endpoints de dados, como MCP, endpoints de API, qualquer coisa que você tenha, e…

08:32 fica no meio e permite controlar e monitorar o que está acontecendo. Isso pode ser do ponto de vista da segurança, dos custos ou — algo que fazemos bastante — do ponto de vista de querer saber o que alguém está fazendo ou o que um agent está fazendo. É muito legal ter logs e poder dizer ao agent: “Ei, talvez ele tenha ficado sem…”. Ele meio que… sabe, não chegou a uma resposta. Simplesmente saiu de controle. Talvez isso aconteça menos agora.

09:02 Com certeza, costumava acontecer bastante. Talvez aconteça mais com modelos mais baratos também. Em geral, eles não são muito bons em parar por conta própria. Mas são bons em analisar onde erraram depois do ocorrido. Então, quando você tem algo como um gateway de IA, é muito fácil apontá-lo de volta para o que você estava fazendo e perguntar: “O que aconteceu? Por que isso não… por que isso não funcionou da forma que eu esperava?”. Então, se você já usou um gateway de IA, quantas pessoas têm um gateway de IA, já fizeram deploy de um gateway de IA ou usam IA? É. Então, se você já usou um, provavelmente conhece a situação: “Certo, coloquei todas as minhas chaves nesse gateway. Agora…

09:34 preciso criar chaves sintéticas para tudo o que tenho”, certo? Então, é como se eu tivesse trocado algumas chaves por um monte de outras. Nós podemos fazer algo um pouco diferente. O Aperture é construído sobre a Tailscale e, se você não conhece a Tailscale, ela é uma rede mesh baseada em identidade. É construída sobre WireGuard. O que você pode fazer com a Tailscale é que cada conexão feita pela Tailscale — é uma rede da Tailscale —, sabe, você instala o agent tailnet em todos os lugares de que precisa. Pode ser…

10:06 containers, laptops, servidores com GPU, não importa. Você instala em todos os lugares e cada conexão feita por essa tailnet passa a incluir a identidade da máquina ou do usuário do outro lado. Isso pode ser uma tag, certo? Algo como: “Ei, este é um ID de máquina. Este é um bot de revisão de PR”, certo? E aí ele recebe um ID de nó separado. Esta é a instância desse bot de revisão de PR, certo? Você pode fazer isso ou pode ser o usuário, certo? Sou só eu usando Claude Code no meu laptop. Isso também pode vir junto, além de, se você estiver usando algo como Entra ou…

10:36 Okta, podemos sincronizar todos os grupos, para que você possa ver a qual grupo aquela pessoa pertence. Algo do outro lado consegue ver tudo isso. Temos uma biblioteca muito legal chamada TSNet. É uma biblioteca open source. Você pode usá-la para criar esse tipo de aplicativo. Foi com ela que construímos o Aperture. É isso que está acontecendo aqui. Assim, ele consegue ver a identidade do usuário ou do agent do outro lado da conexão. E, de novo, só para lembrar: os componentes de um deploy interno de IA…

11:08 Então, há o lado do LLM, o lado dos dados, o lado da interface e os sandboxes propriamente ditos — o ambiente em que as coisas são executadas. Então, quando se trata de usar o Aperture, no que diz respeito aos LLMs, acho que é bem parecido com o que você esperaria de outros gateways de IA, exceto que agora tenho aqui um gateway configurado. Ele tem Anthropic, OpenAI, Vercel, e até OAuth da Anthropic, Bedrock, Codex, tudo o que você possa imaginar. Coloquei todas essas…

11:41 chaves nesse gateway e, agora, quando quero me conectar ao provedor de LLM como agent ou usuário, não há… não preciso… Se eu expandisse isto, não haveria nenhuma tela extra para criar essas API keys, criar essas identidades, configurar isso. Quando me conecto ao gateway, ele sabe quem eu sou, sabe o que eu sou e diz: “Ah, você tem acesso a estes modelos deste provedor”. Você pode usar GLM 5.2, e também recebe um orçamento para o GLM 5.2, certo? Você tem orçamento ilimitado para um modelo barato e um orçamento…

12:12 extremamente limitado para um modelo de ponta, certo? Esse tipo de coisa. Não há nenhuma configuração extra aqui. É só adicionar sua API key e pronto. Então, de novo, pegamos toda a camada de LLM e colocamos tudo em um só lugar, que você pode então expandir dentro da sua organização. De novo, não importa se você está tentando trocar de modelo ou de provedor: pode fazer isso. A próxima coisa é o lado dos dados. Então, além de ser um gateway de LLM — e foi por isso que eu disse gateway de IA no começo. Sei que isso parece meio vago…

12:44 mas, na verdade, escolhi esse termo especificamente porque somos tanto um gateway de LLM quanto um gateway de MCP, e também fazemos injeção de autenticação para APIs padrão e as disponibilizamos novamente como MCPs. Então, escolhemos intencionalmente um termo mais amplo aqui. Mas, como vocês podem ver, no Aperture, como administrador, você pode configurar os servidores MCP que quiser. Temos alguns integrados que já avaliamos e garantimos que sejam fáceis de usar e tudo mais. Se você já implantou um MCP ou usou MCPs na sua organização,

13:17 sabe que existe um padrão, mas cada pessoa segue uma versão diferente dele. Dá para saber exatamente quando um servidor MCP foi criado só pelo jeito como decidiram implementar a autenticação. É uma ótima aula de arqueologia quando você passa pelo processo de configurar servidores MCP, mas tentamos tornar isso bem simples aqui, certo? Já passamos por isso. Então, como administrador, você pode dizer: “Configurei estes. São os que estão autorizados.” Você pode usar as mesmas informações de identidade para dizer: “A equipe de marketing tem acesso ao Google Calendar e ao Gmail, mas a equipe de engenharia também terá acesso ao GitHub, certo?

13:47 Você pode até dizer coisas como: a parte de engenharia desta equipe tem acesso ao GitHub, ou acesso somente para leitura ao GitHub. Dá para fazer todo tipo de coisa aqui. E o que é realmente bom, voltando ao tema do desacoplamento, é que toda a autenticação acontece aqui. Então, se algumas pessoas quiserem usar o Cursor, o Claude Code, o Codex ou algum framework de agent especial, alguma novidade que descobriram ou criaram, ou seja lá o que for,

14:18 tudo o que precisam fazer é acessar esse endpoint e, se estiverem na tailnet, tudo fica autenticado como elas, como o agent ou como o dispositivo marcado, conforme o caso. Não precisam ficar se autenticando de novo em tudo e depois se autenticando outra vez nessa nova ferramenta. Com isso, tornamos muito mais fácil experimentar ferramentas, testar workflows diferentes e ter experiências diferentes, reduzindo o custo de troca. São todos esses pequenos pontos de atrito que levam a situações em que as pessoas simplesmente não experimentam novos casos de uso.

14:49 Elas não tentam pensar: “Talvez eu devesse experimentar. Talvez eu consiga tornar isso mais barato, talvez mais rápido.” A próxima coisa é a interface. Com o Aperture, temos uma interface de chat integrada, para surpresa de ninguém; parece que todo mundo tem uma interface de chat. Mas ela é construída sobre APIs que vocês também podem usar. Nosso objetivo com o Aperture é oferecer a vocês o mesmo tipo de ferramentas e interfaces — ou ferramentas para criar interfaces — que nós mesmos podemos usar. Então, seja

15:21 para criar um bot do Slack, uma interface de chat ou alguma novidade em que ninguém pensou, como um aplicativo móvel com uma interface somente de voz, vocês podem fazer isso. A ideia é que vocês possam fazer isso com o Aperture. Queremos oferecer suporte a todos esses diferentes casos de uso específicos. Mas, como vocês podem ver, ele tem conectores. Eles também são configurados pelo próprio Aperture. Não são configurados na interface de chat. Vocês os recebem por meio do Aperture. E a última coisa é…

15:51 Falamos um pouco sobre interfaces. É muito importante que vocês consigam usar tudo isso. Outra coisa que chegará em breve: se vocês já tentaram configurar, sei lá, o Open WebUI, o LibreChat ou qualquer outra interface desse tipo, uma coisa importante é que vocês sempre perdem as informações de identidade. Aí, de repente, tudo vem da interface; tudo vem do sistema. Nós

16:22 vamos adicionar um encaminhamento completo do OAuth, para que vocês possam ver todas as identidades de usuário e de máquina, caso estejam usando alguma interface. Vocês poderão configurá-la para encaminhar o OAuth e ainda ter toda a visibilidade que esperam de um gateway de IA. E a última coisa: acho que esta é a área em que as pessoas estão se saindo muito bem. Já existe bastante escolha, e as pessoas estão tentando fazer isso. Acho que é porque, se eu fizesse uma pesquisa aqui, cada pessoa teria uma definição diferente do que exatamente é um sandbox,

16:56 do que precisa em um sandbox ou do que quer de um sandbox. Então, estamos numa fase de deixar mil flores desabrocharem: existe um provedor de sandbox para cada tipo de preferência, necessidade e desejo. As pessoas estão fazendo um bom trabalho integrando esses provedores, mas isso também é muito importante. Vamos adicionar também uma camada de orquestração de sandboxes a um gateway. Mais uma vez, usando o termo gateway de IA de maneira intencionalmente bem ampla,

17:26 porque, para escolher as melhores opções entre todos os endpoints — ambientes, LLMs, conectores de dados e tudo mais —, você realmente precisa de um lugar onde possa ver tudo e de um lugar que reúna tudo, para que depois você possa usar qualquer um deles. É quase uma camada universal de tradução, de certa forma. Mas é basicamente isso. E, como eu disse, fica o lembrete: maximizar o ROI é mesmo uma questão de maximizar as opções para evitar dependência de um único fornecedor.

18:00 Então, mesmo que não usem o Aperture, recomendo muito que comecem a considerar um gateway de IA. Vale a pena analisar um gateway de IA por motivos que vão além de não precisar configurar três provedores diferentes ou alternar entre eles. Ele é útil também para entender o que os agents estão fazendo. Mesmo que seja só você, como indivíduo, muitas pessoas colocam seu uso por trás de um gateway de IA só para ter uma ideia do que os agents estão fazendo, porque, quando você está executando…

18:32 É muito comum as pessoas executarem algo como o OpenClaw na Tailscale, na própria tailnet, deixando-o rodando em segundo plano. Aí pensam: “Meu Deus, ele fez alguma coisa. Não tenho certeza do que fez. Fez algo que não deveria.” Com algo como um gateway de IA, você pode voltar, conferir e diagnosticar onde deu errado e o que aconteceu. Então, não se trata só de evitar dependência de um único fornecedor; trata-se também de experimentar e entender o que acontece. É muito importante usar algo como um gateway de IA ou de LLM. É isso para minha apresentação, curta e direta. Obrigado.

19:07 Muito obrigado por terem vindo. Esta é a última palestra do dia aqui, então espero que todos tenham tido uma conferência ótima. Sei que adoro a AI engineer world fair, e espero que vocês também. Então, obrigado.

Transcrição original

[00:01] [music] Well, hi folks. Uh, thanks for joining me here for the last talk on this stage uh of the uh AI engineer world’s fair this year. So, um, yeah, thank you for joining me. My name is Remy. I am on the strategic projects team at Tailscale. Uh and more specifically I actually work on our AI gateway aperture and today I want

[00:36] to talk a little bit about you know what it means or you know what it’s going to take uh to have an AI future without the lockin. I think a lot of the locking that we’ve seen uh over the last 12 months and yeah so if we take a look real quick at the you know the last 12 months you know I think it can really be you know described quite a bit by uh the phrase token maxing and I I don’t mean that in the kind of you know negative sense that you might kind of hear outside of the you know kind of AI enthusiast circle. I mean that in the sort of you know it’s been a year of trying to figure out you know what we

[01:09] can do with million token context windows uh with the ability to get context from anywhere right not just you know MCP being everywhere but you know also having coding tools right that are great at finding context using the CLI bringing that context into the model uh bringing it you know bringing it into you know everything that you need and and and going from there right it’s it’s been pretty cool right I mean we’ve gotten It’s really made truly agentic coding possible having all of this right. So yeah, it’s I mean it’s it’s quite cool and you know we’re going to see uh not

[01:42] just agentic coding but you know other agentic use cases continue to take off uh as we as we do this. So um you know token maxing is cool but right it has it has problems right there’s obvious problems right it’s very expensive right it’s it’s it’s an extremely expensive endeavor uh you know I think the last 12 months are you know have maybe been marked by hey we have you know unlimited AI budget uh and that’s changed here in the last few months uh in terms of you

[02:13] know what it what it means to you know what it means to use AI um it also I mean you know it’s expensive like just generally if you’re doing it, you know, right, but it also it does incentivize what I would call like wasted tokens by default. I mean, I I work on an AI gateway. We use our AI gateway. I get to see all of the usage from the AI gateway. You would not believe the number of sessions that are hundreds or thousands of messages long where nobody clears the context. They just kind of keep going. I mean, it’s helpful sometimes, but you know, it’s it’s it’s pretty surprising. you will have you

[02:45] know tens of millions of tokens of a session uh where it’s the cash is basically maxed out maxed out the entire time uh it gets really expensive um and the other thing is right so you know this has been an exciting time right people are doing new things building new things uh but this has led to you know in many cases very vertically integrated tool chains uh cloud code is obviously you know a big one codeex right everybody’s kind of building up their you know for all the way from the model you know all the way all the way up to the top uh you know building their uh you know building their agents, building

[03:15] their tool chains. So um all right there’s a lot of problems there and so you know my question right in terms of this is uh you know how do we address these problems in particular how do we address the lock in and you know how do we actually improve uh how we use AI such that you know we can use it for things that aren’t just you know kind of essentially frontier task or where we’re just kind of wasting wasting money wasting tokens uh you know that sort of thing. Um, but first I want to talk about how not to address the problem. Uh, and this is a super super common thing. So, uh, over the last 6 months,

[03:48] we’ve been talking to I’ve literally been talking to hundreds and hundreds of folks about their AI spend, their AI usage, right? That’s the kind of benefit of working on an AI gateway. Folks come to you, they’re like, I don’t know what’s going on. I know we’re using a lot of AI. I get, you know, uh, I get an anthropic bill every day. Uh, I get a codeex bill every day. Um uh so you know I it’s not just that you know I see it all the time. So you know what do I do? They usually come with one kind of solution in mind uh and that is oh we’re just going to like uh everybody seems to be using cloud code right now. So we’re

[04:20] just going to like consolidate on a single vendor maybe two vendors right maybe two vendors. So that’s uh they’re like I need to get a handle on this. How do I get a handle on this? How I get you know oh okay yeah I will say everybody’s going to use this right we’re just going to use this thing. um that is not not a great idea. uh you know I might seem obvious sitting here it’s maybe not a great idea but you know when you’re in that panic zone of we’ve spent a lot of money and we don’t know how exactly uh and we you know finance is talking to you it is being like what are you doing uh um you know like we said to you know

[04:55] use AI but maybe not use that much AI uh and you know it it’s a pretty natural response to be okay I’m going to consolidate everything down right okay I’m gonna have a control on it I’m gonna have you know I’m gonna have control on this uh control of this Um and you know I think this is kind of peeking at what we’re going to see the next 12 months and what people are actually trying to do uh at least at the you know kind of frontier is uh what I would like to call ROI maxing right we’re not going to be token maxing we’re going to be ROI maxing uh and you know it’s it’s really just a

[05:25] necessity right it’s not uh um and I don’t mean that when I say ROI maxing I don’t just mean cutting costs right I mean actually proving some sort of value uh to the thing that you’re doing uh and not only that but also kind of opening things up, right? So if the only thing you have is like two frontier models and their entire stacked ecosystem, that’s a certain cost level where you you it just makes things certain things untenable, right? You can’t actually expand AI usage into the company if that’s the only way you can use AI. Um and so you

[05:56] know when we think about ROI maxing, we first need to kind of think about like what are the components of an internal AI deployment. I’m not talking about like a hey, we’ve built this new AI feature in our app. I mean, you know, internal internal to your organization. And so, you know, there’s four things, right? There’s the LLM or LLMs, right? There’s that layer. Uh there’s sort of the data connector layer. I mean, this is MCP for a lot of people, but in reality, it’s, you know, CLI or APIs or really just any way that you get data could be reading a file, right, into your uh into your agentic system. Uh

[06:26] there’s the interface. I think people kind of forget about this sometimes, but you know, it’s started with the chat interface. We got two, you know, we kind of got a uh we got, you know, idees with chat. We got, you know, kind of a whiplash back from two into, you know, I’m going to do it on my go to my phone. Uh, you know, to, oh, now the, you know, the hot thing is, you know, claude tag and like I’m going to use, you know, I’m going to use we’re just going to interface with agents via Slack, right? So, uh, um, you know, it’s another core component and it is a component that you can break out. Uh and then the last one is sandboxes just the environment in which the agent runs right so those are

[06:59] your four kind of uh you know four components really uh and to be ROI maxing uh means to be maxing your you know every opportunity that you have uh for choice to make a choice at one of those layers right you don’t have to necessarily have a unique thing at you know oh I’ve made my bespoke special choice at every one of those layers but it’s really important to be able to make a choice at any given layer that you need at any given time. Uh, and it might be different for different teams or different folks, right? It’s, you know,

[07:30] it can be pretty different across the organization. I don’t totally imagine like an entire engineering team just coding via, you know, slack thread. Might be fun, but I don’t totally imagine that, right? Uh, um, but, you know, the entire marketing team might be working entirely uh, you know, in a slack thread, asking data questions, doing other things like that. So it’s really important to you know to be able to uh kind of separate these things and right so I I work at tail scale right I work on an AI gateway uh you know maybe no surprise that I’m here to talk a little bit about why an AI gateway uh

[08:00] will help you do that can help you do that and I don’t just mean necessarily using our AI gateway I think it’s nice but you know just any AI gateway is the um you know is important for this uh so our g AI gateway is uh called aperture and um what it does uh is right it’s maybe No surprise here, right? But it let you it sits in between your agents and that interface of that agent uh and you know all of your endpoints uh as well both like LLM endpoints and data you know kind of MCP endpoints API endpoints anything that you have uh and

[08:32] sits in the middle and let you both control and monitor what’s happening from a that can be from a like security perspective that can be from a cost perspective that can be from a which we do a lot I want to learn about what somebody is doing or what an agent is doing uh perspective. It’s actually really cool when you have logs uh and you can tell your agent to hey uh I it maybe it ran out. It kind of just kind of you know oh it it didn’t reach an answer. It just kind of spiraled out of control. Uh maybe happens less now.

[09:02] Definitely used to happen quite a bit. Happens with you know maybe cheaper models more often too. Uh they’re usually not great at stopping themselves. Uh but they are great at analyzing where they went wrong after the fact. And so when you have something like an AI gateway, it’s really easy to point it back at what you were doing and say, “What happened? Why did this not why did this not, you know, work the way I was expecting it to?” Uh, and so, you know, if you’ve used an AI gateway, how many people like have an AI gateway, have deployed an AI gateway, use an AI? Yeah. So, if you’ve used one before, you’re probably used to, okay, so I’ve put all my keys on this gateway. Now, I

[09:34] need to go create synthetic keys for everything that I have, right? So, it’s like, okay, I’ve traded some keys for a bunch of other keys. uh we get to do something a little special. So Aperture is built on tail scale and if you’re not familiar with tail scale, tail scale is an identity based mesh network. It’s built on wire guard. Uh and what you get to do with tailscale is uh every connection that is made over a tail. So it’s a tail scale network uh you know you install the tail net agent everywhere that you need. It can be

[10:06] containers, laptops, GPU servers, doesn’t matter. um you install it everywhere and every connection that’s now made over that tail net uh comes with the identity of the machine or the user on the other side. So that can be a tag, right? So that can be like hey this is a machine ID. This is a PR review bot, right? Uh and then it would get a separate node ID underneath. This is the instantiation of that PR review bot, right? So you can do that or it can be the user, right? So it’s just me using cloud code on my laptop. Uh that can come with it as well. uh in addition to if you’re using something like Entra or

[10:36] Octa uh we can actually sync all the groups in uh so you can see the group that that person is associated with. So something on the other side is able to see all of that. We have this really cool library. It’s called TSNet. It’s an open source library. You can use it to build these sorts of apps. That is what we use to build aperture. That is what is actually happening here. So it is able to see the uh it is able to see the identity of that user or that agent on the other side of the thing on the other side of the connection. And so you know again just reminder components of a you know an internal you know AI deployment

[11:08] uh right so there’s the LLM side of things there’s the data side of things the interface side of things and the actual sandboxes uh sandbox and environment in which things run uh side of things. So, um, when it comes to using Aperture, uh, you know, as far as LLMs go, this is pretty similar, I think, to, you know, what you might expect from other other AI gateways, except now, you know, here I have a, you know, a configured gateway. Uh, it’s got anthropic, open eye, versel, you know, it’s got even anthropic oath, uh, you know, bedrock codex, everything, uh, that you can imagine. I put all those

[11:41] keys on that gateway and then now when I want to actually connect to that LLM provider as an agent or a user there’s no I don’t have there’s if I had this expanded there’s there’s no extra screen for create these API keys create these identities create this once I connect to the once I actually connect to the gateway it knows who I am it knows what I am and it’s like oh you have access to this models this provider right you can use GLM 5.2 uh you get this budget with GLM 5.2 too, right? You get unlimited budget with a cheap model and you get an

[12:12] extremely narrow budget with a Frontier model, right? Those sorts of things. Uh there’s no extra setting here. It’s just add your add your API key and go. So again, we’ve taken all the LLM layer and we’ve put it into a you know, put it into one place that you can then, you know, kind of expand out within your organization. Again, doesn’t matter if you’re trying to switch models or providers, you can do that. Uh the next thing is the data side of things. So, uh, in addition to, you know, being an an LLM gateway, and this is actually why I said AI gateway at the beginning. So, I know that seems kind of nebulous, uh,

[12:44] but I’m actually I very specifically chose that term because we’re both an LLM gateway and an MCP gateway and we even do off like, uh, injection for just standard APIs and reexpose those as MCPs, too. So, uh, you know, kind of intentionally choosing the broader term here. Um, but with this, as you can see here, uh, in Aperture as an admin, you can go in and configure whatever MCP servers you want. We have kind of built-in ones where we’ve, you know, checked them out, make sure they’re easy to easy to work with, all those sort of things. If you’ve ever deployed an MCP or used MCPS within your organization,

[13:17] you’ll know that, uh, there’s a standard, but everybody follows a different version of that standard. Uh, you know, you can tell exactly when an MCP server was built by exactly how they decided to do off. Uh yeah, it’s it’s a great uh you know kind of archaeology lesson uh when you go through when you go through setting up MCP servers, but we try to make that a very simple process here, right? We’ve kind of gone through this. Uh so you as an admin can say, “Hey, I’ve configured these. These are the ones that are allowed.” You can use that same identity information to say, “Hey, the marketing team, you know,

[13:47] they get access to Google Calendar and Gmail, but the engineering team, they’ll also get access to GitHub, right? uh you can even say things like oh the engineering you know this side of the engineering team gets access right access to GitHub or readonly access to GitHub you can do all all sorts of things here and what’s really nice and again talking about decoupling is all of the authentication happens here so if you have folks that want to use cursor or they want to use cloud code or they want to use codeex or they want to use some special agent framework that they’re you know some new hot thing that

[14:18] they’ve you know they’ve discovered or built or whatever uh all they have to do is hit that endpoint and if they’re on the tail net everything’s authenticated as them or as whatever the agent or as whatever you know the tag device is. Uh there’s no like oh I have to go reth into everything and then reauth into everything and then reth into this new tool. Uh we make the switching cost right of like actually trying out tools and trying different workflows and different experiences a lot a lot easier with this sort of thing. It’s all those little points of friction uh that lead to use cases where like you know people

[14:49] just don’t try new use cases. They don’t try to uh you know oh maybe I should experiment maybe I can make this cheaper maybe I can make this faster. Um you know next thing talking about the interface so uh with Aperture we actually have a built-in chat UI surprise uh you know everybody seems to have a chat UI we have a built built-in chat UI um however it is built on top of APIs that you can also leverage yourself. Uh so our whole goal with Aperture is to actually provide you with the same sort of you know tools and interfaces and or tools to build interfaces that we can. So whether or

[15:21] not you want to build a Slackbot or you want to build uh chat UI or you want to build you know some new thing that nobody’s thought of some mobile app kind of thing you know it’s voice only interface right uh you can you can do that. The whole point is you’re going to be able to do that with Aperture. We want to support all of those different individual uh use cases. But again you can see it has connectors. Those are all again set up through Aperture itself. They’re not set up in the chat UI. You’re just getting them uh by way by way of Aperture. Uh and then the last thing, so this is

[15:51] uh you know, so we talked about interfaces, you know, a little bit. It’s, you know, it’s again, it’s very important uh that you be able to kind of use all of that. Uh actually one other thing that’s coming very soon here is um uh if you’ve ever I don’t know if anybody’s ever tried to set up like open web UI or you know or like Libra like or any of the like kind of like any of the like oh I’m going to set up like a hey this like you know this interface or this interface uh one big thing is you always lose identity information and then suddenly all of the you know everything’s coming from the UI right everything’s it’s like oh everything’s just coming from the system uh we’re

[16:22] actually going to be adding a full like pass through O uh so you’ll be able to actually see all of the like user identities and machine identities if for some reason they’re using whatever interface that you have. Uh you should be able to set it up so that you can pass through the O and you still get all of the same visibility that you’re kind of expecting from a from an AI gateway as well. Um and then yeah the last thing is right this is actually the I think the area in which um folks are doing pretty good. There’s actually a lot of choice already people are trying to do this. Uh I think that’s because uh the definition of a sandbox I’m sure I could poll everybody here and would have a

[16:56] different everybody would have a different definition of exactly what a sandbox is uh or what they need from a sandbox or what they want from a sandbox. Uh and so you know there’s we’re kind of in that let a thousand flowers bloom phase of you know there’s a sandbox provider for every sort of whim and need and you know and want out there. Um but uh you know and folks are doing a pretty good job of integrating them but again it’s a really important thing. We’re actually going to be adding kind of an orchestration layer as well for sandboxes to a gateway. uh again trying to use that term AI gateway very

[17:26] loosely intentionally very loosely because in order to again kind of make the best choices for all of the different endpoints that you’re you know environments LLMs data connectors all that sort of thing uh you really do need uh to kind of have a place to sort of see them all uh and then a place that brings them all together such that you can then use any other one so right kind of a almost a universal translation layer in a way um but yeah so that’s that’s mostly that and you know like I said is a reminder here uh is you know ROI maxing really is all about maximizing choice uh to prevent lock in

[18:00] right so you know even if you don’t use Aperture I do highly recommend you start considering an AI gateway you look at an AI gateway it’s good just beyond like actual you know oh you know I don’t have to you know uh have three different providers configured or switch between them this way you know uh it’s good beyond that right it’s great for just you know understanding what agents are doing even if it’s just you as an individual we have so many people who or just as an individual they have their usage behind an AI gateway just to have an idea as to what their agents are doing because you know if you’re running

[18:32] uh very commonly uh is people are running something like openclaw with on tail scale and it’s on their tail net and they and it’s just running in the background and they’re like oh my god it did something I’m not sure what it did it did something it was not supposed to do with something like an AI gateway you can actually go back and you can see and you can look and you can actually diagnose where it went wrong what happened Um so you know it’s it’s not just lock in right it’s actually just experimentation and understanding as a whole uh is you know is very important to use something uh like a like an AI or LLM gateway. So um that’s it uh for my talk just short and sweet uh thank you

[19:07] very much for attending I this is the the last talk in here of the day so uh I hope everybody’s had a really great conference I know I love the AI engineer world fair uh and I hope you do too. So thank you