Como as empresas governam agentes de IA em vários modelos

Autoria: Databricks · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: How Enterprises Govern AI Agents Across Multiple Models · Canal: Databricks · 31:33 · Assistir no YouTube

Tópicos: Agentes de IA, Aplicações empresariais de IA, Governança e regulação de IA, Segurança de IA

Resumo

O vídeo discute como passar de experimentos isolados com agentes para aplicações agentic escaláveis, integradas aos dados e sistemas da empresa. A Databricks apresenta o Unity AI gateway como uma camada central para governança, controle de custos e observabilidade em ambientes com vários modelos e ferramentas. Os participantes também abordam a evolução do desenvolvimento com agentes, a segurança de aplicações personalizadas e os componentes necessários para operar agentes em escala. Por fim, destacam casos de uso que vão da produtividade interna a aplicações voltadas a clientes.

Pontos-chave

Aplicações agentic podem executar processos empresariais completos, mas sua operação exige integração com modelos, harnesses, outros agentes, dados e sistemas.
A Databricks apresenta o Unity AI gateway como uma camada central de governança para modelos e ferramentas diferentes.
A governança inclui políticas de acesso, guardrails, orçamentos, alertas, limites de gastos, observabilidade e trilhas de auditoria.
Agentes já são usados para tarefas contínuas de operação, análise de dados e monitoramento, além de autoria de código.
O trabalho de desenvolvedores passa a envolver mais especificação, julgamento, prototipagem e revisão do que execução manual de cada tarefa.
Aplicações pessoais criadas com agentes precisam de sandbox, permissões restritas e monitoramento, especialmente quando acessam dados sensíveis.
Os participantes defendem uma abordagem de segurança em camadas, com supervisão, gateways, controles de rede e permissões limitadas.
Harnesses open source podem servir como infraestrutura para experimentação e aplicações empresariais, permitindo personalização e evitando dependência de mudanças de licença.
Agentes conectados às fontes de dados e ferramentas certas podem apoiar tanto usuários técnicos quanto não técnicos.

Capítulos

Início	Capítulo	Resumo
00:01	De experimentos a aplicações agentic em escala	A abertura apresenta o desafio de passar de agentes para tarefas específicas a sistemas que executam processos empresariais completos.
03:04	Agenda e evolução do desenvolvimento	A conversa começa com a mudança de chatbots e autocomplete para agentes que escrevem software e delegam tarefas entre si.
08:20	Agentes em operações e o papel dos desenvolvedores	Os participantes relatam usos contínuos de agentes em operações e discutem como o trabalho humano se desloca para especificação, julgamento e prototipagem.
17:35	Governança de aplicações pessoais e dados sensíveis	A conversa aborda como isolar, limitar e monitorar aplicações criadas por funcionários quando elas acessam sistemas e dados empresariais.
21:09	Supervisão e segurança em camadas	Os participantes defendem monitoramento inteligente e controles complementares para identificar comportamentos incomuns e reduzir riscos.
24:17	O stack agentic para operar em escala	A discussão apresenta componentes como acesso a dados, harnesses, gateways e permissões, além da importância de projetos open source.
28:56	Casos de uso e adoção por usuários não técnicos	Os participantes descrevem usos cotidianos de agentes, desde automação e explicações até assistentes acessíveis a pessoas sem formação técnica.
31:02	Aplicações agentic voltadas a clientes	O encerramento destaca que clientes também estão incorporando agentes às próprias aplicações e migrando de loops personalizados.

Citações

Uma única camada de controle de IA governada. — 02:03

Ainda é preciso saber o que você quer. — 11:25

Você governa inteligência com inteligência. — 21:09

Nenhum desses mecanismos, sozinho, será infalível. — 22:43

Conceitos e entidades

Unity AI Gateway (ferramenta): Camada de controle apresentada pela Databricks para governar o uso de modelos, ferramentas e MCP servers.
Databricks (empresa): Empresa que apresenta sua abordagem para criar, operar e governar aplicações agentic em escala.
Patrick Wendell (pessoa): Cofundador da Databricks e líder de sua equipe de engenharia de IA, segundo a apresentação.
Peter Steinberger (pessoa): Criador de OpenClaw e integrante da equipe técnica da OpenAI, segundo a apresentação.
OpenClaw (ferramenta): Projeto citado como exemplo de harness open source usado em implantações empresariais.
OpenAI (empresa): Empresa cujos participantes discutem o uso e a evolução de agentes e ferramentas de desenvolvimento.
Tibo Sato (pessoa): Responsável pelo desenvolvimento do Codex na OpenAI, conforme a apresentação.
Codex (ferramenta): Agente e harness de desenvolvimento discutido como ferramenta para programar, prototipar e orquestrar tarefas.
Stellantis (empresa): Fabricante global mencionada na apresentação como participante de uma futura demonstração.
Harness (conceito): Estrutura que conecta e coordena agentes, modelos, ferramentas e acesso a dados.
Unity AI Gateway (conceito): Exemplo de gateway que centraliza políticas, controles e observabilidade para interações com sistemas empresariais.
defesa em profundidade (conceito): Estratégia de segurança que combina várias camadas, como sandbox, supervisão, controle de rede e permissões restritas.

Tradução completa (pt-BR)

00:01 Olá, pessoal. Sejam bem-vindos e obrigado por se juntarem a nós. Hoje vamos falar sobre aplicações agentic e o que é necessário para passar dos experimentos à construção, ao deploy, à orquestração e à governança delas em escala. Então, o que são aplicações agentic? Em quase todos os setores, as equipes começaram com agentes de turno único para coisas como assistência de IA em tarefas específicas e um tanto restritas. E agora estão avançando para construir e fazer o deploy de frotas de agentes. São aplicações agentic completas…

00:31 …que conseguem lidar com processos de negócio inteiros, desde o atendimento ao cliente até o processamento de sinistros e muito mais. E é aí que as coisas ficam interessantes. Isso se complica porque você construiu uma vez e criou o loop do agent. Mas então cada agent precisa se conectar a modelos, harnesses e outros agents, além aos dados de negócio armazenados em bancos de dados e sistemas externos. E, depois do deploy, você gerencia o acesso e monitora o desempenho. E não quer ter que reconstruir a estrutura de suporte…

01:03 …toda vez que colocar um agent em produção. Então, embora construir aplicações agentic esteja ficando mais fácil, a verdadeira questão é como passar de construções pontuais para algo muito mais repetível. E essa é realmente a mudança em que estamos focados hoje. Não se trata apenas de construir, mas de operacionalizar aplicações agentic em produção. Na Data Bricks, tornamos isso possível com escolha, contexto e controle. A escolha é, na verdade, a liberdade de…

01:33 …usar o melhor modelo, agent, harness, MCP ou ferramenta para cada tarefa. Contexto é construir agents que conhecem os dados da sua empresa e entendem o contexto; é isso que os torna mais úteis logo de início. E a terceira área é o controle, que consiste em oferecer governança, controle de custos e observabilidade. A governança de IA, em particular, tem sido uma prioridade para nossos clientes. Suas equipes estão desenvolvendo e usando muita IA, mais do que nunca, mas a governança e a visibilidade…

02:03 …do uso e dos gastos com IA simplesmente não acompanharam esse ritmo. Por isso, estamos animados para anunciar hoje a disponibilidade geral do Unity AI gateway. Este é um marco importante na nossa visão de governança de IA na Data Bricks. Com o Unity AI gateway, você tem um plano de controle de IA único e governado. O que isso significa na prática? O Unity AI gateway oferece uma única camada de governança para várias IAs. Isso significa que você pode usar o melhor modelo ou…

02:34 …agent harness para cada tarefa. Isso inclui desde modelos de ponta hospedados nativamente até os mais recentes modelos e frameworks open source, e você pode usar o que vier a seguir sem reconstruir os controles para cada provedor ou ferramenta. O Unity AI gateway ajuda você a controlar os custos. Você tem políticas de acesso, guardrails e ferramentas de gestão de gastos, como orçamentos, alertas e limites. E ele oferece observabilidade de ponta a ponta sobre quais modelos e agents são usados, quais ferramentas eles chamam e de onde vêm a latência e os custos. E isso…

03:04 …ajuda você a otimizar e garantir a melhoria contínua. Com a disponibilidade geral, agora você pode usar governança centralizada para modelos de base e servidores MCP para Google Drive, GitHub, SharePoint, Atlassian, Slack e todas as ferramentas que costuma usar no trabalho. Além disso, você tem controles de custo integrados e linhagem completa e trilhas de auditoria. Isso realmente ajuda você a passar da experimentação para a IA em escala de produção. Temos uma programação empolgante para hoje. Vamos começar com uma sessão de perguntas e respostas com Patrick Wendell, cofundador da…

03:36 …Data Bricks e líder da nossa equipe de engenharia de IA. Ele estará acompanhado por Peter Steinberger, criador do OpenClaw e membro da equipe técnica da OpenAI, além de Tibo Sato, que lidera o desenvolvimento do Codex na OpenAI. Em seguida, Amber Roberts vai mostrar como construir e fazer o deploy de aplicações agentic na Data Bricks. E vamos ouvir Hugo Sicher. Ele é o chefe de IA agentic na Stalantis, uma fabricante global líder por trás de marcas conhecidas, como Jeep, Chrysler e Dodge. Temos muitos assuntos importantes para abordar. Vamos começar.

04:10 Primeiro, vamos falar sobre a evolução da construção de software. Com a explosão dos agentes de programação, dos agent harnesses e dos frameworks de orquestração, a forma como os desenvolvedores constroem software mudou fundamentalmente. Tibon, talvez possamos começar com você. Como você viu o desenvolvimento evoluir e qual é o novo paradigma? >> Evoluiu muito rápido. Acho que um lado positivo é que os humanos se adaptam muito, muito rápido. Até um ano, um ano e meio atrás, lembro…

04:41 …que as pessoas sempre diziam: “Eu podia perguntar ao Chachi PT sobre uma questão de programação; talvez eu copiasse e colasse a resposta”. Depois, o preenchimento automático também ficou muito eficiente. As pessoas passavam tempo nos IDEs e conseguiam preenchimentos automáticos cada vez melhores; em certo momento, ele já completava arquivos inteiros. E agora estamos na era agentic, em que você simplesmente delega a um agent, que faz a maior parte do trabalho e vai muito além da programação: basicamente…

05:12 …entende muitos dos requisitos e do mundo ao redor. E então pensa em tudo do começo ao fim, como um ser humano faz quando você delega algo a outra pessoa. Agora estamos explorando um território totalmente novo: fábricas inteiras, em que vários agents delegam tarefas automaticamente entre si, conectados aos sistemas certos. E aí você, como usuário, não necessariamente precisa delegar as tarefas. Há uma evolução muito, muito rápida…

05:42 …desde o início, quando havia algo inteligente, um chatbot a quem você podia simplesmente fazer perguntas, até agora, quando muitos softwares são escritos automaticamente e talvez você nem revise mais todo o código. >> Um ano atrás, tínhamos a CLI e era preciso tomar cuidado para limpar a sessão; você abria vários terminais. Mas muita coisa mudou nos últimos seis meses. Eu diria que sim, faz um ano…

06:13 …talvez até mais. Agora você não precisa mais se preocupar com a compactação, certo? Eu costumava ser o maior fã da CLI. Quando me falaram do app, eu pensei: “Não me interessa”. [risos] E agora, quando volto à CLI, penso: “Como eu trabalhava assim?”. Agora já não penso em prompts. Tenho tópicos fixados ou tarefas e continuo fazendo perguntas e atualizando tudo.

06:46 Quando trabalho em algo maior, uso a sessão em que estou trabalhando como meu orquestrador. Só digo: “Ei, crie worktrees e depois use o Codex para dividir isso em tarefas”, e então essa sessão pode orquestrar outras 10 sessões do Codex, acompanhar o que elas estão fazendo, reunir o trabalho e talvez criar dois, três, quatro, cinco ou seis PRs. Então os agents ficaram tão bons que agora também podem ser seu orquestrador. Isso é um…

07:17 …loop? Sim. [risos] Mas, sim, começou mais ou menos assim: “Ah, agora isso me acelera um pouco. Não preciso pesquisar, ou consigo uma resposta qualitativa para uma parte da tarefa que estou tentando fazer”. E agora parece que você veste um jetpack e sai voando a 10 mil milhas por hora, fazendo coisas que antes nunca conseguiria fazer. Então, sim, a mudança aconteceu muito rápido. >> E por que ainda digitar, não é? Agora você tem… Quer dizer, já tínhamos voz, mas ela ainda era convertida em texto e aí eu apertava…

07:49 …Enter. Agora uso a voz do TPD, falo com ele e ele pode orquestrar minhas sessões, fazendo isso em linha. Se for algo mais complexo, faz isso na barra lateral. E ainda acho que estamos no começo. Ainda é texto demais. >> Uhum. Talvez eu possa dizer rapidamente que, na Data Bricks, nossa resposta a essa questão — que é muito parecida com várias coisas que vocês estão comentando — é que somos grandes fãs do CEX, então costumamos usar o app do Codex ou o Codex…

08:20 e o app ChatGPT, mas acho que, para nós, a maior mudança no passado recente é ir além de simplesmente escrever código, que era o que as pessoas faziam com essas ferramentas agentic, e passar a, por exemplo, no espaço de plataformas de dados, manter pipelines de dados funcionando e lidar com problemas operacionais, observá-los e perceber: “Nossa, tivemos um estouro de custos aqui” ou “esses dados estão atrasados”. Eu chamaria esse tipo de desafio de observabilidade e operações, e muito do trabalho que estamos

08:51 fazendo agora na Databricks é liberar agents para realizar esse tipo de trabalho, que é, na verdade, um pouco diferente de “estou criando um recurso de código agora e adicionando uma funcionalidade específica”. É esse tipo de trabalho horizontal e interminável de operações. Acho que, para nós, uma fronteira que estamos vendo é justamente a capacidade desses agents de assumir responsabilidades horizontais por períodos muito longos. Na verdade, eu queria perguntar a vocês se também veem isso na OpenAI, quando pensam em algo além de, digamos, criar um recurso de código e passam a fazer algo por um longo período. É

09:22 É meio surreal na OpenAI: não há uma única reunião, evento, crise ou qualquer outra coisa em que Codex ou agents não estejam envolvidos. É como se você tivesse uma pergunta sobre dados e soubesse que o Codex vai examinar todas as tabelas necessárias na Databricks e todo o lake, processar tudo e combinar isso com algumas informações que tem sobre o negócio, como ele funciona e toda a sua semântica. Depois, sintetiza tudo isso em um relatório em uns cinco minutos. E é assim que fazemos

09:54 isso. É assim que obtenho respostas para todas as perguntas de negócio que tenho sobre a OpenAI: com o Codex. E, quando temos SEVs, o Codex costuma resolver a maioria delas. Ou, quando fazemos deploys e queremos, por exemplo, lançar a nova voz no app do ChatGPT, não é um funcionário da OpenAI que vai lá e altera para 10% no Statsig e depois para 20%. O Codex simplesmente faz o lançamento ao longo de um dia.

10:24 E acho que isso mudou muito, muito rápido, e agora já estamos tão acostumados. Também estamos entrando em outra camada de delegação, em que você observa isso e outro agent fica observando o primeiro; então, de repente, você está automatizando, com o tempo, uma parcela cada vez maior da sua organização. >> Quer dizer, uso isso o tempo todo. Tenho uma sessão de longa duração que monitora um workflow que fiz deploy no GitHub, só para ver se é eficiente e se há algum problema. E

10:54 ela é ativada a cada 10 minutos para verificar como está. Usei o GitHub como banco de dados e armazenei todos os resultados lá. Ontem, ela me avisou que agora são 30 GB e que esta parte da subtarefa está lenta, além de recomendar uma solução. Então, você simplesmente tem isso — e era só um prompt. A sessão foi aprendendo à medida que avançava e conforme eu a orientava. Mas é realmente só a sessão monitorando meu deploy. Peter, com toda essa automação agentic,

11:25 automação agentic, o que sobra para o desenvolvedor? Qual você acha que é o papel do desenvolvedor? >> Bom gosto e criatividade. Você ainda precisa saber o que quer. Quer dizer, pode perguntar a um modelo, mas, geralmente, isso não vai resultar na opção mais bem-sucedida. >> Tenho curiosidade: você vê isso como uma situação em que uma parte do trabalho é especificar? Acho que é aí que entra o bom gosto: o que deveria ser feito aqui? Depois, há os aspectos práticos: como estão sendo construídos os componentes internos? Está funcionando ou não? Na sua opinião, até que ponto chegamos

11:56 na visão de vocês sobre os desenvolvedores estarem, neste momento, apenas no negócio de especificar, em vez de ainda precisarem entender de verdade detalhes intrincados de arquitetura e coisas do tipo? >> Acho que essa sempre foi a evolução natural, se você observar os engenheiros de software em grandes empresas de tecnologia. É a evolução do que se espera de alguém ao longo de uma carreira normal. Quer dizer,

12:26 você começa como colaborador individual, trabalhando diretamente no teclado e programando todos os dias. Depois, cada vez mais, talvez trabalhe com outros engenheiros um pouco mais juniores, ensine a eles como trabalhar com a base de código e os oriente. Aí, de repente, você se vê como tech lead, escrevendo documentação e planejando um pouco mais as coisas.

12:56 Depois, talvez evolua para a função de TLM, em que a maior parte do seu tempo é dedicada a conversar com as pessoas e escrever documentação. >> [risos] >> Mas também… >> Acho que isso é natural. >> Como engenheiros, sempre criamos automações. Sempre criamos coisas para nos ajudar a fazer mais em menos tempo. E agora é só pensar em qual é a melhor maneira de usar toda essa inteligência — isso é apenas automação. A diferença é que agora temos ferramentas mais poderosas, e uma única pessoa consegue fazer

13:27 ainda mais. É como ter uma ideia e pensar: “Ah, eu nunca teria feito isso porque teria levado dois dias, mas agora é só dizer: ‘Faça’”. >> Se alguém me pergunta: “Ei, não seria legal ter essa funcionalidade?”, fico meio irritado, porque [risos] por que simplesmente não criar um protótipo no Codex? Não importa se talvez ele leve dois dias para rodar e não esteja completamente pronto, então talvez não seja exatamente o que você quer. Ainda assim, dá para experimentar. E depois me perguntar: “Ei, não seria legal ter isso?”

13:58 E eu posso clicar e explorar, e imediatamente tenho uma ideia muito melhor do impacto que isso teria na base de código e de como poderia ficar. Nesta nova era, a coisa mais importante que temos é a atenção. Então, com todas essas ferramentas melhores, podemos nos preparar muito mais antes, para que, quando eu precisar pensar sobre algo, tenha mais contexto e possa tomar decisões melhores mais rápido. >> Acho que isso faz bastante sentido. Quer dizer, na Databricks, ninguém está mais empoderado do que nossos gerentes de produto hoje em dia, porque

14:29 o jeito antigo seria, talvez, criar uma representação visual bem estática de uma ideia e tentar convencer uma equipe de engenharia a considerar o que você quer construir. Mas agora, como você disse, o jeito padrão de propor ideias é alguém — engenheiros, gerentes de produto ou qualquer pessoa da empresa — criar um protótipo com muitos recursos. Para mim, o principal aprendizado foi perceber como o jeito de fazer isso no passado era pouco especificado,

15:00 porque, no máximo, talvez pudéssemos apresentar alguns workflows, algumas imagens estáticas ou algo assim. Mas se perde muita riqueza quando se tenta descrever uma ideia desse jeito, em comparação com simplesmente entregar um protótipo. E talvez até seja um eufemismo chamar muitos deles de protótipos: são bastante funcionais, mesmo quando o Codex os cria em poucas horas. É uma maneira totalmente nova, basicamente, até de decidir o que construir.

15:31 E, pela minha experiência, obviamente é muito melhor do que era no passado. Você sabe que, às vezes, a melhor maneira é: quando você está em reuniões, eu aperto o botão de gravar enquanto conversamos, e aí o Codex recebe toda essa conversa divagante e simplesmente começa a construir. Você não podia fazer isso seis meses atrás, mas agora os modelos são muito bons em converter toda essa conversa em intenção, na intenção que transparece. E muitas vezes, se você simplesmente

16:02 der cada vez mais informações, mesmo que partes da composição não tenham absolutamente nada a ver umas com as outras, vai conseguir um resultado melhor. >> Sim, vimos isso nos modelos ao longo do tempo. Agora, você fica realmente surpreso: basta ficar divagando para ele, e ele entende a intenção. Há três meses, isso não teria sido possível. >> Sim. >> Mas, voltando ao que você disse, acho que estão surgindo dois tipos de software: software pessoal e também software efêmero, em que você não está mais compartilhando um mockup estático. Você simplesmente

16:34 cria rapidamente um protótipo completo e depois o compartilha. Ou então está criando software só para você, que na verdade não quer compartilhar. É algo que executa uma tarefa. Talvez faça isso por alguns dias, uma semana ou um mês. Talvez você o mantenha, talvez não. Mas é praticamente de graça, e não há vontade de transformá-lo em uma ferramenta compartilhada ou em infraestrutura, nem de mantê-lo para outras pessoas. Não é algo muito pessoal; ou é efêmero, só para provar um ponto ou transmitir uma ideia, sabe? E isso é algo que definitivamente não era

17:05 possível antes. Estamos vendo isso com sites, sites TGD. Você pode simplesmente pedir ao Codex ou ao Tagged Work para criar um site e depois compartilhá-lo, e muitos protótipos estão sendo compartilhados assim na OpenAI. >> É ótimo. Há um ano, talvez você recebesse um briefing por e-mail, e agora recebo uma página HTML muito bem projetada. Ela tem tudo de que você precisa para o cliente, e é realmente muito agradável de ler. Então, sim, cada dia fica melhor por causa

17:35 disso. >> Quando todo mundo está experimentando assim e avançando muito rápido, o que é ótimo, como você pensa em governar tudo isso, primeiro no nível do desenvolvedor e depois, quando colocam em produção, no nível da organização? >> Sim, sim. Talvez eu possa falar sobre o que temos observado, e adoraria ouvir também o pessoal da OpenAI. Vemos totalmente esse padrão que você mencionou, TBO: as pessoas têm seus próprios recursos pessoais e conseguem criar softwares altamente personalizados, o que é realmente incrível, porque cada um quer trabalhar de maneiras um pouco diferentes ou tem problemas um pouco diferentes que está tentando resolver. Mas uma coisa…

18:05 Um desafio que enfrentamos no início, sobre o qual temos pensado bastante, e sei que a OpenAI também está analisando questões nessa área, é: digamos que você tenha 10 mil funcionários, que é o nosso número na Databricks, e eles queiram implantar seus próprios componentes de software pessoais. Alguns podem rodar nos dispositivos pessoais deles, mas outros querem que, sabe, fiquem funcionando o tempo todo. E, francamente, queremos que rodem em algum lugar seguro, onde esse software, por definição, possa acessar dados bastante valiosos, se for

18:35 ser algo realmente útil. Então, criamos diferentes mecanismos internamente, alguns dos quais também estão nos nossos produtos, para, sabe, colocar essas coisas em sandbox, observar o comportamento delas, restringir as permissões e assim por diante. Mas estou curioso para saber se vocês analisaram isso ou como pensam a respeito quando esse software está acessando dados muito sensíveis. >> Sim. Certo. No momento, os sites não oferecem suporte à leitura dinâmica de dados. Então, você empacota tudo como parte de um site.

19:06 Ele fica totalmente em sandbox. O acesso é restrito por padrão. Só o criador tem acesso e, depois, você tem todos os controles RBAC a que está acostumado. Pode compartilhar com uma equipe ou com outras pessoas. E, como os agents modernos, sabe, os modelos 5 e 6, são tão capazes, conseguem ler tantos dados, reorganizá-los e transformá-los, você não sabe muito bem de onde esses dados vieram nem o que há no conteúdo. Então, é preciso ter muito

19:37 cuidado com a forma como você gerencia o acesso. Por padrão, o acesso fica totalmente em sandbox e é muito restrito; depois, os usuários decidem se querem compartilhar um pouco mais. >> Sim, legal. Eu diria que estamos apenas começando nessa área, mas uma coisa que também criamos é um sistema em que todo acesso desses softwares pessoais a um sistema de negócios é mediado por um proxy. Basicamente, chamamos isso de nosso AI gateway. Assim, conseguimos, sabe, o OOTH oferece muito em termos de, por exemplo, você

20:07 poder dizer: “Certo, talvez uma pessoa comum possa ter acesso de leitura, mas não de gravação; os agents dela talvez também possam ter acesso de leitura, mas não de gravação, a sistemas críticos, para que não possam apagar um monte de coisas se houver um erro”. Mas, mesmo assim, queremos observar situações como: “Ué, de repente esse agent pessoal leu 15 mil documentos em uma hora”. Isso não é um comportamento normal. Então, isso se tornou uma questão interessante de segurança e governança: como tratar esses pequenos componentes pessoais de software agêntico

20:38 de software, porque eles não são bem… O modelo de segurança não se encaixa perfeitamente se os tratarmos como aquela pessoa, pois talvez sejam um pouco menos confiáveis do que ela. A pessoa pode ter boas intenções, mas acidentalmente codificar algo inadequado no agent. Mas eles também não são realmente parecidos com aplicativos empresariais de terceiros propriamente ditos. Então, acho que temos pensado bastante em como lidar com isso quando você automatiza muitos workflows úteis na empresa e talvez dados sensíveis sejam acessados.

21:09 E sei que você também tem pensado em coisas nessa linha, Peter. >> Quer dizer, a única maneira de fazer isso é governar a inteligência com inteligência. Se você observar padrões de rede e algo incomum for sinalizado, talvez uma pessoa possa analisar. Tenho situações em que as pessoas me mandam uma mensagem e perguntam: “O que isso está fazendo?”. E eu fico: “Ah, o que isso está fazendo mesmo?”. >> Sim, concordo. Acho que é preciso haver uma camada constante de monitoramento e inteligência, verificando se os

21:39 agents estão fazendo coisas que parecem razoáveis ou talvez menos razoáveis, e talvez emitindo alertas, bloqueando comportamentos ou, pelo menos, fazendo perguntas se algo estranho estiver acontecendo. >> Quando lançamos o Codex, originalmente havia dois modos. Eu tinha o modo de sandbox completo, que pede sua permissão para tudo, e depois o modo de executar, sabe, o que também chamávamos de “YOLO”: executar totalmente fora do sandbox, o que não recomendamos. Acesso completo ao sistema de arquivos, acesso completo à internet, sem supervisão humana, nenhuma supervisão. E, com os modelos ficando cada vez mais…

22:11 Quanto mais capaz, maior também é o risco em geral. Talvez, por engano, ele faça alguma coisa ou se interesse por algo que não deveria ler, e, de repente, comece a fazer algo e saia dos trilhos. Então, com o aumento das capacidades, é muito importante ter essa outra camada de inteligência: outro agent que monitore o agent principal. Há várias maneiras de fazer isso, mas criamos esse modo de revisão automática, que é essencialmente um agent completo que analisa toda a trajetória, todas

22:43 as chamadas de ferramentas e se certifica de que nenhum risco desnecessário esteja sendo assumido. E, voltando ao que você disse, acho que os gateways também estão se tornando um ponto único de controle, por onde todos os dados passam. Eles são uma excelente maneira de fazer isso também. >> Sim. E me parece que é preciso uma abordagem de tipo queijo suíço. Nenhum desses mecanismos, sozinho, será à prova de falhas. Mas, se você sobrepuser os mecanismos, talvez tenha um firewall de rede básico e sandboxing. Assim, não dá simplesmente para enviar dados para fora, e talvez você também tenha um pequeno supervisor

23:14 local analisando quais chamadas de ferramentas estão sendo feitas. E talvez também tenha um gateway que faça uma análise de correlação entre agents. E você reduz o escopo das permissões. Nenhum desses mecanismos é perfeito, mas acho que, se combiná-los, acaba com algo bastante robusto. >> Ter defesa em profundidade é sempre a abordagem certa, na minha opinião. >> Sim. Humanos também podem cometer erros. Então é preciso garantir que haja camadas suficientes. Até mesmo aquela coisa de revisão automática: quando ouvi que isso seria ativado por padrão, pensei:

23:45 “Ah, vai ser muito irritante.” Mas agora estou meio que feliz, porque é uma camada adicional. Se eu fosse fazer algo sem pensar, o sistema entraria na minha cabeça e perguntaria: “Tem certeza mesmo?” >> Sim, sim. E acho que eles estão evoluindo para serem muito melhores. A usabilidade de algumas das primeiras versões… era algo como: “Ei, tudo bem executar este comando bash, Patrick?” E ele me mostrava um comando bash de, sei lá, 100. >> Ele mostra um comando bash deste tamanho. É. >> E eu penso: não tenho a menor chance de entender esse comando bash, muito menos de analisar suas propriedades de segurança.

24:17 Então, sinto que estamos avançando bem rápido para técnicas muito melhores do que essa. >> Quero mudar para outro assunto, um pouco diferente: operar em escala. Falamos bastante sobre quem cria, sobre avançar rápido e criar agents. Muitos clientes estão pensando agora: se quero escalar, não quero ter que reconstruir uma estrutura de suporte toda vez, certo? Acho que essa é uma pergunta muito em alta agora: qual é a stack agentic? O que é necessário para conseguir construir em escala? Queria saber a opinião de vocês sobre isso. Talvez, Tibo, possamos começar por você e depois passar pelos outros também.

24:48 >> Existem diferentes níveis de investimento. Acho que, muitas vezes, o melhor retorno pelo investimento é simplesmente dar a todos acesso a um agent bem configurado, com acesso aos dados certos dentro da empresa. Se você não o conectar a nenhuma fonte de dados… Por exemplo, meu canal favorito no Slack é aquele em que temos esse agent conectado ao Databricks. É só perguntar o que quiser, mas

25:19 ele também tem acesso aos negócios da empresa, a alguns documentos e ao Slack. Então, acaba tendo um conjunto bem amplo de informações, e posso fazer perguntas muito sofisticadas. Se não tivesse acesso a esses dados, obviamente não seria muito útil. Dar a todos acesso a um agent que possam configurar e que a empresa tenha configurado é muito importante. Depois, você chega a níveis de automação em que quer executar um harness. É como executar o backend na sua infraestrutura, sem que ele seja sequer gerenciado por pessoas específicas ou acionado por prompts de pessoas específicas. Há muitas maneiras diferentes de fazer isso; OpenClaw é ótimo nisso. Estamos vendo implantações empresariais muito bem-sucedidas. Também temos o harness do Codex, que é totalmente open source. Mas estamos fazendo muitas coisas open source. Em geral, isso passa por um período de experimentação, eu diria, até mesmo dentro das empresas, com routers na frente, gateways e diferentes maneiras de

25:49 obter acesso a plugins — os plugins estão se tornando uma especificação aberta da qual estamos participando. Então, trata-se de obter acesso ao contexto e conseguir conceder as permissões para agir. Isso ainda está em desenvolvimento, mas acho que essa é, mais ou menos, a stack que está surgindo. Sim, acho que os harnesses — falando como usuário — são tão poderosos que estão quase se tornando parte da documentação dos nossos aplicativos internos na Databricks. E é aí que o fato de o Codex ser open source é realmente incrível, porque voltamos à ideia de que, se você está apostando em uma parte essencial da infraestrutura, quer saber que ela continuará disponível. Estamos fazendo apostas para vários anos e talvez até estejamos construindo partes de uma stack de engenharia de produção em cima de um harness como esse. Talvez você não usasse a palavra harness. Não sei se estou usando a linguagem adequada, mas o fato de ser open source e ter uma licença permissiva foi enorme para nós na Databricks, porque nos permite saber que não será algo

26:20 que, de repente, tenha a licença alterada um dia e faça a empresa inteira ter que parar por causa de alguma mudança ou renegociação da licença. Então, acho que essa é uma área em que vocês têm sido verdadeiros líderes. O OpenClaw, obviamente, desde o começo… se entendi direito, Peter, era open source, certo? E então… >> Acho que o primeiro commit que fiz foi a licença MIT. >> Sim, exatamente. Acho que vocês têm sido verdadeiros líderes nisso e, para alguém que constrói em cima, isso é muito importante para nós na Databricks.

26:51 >> Sim. E o que acho fascinante é que você tem o código do próprio agent, o harness, e também tem o agent. E, se quiser fazer um fork e modificá-lo, é só ir lá e fazer. Está tudo disponível. Você pode personalizá-lo. Estamos vendo muitos forks e implantações bem-sucedidos. >> Nossas melhores ideias vêm daí. Acho que o SLGO veio do Froex. >> Esse é um fork interno. >> Sim, sim. Eu ia perguntar: isso é

27:22 o nome de uma pessoa? Porque quais são as chances? >> Não, não, não. Tenho o Claudex, onde brinco com ideias, porque nem toda ideia acaba entrando no produto principal, certo? Você meio que… Às vezes, acha que algo seria legal, mas depois não usa, e não quer criar um produto com mil funcionalidades que não foram bem pensadas. Então, a melhor maneira de descobrir é experimentar, e é muito fácil brincar com isso: o Codex modifica o Codex, e aí eles podem ajustar.

27:55 >> Sim. E então, o que eu acho fascinante é isso: você tem o código do próprio agent, o harness, e também tem o agent. E aí, sabe, se quiser fazer uma bifurcação e mudar o código, é só ir lá e fazer. Está tudo ali. Você pode personalizá-lo. Estamos vendo muitas bifurcações e implantações bem-sucedidas. >> É daí que vêm nossas melhores ideias. Acho que o SLGO veio do Froex. >> Essa é uma bifurcação interna. >> Sim. Sim, eu ia perguntar: isso é

28:26 o nome de uma pessoa? Porque, assim, quais são as chances? >> Não, não, não. Quer dizer, eu tenho o Claudex, onde experimento ideias, porque nem toda ideia acaba entrando no produto principal, certo? Você meio que… às vezes pensa que algo seria legal, mas depois não usa, e não quer criar um produto com mil recursos que não foram bem pensados. Então, a melhor maneira de descobrir é experimentar, e é muito fácil brincar com isso: o Codex modifica o Codex, e aí eles podem ajustar.

28:56 >> Então, conversamos sobre como as pessoas estão construindo. Você pode me contar um pouco sobre os principais casos de uso que está vendo? Em que áreas os clientes estão tendo sucesso? >> Acho que a grande mudança é que já não se trata de um agente de programação. As pessoas estão percebendo o quanto mais podem fazer. Ele me ajuda em cada etapa da minha vida. Por exemplo, automatizo coisas para receber todo dia de manhã um e-mail com as coisas mais importantes. Uso para gerenciar infraestrutura. Claro que também programo, mas às vezes simplesmente peço para ele…

29:29 …me explicar alguma coisa; aí ele consegue visualizar coisas para mim, e eu posso torná-las interativas. É quase como uma enciclopédia universal, quase como o Google. >> É… [risos] Exatamente. É, quando começamos com o Codex e os agentes de programação, tudo girava em torno de programação. Depois, percebemos que os modelos são muito mais generalistas e que dá para fazer qualquer coisa com eles. Se você os conectar às fontes de dados certas por meio de plugins e com o Codex, como vimos, isso…

30:00 …realmente decolou, e agora temos mais usuários não técnicos usando o mesmo agent. Nos bastidores, o Codex usa o mesmo agent. É o mesmo harness do Codex, com os mesmos recursos e plugins. Mas nós o empacotamos de uma forma muito mais fácil de entender e também segura para o uso diário de qualquer pessoa. Agora temos mais usuários não técnicos dessa tecnologia do que usuários técnicos. Vamos continuar avançando nessa direção. Acho que ela é muito empoderadora para todos, em toda a organização…

30:32 …assim, você tem um pequeno assistente pessoal no bolso. Ele funciona no celular, na web e no aplicativo para desktop. Dá para pedir praticamente qualquer coisa. Acho que você pode ser muito ambicioso e, muitas vezes, acaba se surpreendendo: “Ah, ele consegue mesmo fazer isso”. Por isso, quer dizer, vou continuar chamando de Codex, mas a mudança de nome fez sentido: basicamente, eu o uso como outras pessoas usam o ChatGPT. E agora as pessoas estão descobrindo essa pequena aba entre chat e trabalho. O trabalho oferece uma máquina realmente poderosa, com…

31:02 …o Codex nos bastidores. Se você tiver todos os seus conectores configurados, terá uma máquina remota na qual poderá executar qualquer coisa. >> É. Legal. Bem, vou terminar dizendo que talvez tenhamos visto algo muito parecido. Acho que a produtividade interna é, obviamente, um caso de uso enorme, muito facilitado por esses modelos. Mas também estamos vendo nossos clientes criarem aplicações externas que são, elas próprias, agênticas; algumas podem até usar harnesses por baixo dos panos. E eles estão migrando para isso até mesmo a partir de seus próprios ciclos de agent personalizados…

31:33 …dentro dos aplicativos. Então, é uma época realmente empolgante; as coisas estão avançando muito rápido. E obrigado a vocês dois por participarem. Agradecemos muito. >> Obrigado. Obrigado pelo convite.

Transcrição original

[00:01] Hi everyone, welcome and thank you for joining us. Today we’re going to talk about Agentic applications and what it takes to move from experiments to build, deploy, orchestrate and govern them at scale. So what are Agentic apps? Across nearly every industry, teams have started with single turn agents for things like AI assistance for specific and and and somewhat narrow tasks. And now they’re moving towards building and deploying fleets of agents. So these are full

[00:31] agentic applications that can handle complete business processes from customer service to claims processing and more. And this is where things get interesting. Um, it gets complicated because you’ve built once and you created the agent loop. But then each agent has to connect to models, harnesses, and other agents and then the business data that sits in databases and external systems. And then once you deploy, you’re managing access and monitoring performance. And you don’t want to have to rebuild the scaffolding

[01:03] each time you get to an agent in production. So, while building Agentic apps is getting easier, the real question is how you move from one-off builds to something much more repeatable. And that’s really the shift we’re focused on today. It’s not just the building part, but really operationalizing Agentic apps in production. At Data Bricks, we make this happen through choice, context, and control. And so choice is really the freedom to

[01:33] use the best model or agent or harness MCP or the tool for the job. Context is really building agents that know your business data and they know the context and that’s really the way that they’re most useful um right away. And then the third area is control and this is providing governance, cost controls and observability. AI governance in particular has been top of mind for our customers. You know, your teams are building and they’re using a lot of AI more than ever before, but the governance and the visibility

[02:03] into AI usage and spend has just not kept up. And that’s why today we’re excited to announce the general availability of Unity AI gateway. This is a major milestone in our vision for AI governance on data bricks. And with Unity AI gateway, you get a single governed AI control plane. So what does this mean in practice? So Unity AI gateway gives you one governance layer for multiAI. So this means that you can use the best model or

[02:34] agent harness for each task. These are natively hosted frontier models through to the latest open source models and frameworks and you can use whatever comes next without rebuilding controls for every provider or tool. Unity AI gateway helps you control costs. You have access policies, guardrails, spend management tools, things like budgets, alerts, and caps. And it provides end toend observability into which models and agents are used, which tools they call and where latency and cost are coming from. And this

[03:04] really helps you optimize and ensure continuous improvement. With general availability, you can now use centralized governance for foundational models and MCP servers for Google Drive, GitHub, SharePoint, Atlassian, Slack, and all the tools that you typically use for business. Plus, you get built-in cost controls and full lineage and audit trails. And this really helps you move from experimentation to production scale AI. So we have an exciting agenda lined up for you today. We’ll start with a Q&A featuring Patrick Wendell, co-founder of

[03:36] data bricks and leader of our AI engineering team. And he’s joined by Peter Steinberger, the creator of OpenClaw and a member of the technical staff at OpenAI, as well as Tibo Sato, who leads Codeex development at OpenAI. Then Amber Roberts will show you how to build and deploy an Agentic apps on data bricks. And we’ll hear from Hugo Sicher. He’s the head of Agentic AI at Stalantis, a leading global manufacturer behind brands you know like Jeep, Chrysler, and Dodge. So a lot of big topics to cover. Let’s dive in.

[04:10] So first let’s talk about the evolution of building. With the explosion of coding agents, agent harnesses, orchestration frameworks, the way developers are building has fundamentally changed. Tibon, maybe we can start with you. How have you seen development evolve and what’s the new paradigm? >> It’s evolved very quickly. I feel um one silver lining to me is like humans adapt very very fast. Uh like even like a year year and a half ago, I remember

[04:41] like people always elided. I was just like I can ask Chachi PT about like a coding question you know maybe I copy paste it then autocomplete became very efficient as well like um folks were like spending time in their IDEs and getting better and better autocompletes and it was like autocompleting entire files at some point and then now we’re like in the aentic era where you’re just sort of like delegating to an agent that does like most of the work and then goes much more beyond just the programming as as well like just basically like just

[05:12] goes and and understands a lot of like the requirements, a lot of the world around it. Um, and then it just like thinks through the entire thing like just very much like a human does like when you delegate to another human. And then now we’re like you know into like exploring an entirely new realm which is like you know entire factories where you know you have multiple agents automatically like also delegate to each other and like you’re plugging them in the right systems and then now you’re not actually as as as the user you know necessarily delegating the things. There’s like very very fast evolution

[05:42] from you know the very beginnings of like you know having like an intelligent thing a chatbot that you can just ask questions to like now it’s like okay it’s like a lot of software is being written automatically and you know maybe you don’t even review all of the code anymore. >> We had a year ago we had the CLI and you had to be careful to clear the session um and like you made multiple multiple terminals. Well, like over the last 6 months, so much changed. I would say, yeah, a year,

[06:13] maybe even. Um, now you don’t you don’t have to care about compaction anymore, right? It like I used to I used to be the biggest CLI fan. When they they told me about the app, I like I don’t care. [laughter] And now like I when I go back to the seal, I’m like, how did I work with this, you know? Now, now like I I don’t think in in prompts anymore. like I just have my pinned topics or like tasks and then like I keep I keep asking question updating it. Um

[06:46] when I work on something bigger I use the session where I work in as my orchestrator. I just tell it, hey, create work trees and then like use codex to to pile it up into tasks and then like this session can orchestrate like 10 other codec sessions and then and then watch what they’re doing like pile the work together and then maybe create two, three, four, five, six PRs. So, so like it really got agents got so good that they now can be your orchestrator at the same time. Is that a

[07:17] loop? Yeah. [laughter] But yeah, it kind of started like it was like, oh, it accelerates me a little bit now. I don’t have to search or like, you know, I get like a qualitative, you know, answer for like, you know, part of a task that I’m trying to and now it feels like, you know, you’re putting this jetack on and you’re you’re going like 10,000 miles an hour and you’re doing things you were never able to do before. So, it’s Yeah. Change very quickly. >> Also, why even type anymore, right? Now you have I mean we used to have voice already but it it would still be it will still convert to text and then I press

[07:49] enter and now I use TPD voice and I just talk to it and it can orchestrate my sessions and it could do it in line. If it’s more complex it like does it in the sidebar. Um and I still think we’re early. It’s still it’s still too much like like text. >> Mhm. Maybe I can quickly say at data bricks um our answer to to that question which is really similar to a lot of the things that you all are talking and obviously we’re big CEX uh fans so we’re often using the Codex app um or the the Codex

[08:20] and the Chachupt app but um I think for for us the biggest change in the the recent past is moving beyond just code authoring as what people are doing with these agentic tools to actually having you know in the data platform space for instance just keeping data pipelines up and running and dealing with operational issues and observing them and seeing oh my gosh we had a cost overrun here or this data is late. Um I I would call those kind of observability and ops type challenges and a lot of the work we’re

[08:51] doing now at data bricks is is unleashing agents to do that type of work which is actually sort of different than hey I’m building a code asset right now and I’m adding a particular feature. It’s this horizontal kind of like neverending ops type uh type work and I think that’s for us a frontier that we’re seeing is just the ability of these agents to have very longunning horizontal responsibilities. I I was actually curious to ask you guys if you see that as well inside of OpenAI as you look at more than just like let’s say authoring a code asset but doing something over a long period. It’s it’s

[09:22] it’s kind of surreal at opening eyes like there’s not a single meeting or event or crisis or anything where you know codeex or agents are not involved. It’s like you you have a data question is you know it’s going to be codeex is going to go and look at you know all the tables needed bricks and like the full lake and then you know like process it all combined with like some information that it has about the business how it works like the semantics of it all and then synthesizes all of that um in like a report and it does that in like five minutes and you know that’s how we do

[09:54] that that’s how all business questions that I have about um you know openi like get answers just like codeex um and then like when we have SESS it’s like you know well Codex goes and like solves it most of the time um or you know when we do deploys and we want to for example we deployed uh the new voice in the TJ app it’s like it was not it was not like an openi employee that went and you know entered like 10% in stats sig and then 20% it’s like it was just like codex rolled it out over the course of a day

[10:24] um and that I think that changed like super super quickly and now we’re so used to it um and then we’re also entering like I think another layer of delegation where you like you watch this and then it’s like another agent is actually watching the other agent and then now suddenly you’re like automating a bigger and bigger chunk of your organization over time. >> I mean I use this all the time, right? I have like one long running session that monitors a workflow that have deployed on GitHub just to see like is it efficient? are there any problems? And

[10:54] like it wakes up every 10 minutes and checks on it and like it I I I used GitHub as a database and like stored all the results and it it it yesterday it warned me that that’s now 30 GB and and this and this part of the subtask is now slow and recommended me like as resolution. So you just have and that was just a prompt you know like it it the session learned as as it went along and as as I steered it but it’s it’s really just the session that’s not monitoring my deployment. So Peter with with all of this automation this agentic

[11:25] automation what’s left for the developer what do you think is the role of the developer >> taste creativity like you still need to know what you want like I mean you can ask a model but like that’s not going to usually not going to be what’s going to be most successful >> I am curious like do you view it as you know there’s some amount of the job that’s like specification I think that’s where taste is coming like what what ought to be done here um then there’s there’s the actuals of like hey you know h maybe how are the internals being

[11:56] built is it working is it not working where do you think how far are we in your guys view of like developers are just merely in the business of specification at this point uh versus like um you know they’re still having to really understand intricate details about architecture and so on so forth >> I think that was always like the natural like um if if you look at software engineers in like large tech companies. It’s like the evolution of um you know

[12:26] what you expect from someone in like a normal career evolution. It’s like you know that you start you’re an IC hands on keyboard you’re coding every day and then like more and more you’re like you know maybe you know you’re working with other um engineers that started bit more junior you tell them you know like how to work with the codebase and you know you coach them and then suddenly you know you find yourself like being a tech lead and you know you’re writing docs and um you know you’re planning things a

[12:56] little bit more and then you know you evolve into like maybe like the TLM role you know where like the majority of your times just like talking to people and writing docs. Um, [laughter] >> but also >> I think that’s like a natural >> also as an engineer we always built automations. We always built things that like help us get more stuff done faster. And now just like like thinking what’s the best way to use all this intelligence that’s that’s just automation. It’s it’s just now that we have like more powerful tools and like a single person can do

[13:27] even more. It’s like you have this idea and you’re like, “Oh, it’s like I would have never done this because this, you know, would have taken me two days, but you know, now it’s just like, you know, it’s like, yeah, like do it.” >> Like if if someone someone asks me, “Hey, wouldn’t this feature be cool?” I I kind of get mad because like [laughter] like why wouldn’t you just build build a prototype in Codex? >> Like it doesn’t matter. Like, okay, maybe it runs for two days and it’s like it’s it’s unsealed, so it might not be exactly what you want, but you mean you can like try it out. And then like and then asked me, hey, wouldn’t that be

[13:58] cool? and I can click around and I immediately have a much better idea how big how big of an impact would have on the code base how could that look like uh you know we have to in this new and age the the most important thing we have is attention so with all these better tools we can do much more preparation ahead so that when when when I have to think about it I have more context and I can make [clears throat] better decisions faster. >> I think this is yeah it resonates quite a bit. I mean at data bricks no one is

[14:29] more empowered than our product managers these days because you know the old way would be like okay maybe you make a visual a very static visual mockup of an idea and you try to convince you know some engineering team to to look at what you’re interested in building but now as you’ve said like just the standard way of proposing ideas is to go and build a pretty featurerich prototype from engineers PMs or or anyone in the company and for me the main thing the main takeaway for me has been that I’ve realized how underspecified in the p the

[15:00] past way of doing it was you know like um just because at best we could maybe give a few workflows or give some static images or some but there’s so much richness that’s lost when you attempt to describe an idea in that way compared to like just delivering a prototype and I mean prototype is even maybe underelling it a lot of these are like fairly functional even even being delivered by by codecs over the period of a few hours um it’s just like it’s a whole new way of basically even deciding what to build

[15:31] and it it’s obviously so much better than it was in the past is my experience. you you know that the best way is like sometimes when you have meetings I’ll I’ll press my my my record button while we talk and then like Codex gets all this rambling and like just start building and that you couldn’t do this six months ago but now the the models are are so good at converting this full bar stuff into into like the intent the intent that comes out. Um and many times if you just if if you just

[16:02] give them more and more even even if parts of the composition are completely unrelated um it’ll get you the better result. >> Yeah, we we’ve seen this with models over time like now it’s like just really you you’re very surprised that you just like ramble at it and it’s like okay you actually understood the intent. It’s like it’s like three months ago that would not have been possible. >> Yeah. >> But back to your point is like I think there are two kinds of software that’s like emerging. It’s like a personal software and also ephemeral uh software where like you’re not sharing like a static mockup anymore. You’re like just

[16:34] quickly getting a full prototype going and then you share it. Um or you’re just building software just for yourself which you don’t actually want to share. It’s just like it’s doing like one task. Maybe it’s doing it for a couple of days or like a week or a month. Maybe you maintain it, maybe you don’t. but it’s like almost free and there’s like no desire to actually like make this into like a share tool or infrastructure and maintain it for others. It’s like not a very personal thing or it’s ephemeral just to prove a point or exchange like you know get an idea through and this is something that was definitely not

[17:05] possible before and like we’re seeing um with sites uh TGD sites is like you know you could just ask uh codeex or tagged work to like create a site and then share it and a lot of like the prototypes are being shared like this at openai >> it’s great like I I used to you know a year ago maybe you got a briefing via email and now like I get a I get an HTML page like a really well designed. This is everything you need to the customer and it’s kind of like it’s it’s really nice to to read. So like yeah, it makes every day every day is better through

[17:35] that >> when you have everyone experimenting like this and they’re moving really fast which is great. How do you think about governing all of this first at the developer level and then as they’re deploying it in production at the org level? >> Yeah. Yeah. Maybe I can I can talk about what we’ve seen and I would love to hear from the OpenAI crew as well. Like we absolutely see this pattern TBO you mentioned of of people have kind of their own personal they can build such highly customized software which is which is really amazing because everyone wants to work in slightly different ways or slightly different um you know they

[18:05] have slightly different problems they’re trying to solve but one thing one challenge we had early on that we’ve been thinking a lot about and I know open eye is looking at things in this area is like okay so let’s say you have 10,000 employees that’s how many we have at data bricks and they want to deploy their own little personal software components And some of it can run on their personal devices, but some of it they want to, you know, be running all the time. They want it to run and and we frankly want it to run somewhere secure where we’re not, you know, those that software by definition should be touching fairly valuable data if it’s

[18:35] going to be something kind of useful. Um, so this is a, you know, we we’ve built different mechanisms internally, some of which are also in our our products around, you know, can you sandbox this stuff? Can you observe its behavior? Can you downscope its permissions and so forth? Um but I’m curious if you’ve you’ve looked at that or or how you guys think about this this um when that software is touching very sensitive data basically. >> Yeah. Right. Right now sites don’t support um reading data dynamically. So you package it all as part of a site.

[19:06] It’s like fully sandboxed. Uh it’s restricted in access by default. It’s only the creator who gets access and then you know you have like the full arback controls that you’re used to. you could share with a team or you can share with other individuals. Um and because what agents and modern like you know five six souls like they’re like so capable they can read so much data and like remangle it and rejigle it and like re it’s like you don’t really know where that data came from like you know what’s in the asset. So you have to be very

[19:37] careful about how you manage access. So that’s like by default it’s like fully sandbox access is like very restricted and then you know users get to decide if they want to share a little bit more. >> Yeah. Nice. I I would say we’re just we’re just starting in this area but one one thing we’ve also built is like anytime there’s access from one of these personal pieces of software to a a business system it gets mediated through a proxy. Basically it’s we call it our our gateway AI gateway. But um that way we’re able to kind of you know OOTH gives you so much in terms of okay you

[20:07] can you can say okay the average person should maybe they can have read access but not write access their agents can have maybe read access but not right access to critical system so they can’t go delete a bunch of stuff if there’s a mistake but even then you know we do want to observe things like huh suddenly you know this personal agent read read 15,000 documents in a period of an hour that’s not you know normal behavior. So um so it’s kind of become this uh this interesting security and governance question how you treat these little I would call them personal agentic pieces

[20:38] of software because they’re not quite they don’t quite represent the security model is not quite right to treat them as that person because they’re maybe slightly less trusted than the person because the person may have pure intent but they accidentally you know uh um encoded something improper in their agent but they’re also not really uh similar to like third party proper enterprise apps, you know. So, I think that’s been a a a thing we’ve been thinking a lot about is how to once you automate a lot of useful workflows in your company and maybe sensitive data is being touched, how do you handle that?

[21:09] And I know um Peter, I know you’ve been also thinking about things along these lines. >> I I mean the only way you can do this is like you you you govern intelligence with intelligence. So, so if you you look at network patterns, if there’s anything that’s unusual is being flagged, then maybe a human looks over it. I mean, I have my cases where like people ping me and ask me, “What is this doing?” And I was like, “Oh, what is this actually doing?” >> Yeah, I agree. I think there needs to be this kind of constant monitoring and intelligence layer just checking are the

[21:39] agents doing things that seem reasonable or maybe seem less reasonable and maybe, you know, throwing up flags or blocking behavior and or at least asking questions if something odd is going on. >> When we released Codex originally had two modes. I had the full sandbox mode which asks you for permission for everything and then the like run you know it’s like what we also called like yolo it’s like run fully outside of the sandbox which we don’t recommend full file system access full internet access no human supervision no supervision at all um and with models becoming more and

[22:11] more capable this is also like increasing the risk in general like you know maybe you know by mistake it does something or you know it gets interested in something that you know it shouldn’t read and it’s like you know and suddenly it’s like doing something and it’s going off the rails. Um so it’s very important with capabilities is increasing that you know you have this like this other layer of intelligence and another agent that just monitors the primary agent and there are like multiple ways of doing this but we built this auto review mode um which is essentially a full-blown agent going over the full trajectory all

[22:43] the tool calls and you know making sure that uh no unnecessary risk is being taken and then to your point I think also like the single choke hold that the gateways are becoming where you have all the data flowing through. They’re an excellent way to achieve this as well. >> Yeah. And it seems to me like you need a Swiss cheese kind of approach. Like no one of these mechanisms is going to be bulletproof. But if you layer the mechanisms like maybe you have, you know, you just have some basic network firewalling and sandboxing. So you you can’t trivially just send data out and you maybe have like a little supervisor

[23:14] locally looking at what tool calls are being made. And then maybe also have a gateway that’s doing some uh correlation analysis across agents. and you have downscoping of permissions. So you you know no one of these is perfect but I think if you combine these I feel like you’ll end up with something fairly robust. >> Having defense and depth right is like always the right approach I think. >> Yeah. I mean humans can make mistakes as well. So you you just need to make sure to have enough layers. Like even that auto review thing I I was like when I heard that this is the new default open I’m

[23:45] like oh it’s going to be so annoying. But now I’m I’m kind of I’m kind of glad because because it’s like an additional layer. If I would do something where I’m not thinking, the system would like go into my head and ask me, “Are you really sure?” >> Yeah. Yeah. And I think they’re evolving to be far better. The usability of some of the early, you know, it would be like, “Hey, are you okay running this bash command, Patrick?” And it would give me a bash command that was, you know, 100. >> It gives you a bash command that’s like this long. Yeah. >> I’m like, I have no hope of even understanding that bash command, let alone like scrutinizing its security

[24:17] properties. So, I feel like we’re um we’re advancing pretty quickly towards far better techniques than that. >> So, I want to flip to a different topic, slightly different topic, and that’s really operating at scale. So, we talked a lot about builders and moving quickly and building agents and a lot of customers are now thinking about if I’m trying to scale, I don’t want to have to rebuild a scaffolding each time, right? What is I think it’s a hot question right now. What is the agentic stack, right? What do you need to really be able to build at scale? um wondering if your perspective on that. Maybe Tibo, we

[24:48] can start with you and then go around to the others as well. >> There’s different levels of investment. Um I think often just the biggest bang for buck is just like give everyone access to an agent that is like well configured has access to the right data within the enterprise. um like if you don’t connect it to any data source like for example like my favorite Slack channel is like the one where we have this agent connect to data bricks and it’s just like an ask any question but

[25:19] it also has access to uh the company’s like you know business and a couple of like you know documents and it also has access to sack so it’s just like sort of has this run well-rounded information and I can ask it very sophisticated questions and if it didn’t have access to any of this data obviously it’s not going to be very useful um and so giving everyone access to agent that they can configure and that the company has configured. Super important. And then you enter like levels of automation where you want to, you know, run a harness. It’s like it’s

[25:49] just like running, you know, the back end like, you know, just like on your infrastructure and it’s like not even managed by, you know, like specific humans or not prompted by specific humans that are many different ways like open clause is awesome at that. We’re seeing like very successful enterprise deployment. We also have like the codeex harness which is also fully open source. But we’re doing a lot of open source things. Um and in general it’s like it’s goes over like a period of um experimentation I would say even within enterprise with routers in front of it gateways um you know different ways of

[26:20] like getting access to plugins like plugins becoming like an open spec that we’re participating in. Um so getting access to context being able to give the permissions to to take action and um it’s still very much being uh developed but I think you know that’s sort of like the stack that’s emerging. Yeah, I think the harnesses I mean just as like a a user basically the harnesses are just so powerful that they’re almost becoming a part of our like internal applications doc at data bricks almost and and this is uh this is where the fact that um

[26:51] codeex is open source is is like really awesome because you know it goes back to if you’re betting on a core piece of infrastructure you kind of want to know that it’s always going to be there. you know, we’re making many multi-year bets and we might even be building parts of a production engineering stack on uh on a a on a harness like this. Maybe you wouldn’t use the word harness. I don’t know if I if I’m using the appropriate language, but like um but uh the fact that it’s open source and and liberally licensed for us has been huge at data bricks because it’s just let us know that okay it’s not going to be a thing

[27:22] where like one day the license on this thing changes and like our whole company has to stop if uh if if there’s some you license change or renegotiation or something like that. So so I think that’s been a great area in which you’ve been a real leader. Um obviously open call from the beginning uh um if I understand Peter was open source I think is that right? And and then uh >> I think that was the first commit I did was the MIT license. >> Yeah exactly. So like I think you guys have been real leaders in that and like as someone building on top that’s that’s a huge deal for us at data bricks.

[27:55] >> Yeah. And then it’s like it it’s what I find fascinating. It’s like you have the code of the agent itself, the harness and then and then you also have the agent and then you know it’s like if you want to fork it and change it it’s like you know you can just go and do it. It’s all there. You can make it your own. Um we’re seeing a lot of successful forks and deployments. >> That’s where we have our best ideas from like SLGO came from I think Froex. >> That’s an internal fork. >> Yeah. Yeah, I was going to say, is that

[28:26] a a person’s name? Because like what are the odds? Um, >> no, no, no. I mean, I have I have Claudex like where where I play around with ideas because not every idea makes you into the mainline product, right? You kind of >> it’s like sometimes you think this be cool and then actually you don’t use it and you don’t want to create a product that has like a thousand features that are that are not well thought through. So the best way to to like figure it out is to try it and it’s just very easy to like play around with it like Codex changes Codex and then they can like tweak.

[28:56] >> So So we talked about how people are building. Can you tell me a little bit about what you’re seeing as the top use cases like where are customers being successful? >> I mean the big shift is that it’s no longer a coding agent. It’s now people realize how much more they can do. Like it it helps me in in every every step of my life. Like I automate something where I get an email every morning with like these are the most important things. Like I use it for infrastructure management. Of course I I do coding but also sometimes I just like I ask you to

[29:29] to like explain me something and then like you can visualize me stuff and I can like make it interactive. It’s it’s like the the universal encyclopedia almost globe. >> It’s [laughter] Exactly. Um yeah, like when we started with with Codex and coding agents, it was all about coding and then it’s like oh the models are like much more general and you can do anything with it. It’s like if you connect it to the right uh data sources through plugins and with catch work like what we saw it’s like it’s

[30:00] really taken off and we now have more non-technical users of the same agent. Like under the hood catch work is the same agent. It’s like the same harness as codecs, same capabilities, same plugins. Um, but we just packaged it in a way which is like much more intelligible and also safe for like, you know, day-to-day use by everyone. And so we now have more users of this technology that are non-technical than technical. Um, we’re going to keep pushing that. But I think, you know, it’s just it’s so empowering for everyone, you know, across organizations

[30:32] so that you just get like this little personal assistant in your pocket. It works on mobile, works on web, works in the desktop app. You can pretty much ask it like anything. think you can be super ambitious and then often more often than not you’re just kind of surprised just like oh it can actually do that. That’s why those I mean I I’ll keep calling it codeex but like that’s why that the name change made sense because like I basically use it like other people use the chat GBT for and now people are discovering this little tab between chat and work and like work is gives you like a actually powerful machine with like

[31:02] codex under the hood where if you have all your connectors set up there there’s your there’s your remote machine where you can run anything. >> Yeah. Cool. Well, I mean, I’ll just end by saying maybe um we’ve seen very similar. I think the internal productivity is obviously like a massive use case and highly facilitated by these models. Um but you know, we’re also just seeing even external applications being built by our customers that are themselves agentic and some of them may even use you know harnesses underneath and they’re they’re moving to that even from like their own custom agent loops

[31:33] inside of their apps. So, it’s a it’s a really exciting time uh and stuff is moving so fast and and uh uh thank you to both of you guys for joining us. We really appreciate it. >> Thank you. Thanks for having us.