O computador autônomo: infraestrutura para agentes de uso de computador — Ang Li, Simular

Ver no idioma original →

Autoria: AI Engineer · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: The Autonomous Computer: Infrastructure for Computer Use Agents — Ang Li, Simular · Canal: AI Engineer · 1:12:28 · Assistir no YouTube

Tópicos: Agentes de IA, Automação de tarefas e workflows, Avaliação e benchmarks de IA, Infraestrutura e hardware de IA, Modelos multimodais

Resumo

Ang Li apresenta a visão de um computador autônomo controlado por agentes e descreve a evolução de sua abordagem, que combina modelos de visão e linguagem com automação baseada em código. Ele explica os desafios de confiabilidade e repetibilidade, além de mostrar como o framework Simulan permite criar e reutilizar workflows determinísticos. A palestra também aborda computadores virtuais na nuvem, suporte a diferentes sistemas e aplicações em testes, sistemas legados e processos empresariais. Na sessão de perguntas, Li discute verificação, segurança, exploração de interfaces e os limites atuais dos modelos.

Pontos-chave

• Agentes de uso de computador podem interagir com interfaces por meio de mouse e teclado, inclusive quando não há APIs disponíveis.
• A abordagem neuro-simbólica combina modelos adaptáveis com automação por código, buscando equilibrar flexibilidade e confiabilidade.
• Capturas de tela, árvores de acessibilidade e outras modalidades têm vantagens diferentes; nenhuma é suficiente para todos os casos.
• O framework de agentes apresentado evoluiu de uma abordagem baseada em árvore de acessibilidade para outra baseada apenas em visão e, depois, para execução com múltiplos agentes.
• Pedir esclarecimentos sobre instruções ambíguas pode aumentar a confiabilidade dos agentes em tarefas repetidas.
• Simulan permite descrever workflows em código para execução determinística e reutilização, reduzindo a necessidade de chamadas ao modelo em execuções futuras.
• A combinação de código, verificação e agentes adaptáveis pode ajudar a recuperar workflows quando o ambiente muda.
• Computadores virtuais na nuvem permitem executar agentes em várias máquinas e automatizar sistemas legados sem bloquear o computador pessoal do usuário.
• Li destaca aplicações potenciais em testes de software, entrada de dados e automação de processos empresariais.
• Ações irreversíveis e tarefas que exigem alta precisão precisam de verificações e proteções adicionais, incluindo aprovação humana quando necessário.

Capítulos

Início	Capítulo	Resumo
00:12	Trajetória e objetivo da palestra	Ang Li apresenta sua experiência com programação, redes neurais e pesquisa em AGI, além da meta de construir um computador autônomo.
05:30	O que são agentes de uso de computador	Li contrasta agentes que usam APIs com agentes que operam visualmente um desktop e recorda as limitações das primeiras demonstrações.
10:42	Evolução do framework de agentes	A palestra acompanha as gerações do framework, desde o uso da árvore de acessibilidade até abordagens baseadas em visão e múltiplos agentes.
15:20	Demonstração e confiabilidade em tarefas repetidas	Uma demonstração mostra controle remoto de um computador, e Li explica por que a repetibilidade das tarefas é um desafio importante.
20:01	Esclarecimentos para melhorar a confiabilidade	Li apresenta resultados indicando que pedir esclarecimentos sobre instruções ambíguas pode melhorar a confiabilidade dos agentes.
23:08	Automação determinística com Simulan	Uma demonstração mostra como usar Simulan e Claude Code para escrever e executar código que automatiza tarefas em um site.
27:53	O equilíbrio entre adaptação e estabilidade	Li relaciona agentes baseados em código e agentes neurais ao dilema entre executar tarefas de forma estável e adaptar-se a mudanças.
32:03	Agentes para testar software	A palestra apresenta o uso de agentes para testar produtos e mostra uma demonstração de um workflow que combina código e execução adaptável.
35:12	Automação em sistemas empresariais	Li descreve aplicações em sistemas legados, seguros e saúde, incluindo a interação com formulários em computadores virtuais.
43:39	Computadores virtuais na nuvem	A palestra explica por que agentes executados em máquinas remotas podem ser escalados para múltiplos computadores e usuários.
47:22	Suporte a diferentes dispositivos	Li apresenta demonstrações em Android e descreve a visão de agentes que coordenam computadores e dispositivos virtuais.
51:42	Memória e compreensão de interfaces	Na sessão de perguntas, Li discute modelos especializados, dados visuais e o uso de diferentes fontes de informação sobre a interface.
57:28	Precisão, verificação e proteções	Li explica como verificações, comparação de dados e barreiras de segurança podem reduzir erros em tarefas de alta precisão.
63:52	Exploração de sistemas e instruções	A conversa aborda a exploração prévia de interfaces, o uso de procedimentos operacionais e as limitações atuais da automação generalista.
68:06	Adaptação a mudanças e limites dos modelos	Li discute como agentes podem explorar ambientes alterados, o custo de coletar dados visuais e a complexidade dos workflows gerados.

Citações

Há apenas duas palavras: autonomia e computador. — 07:36

Você quer que o sistema de aprendizado seja estável, mas também quer que ele consiga se adaptar a novos ambientes. — 28:56

Sempre que você executa a mesma tarefa, ainda paga a mesma quantia. — 43:07

A conclusão é que você precisa de um sistema. Não basta colocar um modelo ali e esperar que ele tenha 100% de precisão. — 59:32

Conceitos e entidades

• Ang Li (pessoa): Cofundador e CEO da Simular, que apresenta a visão e a infraestrutura de computadores autônomos.
• Simular (empresa): Empresa apresentada na palestra, dedicada à infraestrutura para agentes de uso de computador.
• computer use agents (conceito): Agentes que operam interfaces de computador usando recursos como mouse, teclado e informações visuais.
• autonomous computer (conceito): Visão de um computador capaz de executar tarefas de forma autônoma por meio de agentes.
• neuro-symbolic (conceito): Abordagem que combina modelos neurais adaptáveis com componentes simbólicos, como código e regras.
• accessibility tree (conceito): Estrutura fornecida pelo sistema operacional que descreve elementos de uma interface e pode ajudar agentes a identificá-los.
• OSWorld (benchmark): Benchmark mencionado para avaliar o desempenho de agentes em tarefas realizadas em computadores.
• Simulan (ferramenta): Linguagem aberta apresentada para criar código e workflows determinísticos de automação de computador.
• Simular Agents (ferramenta): Framework de agentes descrito por Li, concebido para funcionar com diferentes modelos e interagir com computadores.
• Microsoft Windows 365 for Agents (ferramenta): Ambiente de computadores virtuais da Microsoft citado em uma demonstração de automação de sistemas empresariais.
• SAPI (ferramenta): API e conjunto de ferramentas de CLI anunciados para controlar computadores virtuais na nuvem.
• Claude Code (ferramenta): Ferramenta usada na demonstração para gerar código Simulan e automatizar uma tarefa em um site.

Tradução completa (pt-BR)

00:12 Um pouco sobre minha trajetória. Sou cofundador e CEO da Simular, e este ano marca praticamente 30 anos desde que comecei a interagir com computadores. Agora, estou tentando construir um computador totalmente autônomo, para que eu não precise interagir com ele. Olhando para a minha trajetória, nos primeiros 10 anos, basicamente conheci os computadores quando era bem jovem. Durante esses primeiros 10 anos, foquei em programação competitiva, basicamente escrevendo código todos os dias. E na…

00:43 segunda década, passei muito tempo treinando redes neurais e publiquei muitos artigos de pesquisa em IA durante meu doutorado e, mais tarde, na DeepMind. E a terceira década… entrei na DeepMind em 2017, o começo da terceira década. Então este ano é 2026, quase 10 anos. Quando entrei na DeepMind, tentávamos mesmo resolver esse problema chamado AGI, inteligência artificial geral. Naquela época, todo mundo ainda estava confuso. Até hoje,

01:15 todo mundo ainda está confuso sobre a definição de AGI, mas, em geral, é como um sistema geral, parecido com os humanos: uma máquina capaz de fazer todo tipo de coisa. E, com sorte, no ano que vem poderemos resolver o problema. Então, posso pensar no que fazer e em que tipo de problema resolver durante a primeira década. Certo. Quero começar minha palestra agora. O motivo de eu ter apresentado isso é que passei 10 anos programando, 10 anos trabalhando com redes neurais, 10 anos…

01:47 resolvendo AGI. Na verdade, isso me deu esse tipo de viés que tentamos incorporar à nossa empresa atual: temos esse princípio em mente de que o sistema de IA geral precisa ser neurossimbólico, basicamente, uma combinação de código e redes neurais. Vou mostrar rapidamente por que temos essa intuição. Sei que estamos meio sem tempo para este workshop, mas quero compartilhar três coisas com vocês. A primeira

02:18 é conhecimento básico sobre computer use. Entendo que 50% de vocês ainda são novos nesse domínio. A segunda são as ferramentas em que temos trabalhado como parte da infraestrutura. Há quatro tipos diferentes de componentes que acreditamos que serão úteis para o desenvolvimento futuro de aplicações de computer use. Também vou mostrar algumas aplicações em que outras pessoas, ou outros desenvolvedores, têm trabalhado. E a terceira, que é importante: temos um produto chamado Sigh, e esse produto está

02:48 em beta fechado neste momento, então quero dar a todos um código de convite no fim do workshop, para que tenham a oportunidade de experimentar o produto. Também podem me avisar. Sintam-se à vontade para me seguir no Twitter e entrar no Discord. Digam se precisarem de mais créditos. Com certeza posso dar mais créditos. Então, a primeira pergunta é: o que são agentes de computer use? Normalmente, o que faço na minha palestra é tirar uma selfie aqui

03:22 com todo mundo. Vou tirar uma com metade. Isso. Então, é isso que faço todos os dias agora. Na verdade, sou CEO, então não uso o computador o dia inteiro. Tenho meus agents no celular. Posso mandar uma mensagem para o meu agent, enviar uma foto e dizer: “Publique a foto no LinkedIn”. E então o agent vai trabalhar nisso. Vamos ver. Eu…

03:55 quero ver se o agent está respondendo. Acho que recebi algo. Certo, vamos ver. Tenho uma mensagem aqui. Certo, o agent está respondendo. Ele tem minha foto. E dá para ver que o agent está começando…

04:26 a me fazer perguntas. Não vou interagir com o agent agora, mas quero mostrar a interface básica. Agentes de computer use são agents que têm um computador — neste caso, um desktop completo do Windows. Se eu continuar interagindo com o computador, o mouse e o teclado vão funcionar nesse desktop, e ele abrirá o LinkedIn mais tarde. Vou voltar à apresentação. Acabei de mostrar um exemplo de um agent. Posso conversar com o agent que está…

04:58 trabalhando em aplicações, mas, na verdade, você pode ter vários. É nisso que estamos trabalhando. Estes são quatro agents; dá para ver que têm nomes diferentes. O agent de QA, por exemplo, faz QA nos produtos. Testar produtos é um grande caso de uso. Eles também pesquisam, fazem suporte ao cliente, vão ao canal do score e analisam todas as informações por lá. Os agents de verdade são mais lentos. Esta gravação, na verdade, tem horas de duração. Então, comprimi tudo em 30 segundos para vocês

05:30 terem uma noção básica de como os agentes de computer use funcionam. A ideia geral é muito diferente da maioria dos agents de que falamos hoje. A maioria deles se baseia em APIs, e você não vê visualmente o que o agent está fazendo. Os agentes de computer use são outra categoria, e acreditamos que é uma categoria ainda maior, capaz de fazer muito mais coisas. Mesmo quando não há APIs, ainda é possível deixar os agents trabalharem nelas. E

06:01 então quero fazer um pequeno ritual, porque fundamos uma empresa em 2023, logo depois do GPT-3.5 e do GPT-4V. Quero mostrar um exemplo de como, há dois anos, estávamos meio sem esperança em relação a esse problema. Na verdade, publiquei isso no Twitter. Este é o meu tuíte. Vou parar um pouco. Este é o meu tuíte de dois anos atrás. O problema é: será que podemos usar o GPT-4V para entender a tela e então

06:34 clicar no ícone do iMessage na tela? Um problema muito, muito simples e trivial. Usei o modelo para fazer um refinamento iterativo do grounding. Dá para ver que a primeira tentativa não está correta. Na segunda, ele vai até o ícone da caixa de correio, e, na terceira, acerta o iMessage. Esta foi a única demonstração bem-sucedida que fiz. [risos] Então…

07:05 pedi ao agent para clicar no Zoom. Não funcionou de jeito nenhum. Há dois anos, esse problema parecia basicamente impossível, mas tínhamos a intuição de que os modelos de base ficariam cada vez melhores e que, com o tempo, esse problema acabaria sendo resolvido. Só que isso não seria possível em dois anos. Isso nos motivou a pensar na estratégia geral para resolver o problema dos agentes de computer use. E temos um nome para isso: computador autônomo, porque, sabe, se o computador consegue fazer todo tipo de coisa, ele é autônomo, certo? E…

07:36 então a pergunta é: como resolver o problema do computador autônomo? Quando falo disso, há apenas duas palavras: autônomo e computador. Naturalmente, isso leva a duas direções. Uma é a autonomia; a outra é o computador. Certo? Autonomia significa: temos um sistema que consegue entender o contexto e o ambiente do computador, fazer todo o raciocínio e planejamento e se recuperar dos próprios erros, sem…

08:06 precisar que um humano fique supervisionando o agent. A segunda parte é o computador: que tipo de computador o agent pode usar? Essa é uma questão central, mas, há dois anos, achávamos que o computador era um problema fácil, porque todo mundo já tem computadores. Por isso, focamos bastante na parte da autonomia. Quando falamos de autonomia, isso remete ao princípio fundamental que tínhamos desde o início, chamado neurossimbólico. “Neuro” também aparece em carros autônomos; basicamente, é o mesmo conceito para…

08:36 Todos os diferentes tipos de sistema autônomo têm o mesmo conceito: você tem um componente neural — aqui, um VLM, um modelo de visão e linguagem — e um agente. A segunda parte é simbólica; naquela época, nós a chamávamos de agente de programação. Basicamente, precisamos resolver esses dois problemas tecnológicos para que a autonomia funcione. Vou mostrar uma demonstração de dois anos atrás. Naquela época, os VLMs não funcionavam de jeito nenhum, certo? Por isso, passamos bastante tempo, dois anos atrás, trabalhando na camada de programação para garantir que conseguíssemos controlar o

09:08 computador de uma forma mais confiável. Mas, para resolver o segundo problema, montamos uma equipe de pesquisa dois anos atrás para pensar: como podemos melhorar esse app de computador, esse agente com VLM, no uso de computadores? Antes de falar sobre a trajetória, sobre nossa jornada com os agentes com VLM, quero falar brevemente sobre os sinais. Como vocês sabem, carros autônomos, quando circulam pelas estradas, usam sinais de luz, radar e câmeras.

09:39 Certo? Três tipos diferentes de sinal. Os computadores têm o mesmo. Costumo dizer às pessoas: estamos trabalhando com carros autônomos no computador, num mundo digital. Basicamente, estamos trocando o volante pelo mouse e pelo teclado. Então, continuamos tendo três tipos diferentes de sinal. Um é a captura de tela; o outro é a árvore de acessibilidade. A árvore de acessibilidade é algo muito particular. É meio rara, sabe, no nosso dia a dia. A árvore DOM é bem popular porque usamos navegadores. A árvore de acessibilidade é uma espécie de árvore DOM, mas ainda assim meio que uma árvore DOM,

10:10 mas está vinculada a cada sistema operacional. O Mac tem seu próprio formato de árvore de acessibilidade, e o Windows tem um protocolo separado para ela. Mas essa é a camada básica que o sistema operacional usa para renderizar todas as janelas e todos os ícones na tela. Então, essa parte é muito importante. O trabalho que temos feito se chama… A ideia geral é: será que podemos criar um harness? Então,

10:42 dois anos atrás, não chamávamos isso de harness. Hoje em dia, todo mundo chama de harness. Dois anos atrás, criamos — tentamos concluir — um projeto chamado Agents, para desenvolver um harness baseado em todos os modelos de fundação, não apenas em um. Assim, é possível trocar de modelo facilmente. É um framework agnóstico em relação ao modelo, que permite obter a melhor capacidade de uso do computador. A primeira geração ficou pronta no fim de 2024 e se chama Agents. Nós simplesmente a chamamos

11:12 de Agents, porque era o começo. Esse agent alcançou uma taxa de sucesso de 20% no OSWorld. Vinte por cento. E esse era o estado da arte na época, em 2024, o que é bem interessante. Este artigo também ganhou o prêmio de melhor artigo no workshop Agenda AI da ICLR 2025. A indústria inteira estava avançando muito rápido no ano passado, o que é uma loucura. E a escolha desse harness se deve

11:42 ao fato de que sabíamos que os modelos de visão e linguagem eram muito ruins e não funcionariam. Por isso, escolhemos usar a árvore de acessibilidade na primeira geração. Basicamente, analisamos todos os protocolos subjacentes da estrutura em árvore para descrever o ambiente atual e passamos essas informações a um LLM, em vez de a um modelo de visão e linguagem. Depois, usamos ancoragem baseada em IDs: listamos linearmente todos os botões, atribuímos IDs a eles e perguntamos ao LLM: “Qual é o ID do botão em que preciso clicar agora?”. Isso meio que

12:14 funciona. A taxa é de 20%, o que é superempolgante, porque, no começo, esse benchmark tinha uma taxa de sucesso de cerca de 5%, no início de 2024 [risos]. Depois, no início de 2025, começamos a ver que os modelos de visão e linguagem estavam melhorando. Então, na segunda geração do Agents, descartamos completamente a árvore de acessibilidade: é uma abordagem exclusivamente visual. E o interessante é que essa arquitetura tem várias camadas, como gerentes

12:46 e trabalhadores. É meio que uma organização humana, e mostramos que funciona. Esse trabalho, especificamente, foi comentado por muitos amigos meus no resumo. Eles ficaram bem empolgados com ele. O motivo é que essa demonstração mostra que, se você tiver dois modelos, o resultado será melhor do que com um só. Se você tiver dois modelos de fundação no mesmo harness, o resultado será melhor do que com apenas um modelo de fundação. E o segundo modelo de fundação é um

13:16 modelo open source de sete bilhões de parâmetros. Então, sim, os amigos que trabalham em startups ficaram bem empolgados, porque pensaram: “Certo, esse é o nosso caminho. Posso treinar alguns modelos pequenos e podemos ser 20% melhores do que os agentes de uso do computador do Claude ou da OpenAI.” No fim de 2025, tivemos nossa terceira geração de Agents. A ideia dessa parte é: será que podemos usar escalonamento em tempo de teste? Isso se chama escalonamento em tempo de inferência. Quando você tem um agent, pode

13:48 usar vários agents para tentar resolver a mesma tarefa e, no fim, obter um desempenho melhor? A demonstração mostrou que funciona. Esta figura mostra o orçamento total de recursos — ou seja, o número total de trabalhadores — em relação ao número total de etapas, para uma comparação justa. Dá para ver que, com 10 agents, a taxa de sucesso aumenta melhor. Então, em dezembro, superamos o recorde de desempenho humano no benchmark OSWorld. E estas são

14:18 comparações entre todas as trajetórias dos agents, da Anthropic e da OpenAI. Os dois grandes laboratórios alcançaram o mesmo desempenho humano em março deste ano. E dezembro passado também foi um momento empolgante: pensamos que os agentes de uso do computador estavam finalmente começando a ser úteis. Mas, sabe, esse benchmark é meio que um benchmark de pesquisa; isso não significa que, na vida real, eles já estejam 100% prontos ou sejam melhores que os humanos. Há alguns dias, o OSWorld

14:50 lançou sua segunda geração, chamada OSWorld 2. Estou particularmente empolgado com esse novo benchmark. No novo benchmark, o modelo com melhor desempenho alcança apenas 20%. Então, estamos entrando na segunda fase dos agentes de uso do computador. Quero mostrar um vídeo. Houve uma demonstração muito interessante que um dos desenvolvedores usou. Esse projeto ganhou o Cow Hacks

15:20 no ano passado. É um dos maiores hackathons realizados em Berkeley, e eles criaram seus aplicativos com base no Agents, a versão open source. >> Acho que vocês provavelmente não vão ouvir a voz. >> E se você pudesse controlar seu computador de qualquer lugar do mundo, só com…? Criamos um agent multimodal com controle total do computador. Então, em vez de

15:51 ligar para sua mãe para depurar seus dois erros de falta de memória, você pode fazer uma chamada do FaceTime para o Mac. Vou mostrar como funciona. >> Certo, imagine que você está treinando um modelo de IA em casa, mas já saiu e acabou de perceber que ocorreu um erro de falta de memória da CUDA. Qual é a maneira mais fácil de corrigir isso? Em vez de dirigir até sua casa, você pode simplesmente ligar para o computador e pedir que ele mesmo resolva. Então, podemos ligar para ele e mandar uma mensagem pedindo para iniciar uma chamada do FaceTime comigo. Isso vai iniciar o agent de uso do computador aqui, para fazer uma chamada do FaceTime e eu poder dizer o que quero que ele faça.

16:24 >> Sim, eles fizeram algo muito interessante. Deixe-me… >> Agora consigo ver o que ele diz. Podemos corrigir meu erro de falta de memória da CUDA no VS Code? Certo, a tarefa é corrigir o erro de falta de memória da CUDA no VS Code. Vou pressionar Command + Espaço para abrir o VS Code. >> Tudo isso é automático. >> Certo, estou no VS Code. Estou procurando o erro de falta de memória da CUDA. >> Parece que este arquivo tem um erro de falta de memória da CUDA. Com base nos comentários,

16:54 Parece que o tamanho do tensor é grande demais. Então devo tentar reduzi-lo para algo razoável. Sim, acho que você entendeu a ideia. A ideia é criar um aplicativo que permita controlar o computador usando o FaceTime e usar o FaceTime para depurar no VS Code. Isso aconteceu em outubro do ano passado. Foi antes mesmo de o OpenClaw começar como projeto

17:25 por lá. Então tivemos que pensar qual seria a segunda fase dos agents de uso do computador. Já superamos o desempenho humano no benchmark; e agora, o que vem a seguir? Então percebemos que há um conceito muito interessante chamado pass@k. No passado, todos mediam pass@1, que é bastante popular em vibe coding: você tem uma tarefa e pede ao agent que produza o código, certo? Se o código não funciona, então você

17:56 coloca alguns prompts e ele produz outro código. Um dos códigos acaba funcionando. Isso acontece porque você não se importa com o que aconteceu antes; só quer saber se consegue obter um código que funcione, certo? No uso do computador, é muito diferente, porque começamos a ter clientes há dois anos, e todos me faziam esta pergunta: posso hospedar seus agents em um servidor e executar esse workflow todos os dias sem ter que, sabe,

18:28 ficar olhando, olhando e olhando os workflows? Não quero ter que depurá-los. Basicamente, todo mundo me falava dessa métrica pass@k. Isso significa que executo esse agent K vezes, e ele precisa ter sucesso em todas as execuções. Nenhum benchmark captura essa métrica. Então começamos a pesquisar esse problema. Pegamos os agents com melhor desempenho no OSWorld, que se saem muito bem em três categorias diferentes, e então

19:00 executamos os agents do Simulan três vezes. Medimos o desempenho de pass@3. Nesta figura, dá para ver que todos os agents tiveram uma queda de desempenho: a taxa de sucesso caiu quase 10%, até mesmo para o agent com melhor desempenho. A segunda parte envolve perturbar o ambiente, ou seja, minhas consultas podem ser um pouco diferentes e o ambiente também pode variar um pouco a cada vez. Aí o resultado fica ainda pior. Então, isso ainda é um

19:30 problema nos agents de computador atuais. Como você pode ver, Claude tem agents, Codex tem agents, o OpenClaw tem agents. Nenhum deles produz um processo confiável e repetível. Este é um artigo recente que publicamos, há uns dois meses. Ele discute esse problema e apresenta um pequeno truque que propusemos; qualquer pessoa pode aproveitar essa ideia no futuro, se quiser que seus agents sejam mais

20:01 confiáveis. O truque é basicamente pedir ao agent que faça perguntas para esclarecer as instruções quando você as fornece. O artigo dizia, essencialmente, que, se o agent sempre fizer perguntas sobre as partes ambíguas do seu prompt, sua confiabilidade será melhor. Há um prompt no artigo que todos podem consultar. Basicamente, é bem simples: algo como

20:31 “Seu objetivo é minimizar — ter o mínimo de esclarecimentos possível — sem deixar de preservar a intenção.” Essa linha é muito importante. Você fornece esse prompt ao agent, e ele pode ter um desempenho melhor. Depois de fornecer esse prompt de esclarecimento ao agent, dá para ver que a confiabilidade geral dele melhora: a linha tracejada representa o desempenho original, sem esclarecimentos, e a linha contínua representa o desempenho com esclarecimentos. Certo? Você pode

21:02 ver que Claude melhora, e o Agent S com GPT-5, o que é interessante, apresenta a maior melhora. Então, a linha roxa representa um framework independente de modelo, e a linha verde representa os agents de computador dos grandes laboratórios. Certo. Então, esse é basicamente o nosso percurso para resolver o problema do agent de VM, que parece funcionar muito bem. Ainda hoje, as pessoas usam o framework de agents porque ele é independente de modelo e permite conectar qualquer modelo de base open source.

21:32 Também estou na expectativa de ver resultados com os modelos grandes open source mais recentes, como o GLM 5.2 Tool, e conferir o desempenho. E a segunda questão é: certo, isso não resolve o problema de confiabilidade, não é? Esses agents não parecem confiáveis. Enquanto você estiver usando uma rede neural, enquanto estiver usando uma VM, no fim das contas, trata-se de um modelo probabilístico. Ele produz uma

22:03 probabilidade a cada execução. Então não vai apresentar o mesmo desempenho se você o executar 24 horas por dia, todos os dias. Aí tivemos que pensar no próximo passo: basicamente, uma camada simbólica. Nós a chamamos de agent de programação e abrimos o código dessa linguagem, que chamamos de Simulan. É uma linguagem para o Simular. Por isso, chamamos a linguagem de Simulan. Ela é um pouco como o que a indústria de RPA costumava fazer, se você conhece esse setor:

22:34 eles pedem aos engenheiros que escrevam código. Mas um problema comum do RPA é que não existe um protocolo único, compartilhado por toda a comunidade, que todos possam usar. Tentamos criar isso. Na automação de navegador, temos o Playwright, que é um padrão, mas, no uso do computador, não existe realmente um padrão do setor. Por isso, abrimos o código; esperamos que seja útil para todos os desenvolvedores, para que vocês possam criar sua própria camada de automação com script para diferentes workflows, confiável e determinística em todas as execuções.

23:08 Sim. Basicamente, o objetivo é permitir que você crie código-fonte para o Simulan e execute esse código no terminal. Você também pode usá-lo no Claude Code. Quero fazer uma demonstração rápida. Deixe-me… Certo. Agora estou no Claude Code.

23:41 Se você instalar… Talvez eu devesse mostrar o Simulan. Sim. Esta é a página inicial e, se você acessá-la, há um instalador simples de uma linha, usando npm. Depois de instalar, você poderá usá-lo no seu próprio terminal. E eu uso o Claude Code. Gosto de ver isso porque hoje em dia ninguém escreve código, certo? É importante usar vibe coding para fazer esse tipo de

24:12 automação. Depois de instalar, há uma skill que funciona junto com o Simulan. Então, você pode simplesmente usar a skill. Posso dizer: “Acesse o site da AI Engineer e resuma os eventos.” Certo. Vamos ver como funciona. Agora está verificando a versão.

24:44 Essas são as coisas logísticas. Mas ele entende que vai usar o Simulan para abrir o site da AI Engineer World’s Fair. Continuar. Então, você pode notar que está tentando usar o Simulan JS, uma linguagem JavaScript. E agora o Claude Code vai tentar

25:17 escrever algum código usando o protocolo Simulan. Sim, acho que é porque o Claude Code é novo. Então, precisa lidar com muitas coisas logísticas. Permiti a leitura de tudo. Ainda dá para pensar nessa abordagem. É uma abordagem diferente

25:47 para computadores. Basicamente, ela reduz o problema do uso do computador a um problema de programação. Já tenho o que preciso. Deixe-me escrever um script que abra o site e extraia o conteúdo. Aí você pode ver que o agent está escrevendo o código. Depois disso, ele abre o site automaticamente no seu computador. O Simulan está sendo executado no seu próprio computador. Se você tiver uma máquina virtual, também pode fazer o deploy nela.

26:20 Então, depois que o Claude Code executa o código, ele reconhece alguns erros e tenta revisá-lo. Portanto, se você ativar a aprovação automática, isso já é, em grande medida, um agent de computador que se aprimora sozinho, com algum nível de autoaperfeiçoamento. Quero ver o

26:50 Não está aí, e você pode ver que o Claude Code decidiu usar o accessibility snapshot em vez da captura de tela, porque, sabe, é uma tarefa de resumo. Certo, está chegando. Na verdade, ele resumiu, sim. É, resumiu todos os eventos para

27:22 o engenheiro de IA ali. Certo. Vou pausar aqui, porque quero mostrar o código completo, que pode ser interessante de ver. É. Este é o código completo. Parece JavaScript, como qualquer outro JavaScript, e ele abre uma janela, captura o snapshot e grava em um arquivo. Certo. Então, deixe-me

27:53 voltar à minha apresentação. Certo. Então, falei sobre duas abordagens completamente diferentes. Elas são ortogonais. Não são a mesma abordagem. Mas a questão é: será que realmente precisamos de dois frameworks? Certo? Então, elas tentam competir entre si. E isso nos leva a um tema muito interessante e importante em

28:24 deep learning. Quando eu estava na DeepMind, eu me concentrava especificamente nesse problema chamado aprendizado contínuo. Por isso, estudamos bastante os sistemas de IA, mas, no fim, percebemos que não existe uma solução mágica. Independentemente da tecnologia, ainda é preciso resolver os dois problemas fazendo uma troca: todo sistema de aprendizado precisa aprender coisas novas e também precisa garantir que consiga realizar repetidamente as tarefas nas quais já

28:56 teve sucesso. Isso é chamado de dilema da estabilidade e da plasticidade. Você quer que o sistema de aprendizado seja estável, mas, ao mesmo tempo, quer que ele tenha a capacidade de se adaptar a novos ambientes. Nunca acontece de você ser bom nas duas coisas ao mesmo tempo. Essa é a conclusão. É sempre uma troca. Então, a questão que podemos considerar é: como equilibrar as duas coisas? E, se observarmos os dois sistemas que acabei de

29:27 demonstrar, eles representam os dois extremos desse sistema de aprendizado: agentes de programação e agentes de VM. O agente de programação produz código, e ele é determinístico o tempo todo, mas é meio teimoso, certo? Se você executar um código todos os dias e o ambiente mudar, o código quebra. Esse é o problema. Já o agente de VM é meio adaptável, mas o problema é que você não pode confiar nos agentes de VM para repetir o processo. Então, a questão central é: será que conseguimos encontrar um meio-termo

29:58 entre os dois? Porque o objetivo é ter a melhor adaptabilidade e a melhor confiabilidade, certo? Podemos chamar essa curva de fronteira de Pareto. Será que conseguimos encontrar o ponto ideal nela? Essa se tornou a direção atual em que nossa empresa está se concentrando especificamente: tentar encontrar um framework unificado que combine os dois em um único princípio, que chamamos de neurossimbólico, porque

30:29 há o componente neural e o simbólico. Existe uma maneira de fundir essas duas tecnologias em um único framework, que se aprimora continuamente, é robusto e confiável quando necessário e se adapta quando o ambiente muda? Eu não diria que resolvemos o problema. Não diria que resolvemos o problema, mas diria que já estamos na fase inicial de avançar nessa direção, porque há um paradigma claro que podemos seguir agora: temos um agente de VM

31:01 que é melhor do que humanos em um benchmark pequeno e temos um protocolo de programação com o qual podemos escrever código usando um agente de programação, e o protocolo pode produzir workflows determinísticos. Esta é uma maneira simples de fazermos esse novo experimento. Basicamente, deixamos o agente de VM executar no ambiente, e o agente continua escrevendo o código em um arquivo. Quando esse workflow funciona, você tem um código que funciona e, na próxima vez que executar o agente, pode executar o código primeiro, em vez de executar um agente de VM. Certo? Se não funcionar, se o ambiente mudar e ele quebrar, como acabei de demonstrar, há um loop de correção que você pode usar com o agente de programação. Então, isso se torna muito interessante. E, sim, acrescentei este slide. Outra história interessante é esta:

31:32 neste ano, no Cow Hacks, o hackathon Sam, o primeiro lugar também usou nosso agente. Mas, desta vez, não usaram o agente para criar um produto; na verdade, usaram o agente para testar o produto, que é outra categoria interessante para todos considerarem, porque todos nós somos desenvolvedores, certo? Escrevemos código e sabemos que, hoje em dia, há cada vez mais PRs e cada vez mais código. Então, quem vai fazer os testes? Agentes de uso do computador são uma solução para isso. Basicamente, este é o agente que pode simplesmente mover o mouse, clicar no painel

32:03 e fazer os testes para você. Não sei se tenho tempo. Se tiver, quero muito mostrar uma demonstração da parte de testes, mas posso tentar. Deixe-me tentar mostrar o loop que temos no produto. É uma iniciativa inicial. Funciona em muitos casos, mas às vezes ainda há alguns problemas. Então,

32:33 quero muito que todos testem o produto e nos deem feedback. Certo. Deixe-me ver. Não tenho certeza se este está funcionando… Ah, este aqui. Certo. Esta é a VM Value. Este é o agente, não é

33:04 Como podem ver, tenho muitas VMs aqui e dei nomes diferentes a elas. Então, deixe-me tentar esta. Para ativar o modo neurossimbólico, você precisa acessar este painel e clicar em “agent”. Há muitos algoritmos especiais que usamos aqui, como controle humanizado, em que a trajetória é diferente, e integração de cliques. Então, você precisa

33:36 ver o SimFlow Code Replay. Este é um experimento específico que estamos fazendo agora. A ideia é basicamente o diagrama que acabei de mostrar. Se você ativar isso, podemos tentar algo. Deixe-me confirmar o desktop ali. Certo. Podemos tentar. Sim, ainda podemos tentar algo simples. Só quero dar uma ideia geral de como funciona. Acesse a página da AIE e

34:08 encontre o primeiro palestrante na terça-feira. Sempre há problemas durante demonstrações ao vivo. Deixe-me reiniciar o agente.

34:39 Deixe-me ver se minha VM está ativa. Sim. Enquanto esperamos, vou mostrar outra demonstração, porque tenho uma de reserva caso a demonstração ao vivo demore mais. Podemos mostrar outra. Esta é uma colaboração com a Microsoft. A Microsoft também está desenvolvendo essa infraestrutura de computação, porque criou o Windows. Estas são

35:12 as VMs da Microsoft. Chamam-se Microsoft Windows 365 for agents. A ideia está no gráfico à esquerda. Basicamente, usar nossos agentes nas máquinas virtuais da Microsoft para preencher formulários em um ERP tradicional. Esta é uma das maiores áreas para agentes de uso do computador, porque ainda há muitos setores tradicionais que não têm APIs modernas. Eles não têm

35:43 softwares modernos: ainda executam todos os softwares antigos em máquinas Windows, certo? Então, se você desenvolver aplicativos que permitam atuar em determinados setores — nós não somos uma empresa focada em um setor específico, somos uma infraestrutura horizontal —, há boas oportunidades se você tiver interesse em desenvolver para diferentes setores. Por exemplo, alguns de nossos clientes trabalham com sites de seguradoras e são especializados em seguros. Basicamente, usam os agentes para acessar sites de seguradoras e buscar dados, e alguns deles

36:13 Como você sabe, eles ainda executam todos os softwares antigos nas máquinas Windows deles, certo? Então, se você tiver, se desenvolver algum aplicativo que permita atender a determinados setores — porque não somos uma empresa vertical, somos uma infraestrutura horizontal —, se tiver interesse em desenvolver soluções para diferentes setores, essas são boas oportunidades. Por exemplo, alguns dos nossos clientes trabalham com sites de seguradoras, especificamente na área de seguros. Basicamente, eles usam os agents para acessar sites de seguradoras e buscar os dados, e alguns deles…

36:45 são da área da saúde, trabalham com médicos. Eles têm, por exemplo, computadores Windows usados pelos médicos, com sistemas ERP muito antigos, e você pode usar agentes de computador para automatizar toda a entrada de dados. Então, há muitas ideias que as pessoas vêm explorando nessa direção. Então, é isso. Espero que isso tenha dado algumas ideias. Ah, funcionou. Sim. Então, deixe-me…

37:17 porque acho que já tenho algumas skills aqui. Então, há uma skill aqui. Deixe-me removê-la. Acesse o site da AIE e veja quem vai falar primeiro na terça-feira.

37:51 Eu já tenho o site. Então, vou criar um desafio. Vou criar um novo. E você pode ver todos os logs aqui. A parte interessante é que dá para ver que esse agent está escrevendo o código do Simular quase linha por linha. Depois, vai compor todo o código em um único arquivo grande.

38:24 Navegue até a página da programação. Certo, então obtemos as informações. E, se você notar, o agent não está usando uma captura de tela. Sempre que você tenta encontrar informações, o agent decide se deve fazer uma captura de tela ou usar a árvore de acessibilidade. Desta vez, ele usa a árvore de acessibilidade. Assim, dá para ver todas as informações que estão ali em uma única visualização. E agora eu posso…

38:54 porque quero mostrar que isso pode ser salvo em uma skill. Então, se eu ativar o modo neurossimbólico e disser para salvar na skill, essa skill terá todo o código que você acabou de executar em uma sessão anterior. Depois, podemos procurar o palestrante de IA de terça-feira. Deixe-me encontrar uma skill aqui.

39:30 Mas não encontrei. Certo. Então, essa skill foi salva. Vou tentar outra consulta, em outro dia. Vamos tentar na quarta-feira. E você pode ver que aparece um modo de reprodução. A interface é um pouco diferente porque agora ela tem o código. Ela tem o código e altera o…

40:02 parâmetro do código. E, se você clicar no log de atividades, verá que o agent está produzindo muito mais código na primeira etapa. Então, esse é o código. Ele tem parâmetros diferentes. Por padrão, é terça-feira, certo? O padrão é terça-feira. Se você definir quarta-feira, ele vai alterar o parâmetro, e ocorre um pequeno problema. Dá para ver que há um pequeno problema com o agent…

40:34 que precisa filtrar as informações. Ele encontra as informações e a reprodução é bem-sucedida. Há um pequeno problema e, depois disso, o agent o converte para o modo neural, que é um agent de VM. Na primeira vez, ele sempre tenta produzir o máximo de código possível, porque, se a taxa de acerto for boa, o fluxo de execução será bem determinístico. E o agent também faz verificações durante o processo. Então, sempre que executa o código,

41:05 há uma verificação. Se algo der errado, ele para. É meio parecido com quando eu estava na escola: a gente anotava tudo o que o professor dizia no caderno, como um manual, certo? E, da próxima vez que eu quiser fazer alguma coisa, consulto minhas anotações e tento seguir todos os passos, um por um. E, se o ambiente for diferente, percebo: “Certo, tentei fazer esta ação, mas o ambiente não permite.” Então, preciso pensar mais e gastar…

41:36 mais tempo explorando o novo ambiente e tentando descobrir qual é a melhor estratégia. Certo. Então, vamos continuar. Acredito que essa seja uma boa direção para nós e até para todo o setor pensar em quais são os melhores agents que podemos criar com esse equilíbrio entre flexibilidade e confiabilidade. E estamos vendo resultados muito bons nesse tipo de…

42:06 experimento. A ideia é que você não precisa mais gastar a mesma quantidade de tokens todas as vezes com esse tipo de tecnologia, porque, na segunda vez que você executa o workflow, talvez 50% do trabalho seja feito por código, sem nenhuma solicitação ao LLM, certo? E isso pode reduzir bastante o custo. Por isso, também fizemos experimentos com esse produto.

42:36 Também estamos experimentando com pessoas um plano de tarefas ilimitadas por US$ 500. Então, o preço e os planos também podem mudar. Não será baseado no uso para sempre. Pense que, como ser humano, quando tento fazer uma tarefa cem vezes, fico muito familiarizado com ela. Consigo fazer praticamente tudo de olhos fechados, certo? Mas os agents de hoje não têm essa capacidade. Toda vez que você faz a mesma tarefa, mesmo que a faça mil vezes ou…

43:07 dez mil vezes, para a mesma tarefa e até com a mesma consulta, você ainda paga o mesmo valor para a Anthropic e a OpenAI, o que não parece razoável nem econômico. E, sim, espero que isso tenha dado uma boa noção da direção que estamos seguindo. E incentivo todo mundo a experimentar, porque estamos aprimorando rapidamente esses agents neurossimbólicos nos próximos meses. Espero que possamos alcançar algum…

43:39 avanço nessa direção. E o segundo problema em que precisamos pensar é: o que fazemos com o computador? Há dois anos, trabalhávamos nessa tecnologia de autonomia no seu computador. Basicamente, tínhamos um produto que executava o agent no seu próprio computador, mais ou menos como um ambiente de coworking. Mas recebemos muitas reclamações dos usuários, porque todo mundo só tem um computador e, quando o agent está trabalhando nele, fica em primeiro plano e você não consegue fazer nada. Sim. Isso nos levou a pensar…

44:10 que, supondo que tenhamos um agent com nível humano funcionando — supondo que tenhamos algo que funcione, embora ainda não tenhamos chegado lá, estamos bem perto —, quando esse dia chegar e tivermos um agent que funcione, precisaremos pensar no que fazer com o computador. Você ainda vai precisar de um computador ou talvez de dez? A observação atual é que, sempre que temos algo que funciona, os usuários sempre nos perguntam: “Vocês podem hospedar esse agent em uma máquina separada? Podem…

44:42 hospedá-lo em um servidor?” Essa é sempre a mesma conclusão da maioria dos usuários. E então eles começam a pedir mais máquinas. Há uma trajetória. Primeiro, estamos numa fase em que tentamos fazer os agents funcionarem. Quando funcionarem, você vai precisar de dez máquinas, cem máquinas. É por isso que começamos a trabalhar em computadores na nuvem. Eu já falei brevemente sobre isso. Acho que a ideia principal é que, se tivermos desktops gerenciados na nuvem…

45:15 isso se torna muito escalável e, no fim, espero que todo mundo possa ter cem computadores e se tornar CEO da própria organização de IA, certo? Assim, você terá cem funcionários de IA, e todos serão cem vezes mais produtivos. Então, basicamente, este ano lançamos um produto chamado Side em março. É um produto bastante novo e, junto com ele, temos o Sidebox, que é um computador virtual na nuvem. E, pela demonstração, você já pode ver que eu, pessoalmente, tenho vinte…

45:47 máquinas rodando em segundo plano. E este é um diagrama geral: o Side é a interface, e o Saasent cuida da parte autônoma — faz o planejamento e toma decisões — e depois executa operações no Sidebox, que é um computador na nuvem. Certo. E temos muitos amigos desenvolvedores. Então, eles continuam nos perguntando: “Vocês podem disponibilizar a API?” Hoje, estamos lançando a API para acessar os computadores na nuvem.

46:18 computador. Não acho que tenha tempo para fazer uma demonstração, mas, na verdade, é bem simples. Chama-se SAPI, S API, SAPI. Basicamente, você pode fazer tudo o que fiz no portal web pelo seu terminal, usando as ferramentas de CLI. Você também pode usar a ferramenta de API que há lá. Acabamos de lançar este site, então fique à vontade para conferir. Há muitas APIs e ferramentas de CLI. Quando você se cadastrar, terá uma máquina em um ambiente remoto e poderá usar esta linha de comando…

46:49 …e a API para controlar esse computador e integrar tudo ao seu próprio produto. [fungada] Sim, vou pular a demonstração ao vivo. A visão geral para esse caminho é que queremos que todos tenham um único agent, capaz de acessar várias plataformas, não apenas Windows. Também temos suporte para macOS. O NUX está chegando em breve. O Lux é muito econômico; é bem barato em termos de preço, por exemplo…

47:22 …com base na nossa avaliação interna. E a parte interessante é que também temos Android. O Android também está chegando em breve. Espero que, no futuro, você tenha alguns celulares Android na nuvem, alguns computadores Windows, e o agent consiga orquestrar todos esses dispositivos para realizar diferentes tarefas. Quero mostrar algumas demonstrações interessantes no Android. Estas são todas avaliações internas. Nesta, ele joga Angry Birds. E a parte interessante é o arrastar. Deixe-me ver. Sim.

47:59 Sim, você realmente arrasta; ele tem ações de arrastar. Ele arrasta a tela e realiza uma tarefa. Outra demonstração que acho bem legal é a do autenticador. Você abre o autenticador e a interface é a mesma. Basicamente, trocamos a VM do Windows por uma com Android. Vou acelerar. Sim, ele chega a este site com um desafio de autenticação MFA…

48:34 …e preenche os formulários ali para obter o token. Sim. E pronto. Esse é um dos problemas sobre os quais as pessoas vivem nos perguntando: “Dá para fazer autenticação de dois fatores?”. Ainda é possível, e vejo algum valor nisso, mas temos que usar com cautela. Este é um exemplo de mídia social no celular, acredito…

49:06 …em que dá para realizar vários tipos de tarefas. Sim, é bem empolgante. Acho que o Android é uma área interessante que o setor atual ainda não explorou muito. Há muitas aplicações que podemos desenvolver com máquinas virtuais Android. Então, basicamente, tudo está convergindo agora. Comecei com o computador autônomo e decomponho tudo em autonomia e computador. A autonomia, por sua vez, se divide em duas partes: a neural e a simbólica.

49:36 O computador se divide em máquinas locais e máquinas na nuvem. Então, o SAPI atende aos dois casos. Você pode integrar suas próprias máquinas para que façam parte da frota e também pode comprar nossos computadores na nuvem. E então tudo se torna o site, que foi lançado em março deste ano. Estou muito empolgado com esse novo produto e espero que ele traga muitas oportunidades novas, porque é algo que eu não imaginava há dois anos. Trabalhamos nessa tecnologia sem saber muito sobre…

50:07 …quais aplicações verticais poderíamos desenvolver. Mas percebemos, por exemplo, que uma startup da YC me viu em um evento e me contou que usa agents nas próprias aplicações verticais. Vejo uma enorme oportunidade. No próximo ano, talvez, a tecnologia estará… Com base nas estimativas anteriores, o próximo ano será muito interessante para ver o que vai acontecer. E consigo imaginar muitas novas…

50:38 …aplicações florescendo neste domínio dentro de um ano. Sim. Em resumo, temos quatro ofertas para os desenvolvedores. O Work é a interface completa: você pode explorar, experimentar os diferentes algoritmos no modo de desenvolvedor e nos dizer como funcionam. Estamos desenvolvendo ativamente novas tecnologias nessa área. O Agents Simulan é open source e todos podem usar; é praticamente grátis. E o Sidebox é a API para o desktop virtual…

51:10 …e acabamos de lançá-lo hoje, então esperem alguns bugs. Avisem se encontrarem algum. Vou passar o código de convite de hoje: aie EWF 2026. Experimentem, por favor, e me contem o que acharam. Temos um programa de créditos e ficamos felizes em colaborar de diferentes maneiras e capacidades para ver como podemos melhorar seu desenvolvimento no futuro. Certo. Muito obrigado. Quero deixar…

51:42 …um tempo para perguntas. Fiquem à vontade para me perguntar. Obrigado pela paciência. [aplausos] Vou garantir que a foto seja publicada. Avisem se quiserem ser mencionados nela. Sim, podem fazer qualquer pergunta. Vou ficar aqui por alguns minutos. Entendo que há outro evento acontecendo. >> Sim. Pergunta.

52:13 memória, de qualquer forma. >> Memória espacial. >> Sim. Para a VM, qual é o aspecto visual? >> Por enquanto, a maior parte da memória é reduzida a texto. E, como mencionei, no Agent S2 temos um modelo separado. Na verdade, não é apenas um wrapper simples de um grande modelo de visão e linguagem. Temos outros modelos open source de 7 bilhões de parâmetros. Às vezes, também fazemos fine-tuning desse modelo, que é especificamente responsável…

52:45 …por reconhecer a tela. E o interessante é que sabemos que os modelos de base estão avançando muito rápido e são muito bons, mas ainda não são muito bons em entender a tela. Essa é uma conclusão interessante. Provavelmente, é porque a internet não tem muitas capturas de tela disponíveis. Então, esses dados não estão disponíveis para treinar os modelos. Mas imagino que os modelos vão ficar cada vez melhores. Só que sempre haverá uma lacuna.

53:16 Se você tiver um modelo específico para a sua própria aplicação, pode fazer fine-tuning dele. Ele sempre será melhor do que um modelo geral dos grandes laboratórios. Sim. Pergunta. >> Algumas perguntas. >> Sim. >> Você já passou pelo processo…

53:47 …do processo? >> Sim. Então, vou responder primeiro à sua primeira pergunta. Na demonstração que mostrei, o LLM está gerando o código, certo? Essa é a abordagem que chamo de programação sem estado. Nos últimos 20 anos, fizemos programação sem estado. Já a abordagem neurossimbólica, chamo de programação com estado: cada vez que você executa uma linha de código, observa o ambiente e o estado, e o estado realmente muda.

54:18 Acredito que este seja um novo paradigma para a programação no futuro. Assim, os programas serão mais estáveis. Experimentamos LLMs, e o problema é que este é essencialmente um problema multimodal. A acessibilidade tem algumas capacidades, mas não é uma solução mágica. Algumas pessoas defendem criar um agent para computador que use apenas capturas de tela; outras dizem que a acessibilidade é suficiente; outras…

54:49 …dizem que o DOM é suficiente. Mas, depois de todas as avaliações, não há uma solução mágica para tudo. Sempre há casos de canto de um método que não são casos de canto do outro. No fim, acho que estamos adotando uma abordagem como a da Waymo: você tem um radar mais leve e uma câmera ao mesmo tempo, certo? Algumas empresas podem adotar a abordagem da Tesla: “Eu só preciso de câmeras”. Mas, se você olhar para os carros autônomos de hoje, vemos muitos veículos da Waymo circulando na…

55:19 … caminho com maior confiabilidade. É só que há vários sistemas que ajudam uns aos outros para garantir que não cometam erros, especialmente erros fatais. Você não quer que o agente vá à sua conta bancária e acrescente um zero a mais quando você envia um cheque para outra pessoa. Segundo. Sim. >> Segunda pergunta.

55:53 >> Sim. Então, o lado bom da árvore de acessibilidade é que essas informações são usadas para renderizar a tela. Basicamente, elas contêm quase todas as informações necessárias para renderizar uma tela e, se você puder usar essas informações, isso será definitivamente mais confiável. Mas ainda há alguns casos extremos, como quando o desenvolvedor do aplicativo pode dizer intencionalmente: “Esta parte não deve ser exposta na árvore”. Então, você ainda pode capturar isso

56:24 em uma captura de tela, mas não capturá-lo pela acessibilidade. Mas dá para imaginar alguns aplicativos, como o LinkedIn, por exemplo, que tem muita detecção de bots. Eu costumava fazer uma piada com meus amigos: o LinkedIn é o teste de Turing para AGI. Sim. [risos] Porque, sim, se o LinkedIn não reconhecer seu agente como agente, então você basicamente alcançou a AGI, porque passou no teste de Turing num ambiente adversarial. Eles têm muitas técnicas para detectar isso, e esse tipo

56:56 de acessibilidade poderia ser uma delas. Sim. É por isso que você ainda precisa de várias modalidades combinadas. Então, sim, tem uma pessoa ali. Vou deixar essa pessoa fazer a pergunta primeiro. Sim, obrigado. >> Sim, muito obrigado. Antes de tudo, >> somos da Alemanha. >> Temos um caso de uso na Alemanha

57:28 em que você coleta informações e depois faz muitas coisas com elas. >> Mas a pergunta é: quão confiável é tudo isso que você mostrou no mundo real hoje, quando comparado, por exemplo, ao setor de saúde? Você precisa de informações muito precisas e de processos muito precisos. >> Certo. >> Qual é sua opinião sobre isso? Sim. Então,

57:59 basicamente, a pergunta é: precisamos de informações muito precisas. Basicamente, precisamos que tudo seja 100% correto. Certo? Até mesmo ao inserir dados, é preciso ter 100% de precisão. Então, esse é o maior problema dos modelos de base atuais, mas temos uma solução para isso. Basicamente, como você pode ver, tudo é um ciclo, certo? Todos os princípios fundamentais são ciclos. Quando você faz algo, sempre verifica e critica a si mesmo. E o mesmo vale para os humanos. Quando proponho algumas

58:31 ideias aos meus amigos, eles as criticam, então há um ciclo e consigo raciocinar com menos viés. O problema da precisão também pode ser resolvido com essa abordagem. Fizemos alguns experimentos. Posso contar uma solução que usamos: sempre que você preenche um formulário, você o pega, inverte o processo e pergunta ao modelo se aquilo faz sentido. Ou seja, pede ao modelo que verifique. Na maioria das vezes, o modelo identifica que algo está errado

59:01 porque verificar é muito mais fácil do que gerar uma ação em geral. Se houver algo errado, você pega os resultados e pede ao agente que faça a mesma tarefa novamente. Isso realmente melhorou bastante o desempenho. Outra coisa que você pode considerar é a árvore de acessibilidade. Para nós escrevermos o código e ele poder ser reproduzido de maneira determinística, só é possível fazer isso com uma árvore de acessibilidade. Não dá para fazer isso com uma captura de tela, certo? Porque a árvore

59:32 é texto, então é possível fazer uma correspondência de 100%. Esse tipo de correspondência textual de 100% também é importante para garantir que tudo seja confiável. Então, no fim, a conclusão é que você precisa de um sistema. Não vai ser um único modelo que você coloca ali e espera que seja 100% confiável. Isso não vai acontecer. Mas definitivamente há uma solução para o seu caso de uso. Sim. Desculpe. É a sua vez. Sim.

1:00:13 Como vocês fazem para manter isso? >> Sim. Então, no produto, temos um mecanismo de proteção. Sempre que ele reconhece uma ação irreversível, o mecanismo diz para parar. É outro sistema monitorando esse agente. Se o agente quiser realizar uma determinada ação, ele basicamente

1:00:45 a interrompe e pede aprovação. Mas acredito que o seu problema é ainda mais desafiador, pois está num nível mais baixo, no nível do sistema operacional. Por exemplo, o agente pode dizer para abrir um aplicativo, mas você quer que esse aplicativo seja bloqueado, certo? Isso exige outra camada no nível do sistema operacional. É por isso que acreditamos que ter uma máquina Windows gerenciada na nuvem é uma direção melhor, porque temos a máquina virtual. Se for necessário, também podemos fornecer a imagem da máquina virtual para

1:01:16 você. Então, numa imagem de máquina virtual, há muitas oportunidades para mudar a estrutura subjacente do sistema operacional. Você pode, de fato, bloquear algumas ações e criar uma lista de permissões. Acredito que essa seja a direção final. Ainda estamos no início na parte de máquinas virtuais. Estamos tentando explorar essa direção e, se houver interesse, também podemos pensar em alguma parceria no futuro sobre como criar mecanismos de proteção melhores. Sim, a segurança é definitivamente um aspecto importante.

1:01:47 >> Sim. Só a proteção contra algo irreversível. >> Sim, sim. Isso segue o mesmo princípio da primeira linha que coloquei. Basicamente, tudo é neurossimbólico. Se você quer que tudo seja confiável, tudo precisa ser neurossimbólico. Você sempre começa pelo código, porque o código pode garantir 100%. Certo? Quando o código

1:02:18 fica confuso, você sempre recorre ao agente flexível e depois volta ao código. É por isso que o código continua sendo muito importante. É o mesmo princípio para o projeto do mecanismo de proteção. Ele também prioriza o código. Há muitas regras atuando ali e, se a regra não der conta do caso, ele passa para o agente e depois para uma pessoa verificar; então volta. É um princípio de projeto que tentamos seguir em todos os sistemas internos, até mesmo em cada componente do sistema. Obrigado pela pergunta. >> Sim, então, quer dizer, você sabe… >> Ciclos repetidos. Isso melhora? >> Certo, certo, certo. Essa é a trajetória. Basicamente, queremos que o consumo de tokens acabe chegando a zero. Sim, os eventos também devem chegar a zero. E às vezes dá para

1:02:48 Agradeço pela pergunta. >> Sim, então, quero dizer… >> Ciclos repetidos. Isso aumenta? >> Certo. Certo. Certo. Então, essa é a trajetória. Basicamente, queremos que o consumo de tokens eventualmente chegue a zero. Sim. O evento deve chegar a zero, e às vezes você pode…

1:03:18 ver que o código começa a ter mais ramificações surgindo quando aparecem cenários diferentes. Você vê mais possibilidades. É como o aprendizado humano, certo? Quando você vê mais amostras de dados, fica menos enviesado na tomada de decisões. Sim, é a mesma coisa com essa abordagem. >> Ah, então a pergunta é sobre um programa proprietário, usado em programas legados,

1:03:52 certo? >> No prompt inicial, é preciso ser muito específico, porque ele nunca viu esse programa. “Vá para esta tela, marque esta caixa.” Como vocês lidam com isso, especialmente quando é um processo longo? O prompt fica longo ou vocês mostram ao agente como fazer algo?

1:04:23 >> Sim. Nesta versão, você pode ver que há um prompt e o agente realizando a tarefa. Talvez daqui a alguns meses também pensemos nisso. É algo bastante comum na comunidade de pesquisa. Basicamente, se você consegue replicar — as pessoas falam sobre modelos de mundo —, se consegue replicar esses aplicativos e tem mais controle para impedir ações, com mecanismos de proteção que impeçam o agente de fazer coisas ruins, então você pode explorar. Chamamos isso de exploração no ambiente. Basicamente, você deixa os agentes agirem livremente

1:04:53 explorar o ambiente umas, sei lá, 100 vezes, e então o agent fica mais familiarizado com o ambiente. Aí, basicamente, seu prompt fica menos… você não precisa definir o problema com tanta precisão, como dizer se é este botão ou aquele botão. Você também pode ter sucesso encontrando a primeira trajetória bem-sucedida. Depois que a encontrar, ela pode ser bem-sucedida todas as vezes. E você já conhece esse processo, já consegue indicar o

1:05:24 processo exato. >> Sim. >> Sim. Sim. Sim. Sim. Sim. Muitas empresas chamam isso de SOP. Então, sim, elas têm processos internos, têm SOP. Na verdade, fizemos um experimento interessante. Passamos uma SOP diretamente para o agent de programação, certo? E, de uma só vez, tudo foi concluído com 100% de sucesso. Então, é possível, com certeza. Mas mantenho a possibilidade de que tudo ainda esteja meio que na fase de demonstração

1:05:56 . Queremos uma tecnologia geral o bastante para que todo cliente que venha até nós não precise se preocupar com nada quebrando. Então, ainda há muitos casos extremos que precisamos resolver daqui para a frente. Lembro que um senhor levantou a mão antes. >> Ah, certo. Sim. Tudo bem. Tudo bem. Muito obrigado. Ah, mais uma pessoa.

1:06:32 E, na verdade, sua opinião sobre isso é que, na verdade, é software, mas você pode ver que estamos usando os pixels para certas coisas

1:07:04 no final. Então, esse computador nem sequer vê isso funcionando. Entendi que você quer que o

1:07:34 agent funcione, mas isso é algo que você… Sim. Minha impressão é que é como um mapa, e você tenta fazer o agent percorrer esse mapa. Então, ele pode simplesmente ir até lá se você pedir para ler uma captura de tela, descobrir como devemos chegar lá, como…

1:08:06 isso não f… >> Sim, sim, sim. Essa é toda a ideia da camada de programação: basicamente, ela codifica toda a trajetória no código, certo? E acho que o problema que tentamos resolver é o seguinte: suponha que exista um software legado que não vai mudar; então, essa abordagem funciona. Mas, se estamos falando de sites, como os de redes sociais ou outros sites, eles mudam. E, quando mudam, seu caminho deixa de funcionar. Existe uma maneira de

1:08:39 adaptar de fato o agent durante essa situação? >> Quero dizer, minha resposta para esse problema foi: se seu agent principal verificar de novo… Então, há melhoria contínua.

1:09:13 >> Sim. Sim. Sim. Entendi seu ponto. Então, basicamente, a solução dele é: certo, sempre que houver uma mudança, tenho um enxame de agents explorando o ambiente. Assim, sempre conheço o melhor… >> Sim. O caminho até lá. >> Você precisa, de fato… >> Sim. Sim. Sim. Essa é exatamente minha resposta àquele senhor. Basicamente, a ideia é que, se você tem um sistema legado, o custo de exploração é zero, certo? Porque, por exemplo, se for um banco, há um custo

1:09:45 para explorar. Não posso explorar todas as ações. Mas, se você não tem nenhum custo para explorar, basta fazer a exploração: colocar agents lá e deixá-los experimentar coisas diferentes e mapear todas as trajetórias. E isso é, na verdade, um problema mais simples de resolver. Então, basicamente, acho que 80% dos aplicativos estão, neste momento, em sistemas legados. E, se tivermos… você pode… Na verdade, é mais fácil resolver o problema do sistema geral. Isso já pode capturar muito valor econômico

1:10:16 no setor atual. Sim. Obrigado pelo feedback. Sim. Além disso… >> Você acha que, com dados suficientes, dá para sinalizar dados suficientes? >> Sim. Então, a pergunta é: supondo que tenhamos dados suficientes, podemos treinar os agents para que tenham muito sucesso? Houve bastante discussão sobre isso. Basicamente, minha conclusão é que você precisa de

1:10:48 exponencialmente mais dinheiro do que a OpenAI e a Anthropic para fazer isso [risos], porque dados visuais são bidimensionais e texto é unidimensional. Então, estamos falando de algo muito maior, certo? Então, se você puder me dar alguns trilhões de dólares, certamente podemos considerar isso. Sim, mas é desafiador. Talvez seja possível com um novo paradigma, mas, dado o paradigma atual de deep learning, não é

1:11:18 algo que… não acho que seja viável no curto prazo, neste momento. >> Sim. Pergunta final. >> Certo. >> Há muita… Certo. >> Como isso funciona?

1:11:57 >> Ah, no fim das contas, seu código terá muita lógica if-else. Então, dá para imaginar que o código não será administrável por humanos, com certeza. Mas o agent ainda será capaz de escrever esse código, com muitos if-else, loops while e lógicas complexas, e ele continuará funcionando. Sim, esse é o objetivo final desse sistema. Mas você também pode dividir isso para resolver problemas simples, um de cada vez. Só que aí você tem um

1:12:28 problema de delimitação: certo, como definir um problema menor? Qual é o limite? Quais são a entrada e a saída? Certo? Então, às vezes, se você tem uma solução simples, isso é ainda melhor. Tudo bem. Obrigado a todos. >> [música]

Transcrição original

[00:12] a little bit about my background. Um, I’m the co-founder and CEO of a similar and this year is pretty much the like the 30th years that I’ve interacted with computers and now I’m trying to build a computers that’s fully autonomous so I don’t have to interact with that. And if I look look back to my history, the first 10 years I’m I I I basically get to know computer when I was pretty young. The first 10 years I focus on comparative programming like basically writing code every day. And the the

[00:43] second decade I spent a lot of time uh training neuron nets basically published a lot of AI research papers uh during my PhD and later on in deep mind and the third um uh the third decade so I joined deep mind in 2017 that’s the beginning of the third decade so this year is 20 uh 26 almost 10 years so so when when I first joined deep mind we really try to solve this problem called AGI artificial general intelligence And back then everyone is still confused. Even now

[01:15] it’s everyone’s still confused about what’s the definition of AGI but in general it’s kind of like a general system kind of like like human uh humans like like a machine can do all different kinds of things in there and uh hopefully next year we can solve the problem. So I I can think about what to do what kind of problem to solve uh for the for the first decade. Okay. So I want to u start my talk now. Um basically the reason I want to introduce that is because I spent 10 years on coding 10 years on neuronets 10 10 years

[01:47] on solving AGI. So actually that gave me this this kind of bias that we we try to inject to our current company that we have this uh this kind of principle in mind the general AI system needs to be neurosyolic basically code combined with neuronets. So, so which I will I will show you quickly why uh like we have this kind of intuition in there. So, the goal for this workshop I know we we’re kind of short on time and I do want to give uh three things back to you. First

[02:18] is basic knowledge about computer use u I understand 50% of you are still new to this domain and second is the tools we we have been working on as part of the infrastructure. There are four different type type of components that we believe would be helpful to your future development of computers uh applications and I’ll also show some applications that other people has been working on or other developers and third which is important uh since uh what we have a product called sigh and this product is

[02:48] still closed beta right now so I want to give everyone invitation code at the end of the the workshop so you have a you know opportunity to play with the product also do let me know uh Feel free to follow me on uh Twitter and join Discord. Let me know if you need more credits. So, so I definitely like give more credits in there. So, the first question is what is a computer use agents, right? So, uh normally what I do with the with my talk is I can take a selfie here

[03:22] with everyone. I’ll take half. Yeah. So, so this is what I do every day now. So actually I’m I’m the CEO, so I don’t use computer all day long. I have my agents on my phone. So I can text my agent, send a photo there and say post the photo to LinkedIn. Yeah. And then the agent will will be working on it. So let’s see. So I do

[03:55] want to see if the agent is responding there. I think I got some. Okay. So, let’s see. I do have my message there. Okay. The agent is responding. So, he has my photo there. And you can see the agent is starting

[04:26] asking me questions there. So uh I uh I won’t interact with the agent right now but I want to show you the basic interface. So computer is agents means mean means the agent that has a computer which is a full Windows desktop in this scenario and if I continue interact with the computer the mouse and keyboard is know it’s going to work on this desktop and open a LinkedIn later and I’ll go back to the presentation. I just show you an example of having one agent. So I can talk to the agent agent

[04:58] working on applications but actually you can have multiple that’s what we are actually working on. So uh the these are four agents you can see they have different names right so QA agents is basically like uh doing QA on the products testing product is one big use case in there they also research customer support go to the score channel and looking at all of the information there. So the the actual agents are slower. So it’s actually this is recording for like hours. So I just compressed that into 30 seconds for you

[05:30] to basically grab the you know the basic understanding of of how computer us agents is working in there. So the general idea this is very different from um most of the agents that we talk about right now like most of the agent they’re based on APIs and you don’t actually see visually what the agent is doing. Computer use agents is another category and we believe is a is a is another bigger category which can do a lot more things that you you don’t have APIs you can still let agents to work on it and

[06:01] then I want to do a little bit ritual because we started a company in 2023 right and that was uh right after GT 3.5 and uh GT4V so I want to show you one example that two years ago we kind of we’re kind of hopeless two years ago on this problem in there. I actually post it on on Twitter. So this is is my tweet and let me pause a little bit. This is my tweet two years ago. So the the problems is like can we actually use GP4V to understand the screen and then

[06:34] click on the iMessage icon on the screen. Very very simple trivial trivial problem. And I basically use the model build up a iterative refinement of the the grounding. You see the the most the first time is is not correct. The second time is go to the mailbox icon and the third time is correct on the iMessage. So this is this is the only one successful demo I did. [laughter] So so

[07:05] I asked I asked the agent to to click on Zoom. It doesn’t work at all. So two years ago this problem is basically hopeless but we kind of have the intuition that uh financial model is going to be better and better over time eventually this problem will be solvable but it’s just like it’s not possible within two years back our um that actually motivates us to think about what’s the general strategy for solving this computer use agents uh problem and we do have a name for that it’s called autonous computer because you know like

[07:36] if the computer can do all different kind of things it’s autonomous right and then The question is how do we solve autonomous computer? So when I when I talk about it there are only two words autonomous and computer. So it’s become so natural two directions you think about one is the autonomy the other is computer right autonomy meaning like do we have a system that can actually understand the context the environment of the of the computer and do all the reasoning planning can recover from its own mistake um like

[08:06] doesn’t require human to babysitting the the agent and the second part is computer like what kind of computer uh the agent can use so this is a core question but back then two years ago we feel computer is actually easy problem because everyone already have computers right so that’s why we focus a lot on the autonomy part so when we talk about autonomy this goes back to the the underlying principle we initially have is called neuro symbolic neuro means this also happens to self-driving car it’s basically the the same concept for

[08:36] all different kinds of autonomous system they all have the same concept you you you have a component that’s neuro here is a VM vision language model VM agent and the Second part is symbolic and here is we call it coding agent back then and basically we need to solve these two technology in order for us to make autonomy works and I just show you a demo two years ago VLM doesn’t work at all right so that’s why we actually spent a lot of time two years ago working on the coding layer to ensure okay like we can actually control the

[09:08] computer in a more reliable way but the second problem is we we set up a research team two years ago to think about okay how can we make this craft app VM better in terms of using the uh using the computers. Um before I start talk about the the trajectory our journey on the VM agents I want to uh briefly talk about the the signals like you know like self-driving cars uh like we running on the road they have signals lighter radar and uh and like camera

[09:39] right three different kind of signal computers had the same so I often tell people like okay we are we actually working on self-driving cars in the in computer in a digital world basically changing the steering wheel to your mouse and keyboard so we still three different kinds of signals. One is screenshot, the other is accessibility tree. So accessibility tree is very unique. It’s it’s kind of rare, you know, in in our in our daily life. DOM tree is pretty popular because we use browsers. Accessibility tree is a kind of a uh still kind of like a dome tree,

[10:10] but this is this tied to each of the operating system. Mac has it its own accessibility tree format and Windows has it like a separate protocol for accessibility tree. But this is the basic the the the layer that operating system use to render all of the windows all of the icons on on your screen in there. So this this part is very important. It’s because um yeah the these are the the effort we’ve been working on is called a so the whole idea is can we build out a harness. So

[10:42] two years ago we don’t call it harness. Now day everyone call it harness. So two years ago we we build out we try to finish this project called agents build out a harness b uh build upon all of the foundation models not just one so you can easily switch models it’s model agnostic framework that allows you to produce the best uh computers capability in there and the first generation was done in late 2024 and it’s called agents uh we just call

[11:12] it agents because that that’s the beginning and This agent achieved 20% success rate on OS word 20%. And that was the state of art state-of-the-art back then in 2024 which is very interesting. And this paper this paper also won the best paper in I clear 2025 agenda AI workshop you know that the the whole industry was moving so fast over the past year and which is crazy and this the the choice for this harness is

[11:42] because first we know vision language model is so bad it’s not going to work. That’s why we chose to use accessibility tree in the first generation. Basically, we look at all of the the underlying protocols of the tree structure to describe the current environment and pass it to a large language model instead of vision language model and use ID ID based grounding basically linearize all of the all of the buttons put them IDs and ask LM like which button what’s the ID of the button where I need to click on right now. It kind of

[12:14] works. There’s 20%. which is super exciting because in the beginning this benchmark is like 5% success rate in the early [laughter] 2024 in there and then early 2025 we started to see okay vision language model is getting better so the second generation of agents we actually uh completely dis discard the accessibility tree so it’s a vision only approach and the interesting part is this architecture we have multiple layers like managers

[12:46] and workers. So it’s kind of like human organization and we showed it kind of works and this work specifically was um a a lot of friends in summary actually talked to me about this work. They they feel pretty excited about this work. The reason is this master demonstrate that if you have two models you are better than one models. If you have two foundation models within the same harness it’s better than one uh foundation models. And the second foundation model is a

[13:16] seven billion open source model. So yeah, so all of the startup friends, they are pretty excited about it because okay, there’s a there’s our journey like I can train some small models and we can be 20% better than uh like cloud or openi uh computer agents there and late 2025 we have our third generation agents and the whole idea of this part is can we actually do test time scaling it’s called inference time scaling is when you have a agent can you

[13:48] have multiple agents to try to attack uh solve the same task and eventually you have better performance and with demonstrator it works. So this is uh the figure for the total resource budget meaning the total number of workers versus uh times the total number of steps and this for like fair comparison and you can see if you have 10 agents you actually scale better in terms of success rate. So then in December we break the human performance uh record in OS world benchmark and these are

[14:18] comparison of all the trajectory between among uh agents and anthra and openi uh both big labs they achieve the same human performance uh in March this year and that also uh it’s uh last December was an exciting moment like we feel okay like computer user agents is finally start to be somewhat useful but you know this benchmark is kind of research benchmark it doesn’t mean like in real life it’s already 100% it’s already better than human um a few days ago OS

[14:50] word has uh has released their second generation called OS world 2 I’m specifically excited about this new benchmark so um in the new benchmark the best performing model is only 20% in that benchmark so so we are we are entering the second phase of computers uh agents in there I want to show show you one video. Uh there was a very interesting um demo that one of the developer used. So this this project actually won the cow hacks

[15:20] last year. So it’s it’s a it’s a one of the biggest hackathon in uh hosted in in Berkeley and they they built their applications based on agents the open source one. >> I guess uh you probably don’t I’ll hear the voice. >> What if you can control your computer from anywhere in the world just by it? We built a multimodal agent with full control of the computer. So instead of

[15:51] calling your mom to debug your two out of memory errors, you can just FaceTime the Mac instead. Let me show you how it works. >> Okay, so suppose that you’re training an A model at home, but you already left and you just realized that you had a CUDA out of memory error. So what’s the easiest way to fix this? Well, instead of driving all the way back home, you can just call your computer and tell it to do itself. So, we can call it and text it to FaceTime me and then this will initiate the computer use agent right here to uh start a FaceTime call so that I can tell it what I want to do.

[16:24] >> Yeah, they they did a very interesting thing. Let me >> So now I can see what the thing says. Can we fix my CUDA out of memory error in VS Code? Okay, the task is to fix the CUDA out of memory error in VS Code. I will hit command space VS Code to open the application. >> So these are all automatic. >> Okay, I’m in VS Code. I’m looking for the CUDA out of memory error. >> It looks like this file has a CUDA out of memory error. Based on the comments,

[16:54] it looks like the tensor size is too large. So I should try to decrease this to something reasonable. Yeah, I think I think you kind of get the idea. So the idea is build a application that you can control your computer using FaceTime and use FaceTime to debug in VS code. That was happening in October last year. That’s before like even open claw was started as a project

[17:25] in there. Then we had to think about what’s the second uh you know second phase of computer use agents in there. So we already surpass human performance in the benchmark like what’s next? Then we realized okay there’s actually a very interesting concept to called pass to the power of K. And in the past, everyone was measuring pass ad meaning is is pretty popular in in VIP coding like you you have a task you add you ask the agent to uh produce the code right if the code doesn’t work and then you

[17:56] you put some prompts in there and produce another another uh code in there one of the code becomes successful is successful because you don’t care about what’s happening in the past you only care can I get a code that works right in computer use is very different because Like we we started to get customers two years ago and all of the customer talk to me about this question like can I actually put your agents hosted in a server and run this workflow every day and I don’t have to you know

[18:28] keep looking at looking at looking at what workflows I don’t have to debug in there. So basically everyone was telling me about this metric pass to the power k. So this means I run this agent K times every time it needs to be successful and this metric is not captured by any benchmark in there and then we started to research this problem. So we took the best performing agents in OS word and their performance is pretty good in three different categories and then we

[19:00] run the stem agents three times. We measure the performance of pass to about to about three right from this figure you can see all the agents has degraded performance in there they almost dropped 10% success rate even even the best performing agent in there and the second part is on perturb environment meaning my querics could be a little bit different and environment could be a little bit different each time and it get even worse so this this is still a

[19:30] problem in the computers agents nowadays Because you can see uh Claude has Codex has uh agents, claw has agents. None of the agents actually produce reliable repeatable process for you. So this is a recent paper we published uh like two months ago. So basically discussing this problem and there’s a little simple trick that we proposed in this paper that everyone can you know can borrow the ideas in the future if you want your agents to be more

[20:01] reliable. The trick is basically ask the agent to to ask you clarification clarification questions when you give them the instruction. So, so basically this paper was saying like suppose the agent always ask you some questions about ambi ambiguous part in your in your prompt the reliability of the agent will be better and there’s a prompt in the in a paper that everyone can look at it like basically it’s a it’s it’s pretty simple it’s just like okay like

[20:31] your goal is to minimize u uh have minimum uh clarification that still preserving the nature this line is very important You put this prompt to the agent and the agent can perform better. After you put this clarification prompt to the agent, you can see like the overall um reliability of the agent is getting better like dash line is the original performance with no clarification and the solid line is the one with clarification. Right? You can

[21:02] see cloud is getting better and agent S with GPT5 which is interesting has the biggest improvements in there. So, so the the purple line is model agnostic framework and the green line is is the you know like big labs computer agents in there. Okay. So, so basically this is our journey for solving the VM agent which seems to be work work pretty well and still like nowadays still people using the agents framework because model

[21:32] agnostic you can plug in any open source foundation models. I’m also like looking forward to getting like results with the latest open source big model like GLM uh 5.2 tool and see how the performance looks like in there. And then the second question is okay, it doesn’t solve the reliability problem, right? It like these these agent doesn’t seem to be have as long as you’re using a neuronet, as long as you use a VM, it’s in the end at the end of the day, it’s a probabilistic model. It produce a

[22:03] probability each time. So it’s not going to give you the same performance uh if you run it for like 247 every day. Then we had to think about what’s the next thing to think about is basically symbolic layer. We call it coding agent and we open source this uh language we call it simulan. Uh it’s a language for similar. So we call it simulan there. So this language is kind of like if you’re familiar with RPA industry it’s kind of like what RPA industry used to do like

[22:34] they ask engineers to write a code. uh but the common problem for uh RPA is there’s no single protocol that’s shared across the whole community that everyone can use and we try to create this uh uh in browser automation we have playright which is in a standard way but in computer use there’s no really no uh industry standard there so that’s why we we open source this we hope it’s helpful to all the developers so you can u actually like build your own square pin layer for different workflows that’s reliable deterministic each time.

[23:08] Yeah. So, basically the goal is to allow you to run to create uh source code for Simulan and run this code you know you know terminal and you can also use it in claw code. So I I do want to give you a quick demo there. So let me Okay. So now I’m in a cloud code.

[23:41] So if you install um maybe I should show you simul Yeah. So these are the the landing page and if you go there there’s a simple oneline installer npm installer. Once we install, you should be able to use it on your own terminal. And I’m a claw code user. So I like to see because no one is writing code nowadays, right? It’s important for you to use V coding to to do this kind of

[24:12] automation. So once you install there’s a skill that you can is paired with Simulan. So you can just uh you know use the skill. So I can say go to AIE website and summarize the events. Okay. So let’s see how it works. So now it’s checking checking version.

[24:44] So these are the logistic stuff. But it does understand it’s going to use simulan to open AI engineer words fail website continue. So you can notice is it’s try to use a simulant JS is a JavaScript uh language. And now clock is gonna try to

[25:17] write some code using the simul protocol. Yeah, I think it’s because the the clock is new. So u it needs to do lots of uh logistics stuff. I allow reading for everything. So you can still think about this this uh this is approach. It’s a different

[25:47] approach for computers. It’s basically reduce computers problem into a uh coding problem in there. I have what I need. Let me write a script that opens the website extract the content in there and then you can see the the agent is writing the code. After that it opens the website automatically on your so so similar line is running on your own computer. If you have a virtual machine you can also deploy virtual machine there.

[26:20] So there’s a and then you know after after clock run the code it recognize some errors and after it gets the errors it try to revise the code. So this is pretty much if you enable you know like auto approval this is pretty much already um a self-improving uh computer agents there some level of self self-improving there I do want to see the

[26:50] it’s not there and you can see claw code is decided to use accessibility snapshot instead of the screen screenshot because you know it’s a summarization task. Okay, it’s coming. It gets uh it actually summarize it did. Yeah, it summarized all of the events for

[27:22] AI engineer in there. Okay. So, I’ll pause here and I do want to show you the full code which could be interesting to look at. Yeah. So, these are the full code. It looks like JavaScript uh just like any any other JavaScript and it does open a window take the snapshot and write to the file. Okay. So, let me

[27:53] go back to my presentation. Okay. So, so I I’ve been talking about like two completely different approach. They’re orthogonal. They’re not the same same approach. But the question is do we actually need two frameworks? Right? So, so they they try to compete with each other. And this goes back to like a like a very uh interesting and important topic in in

[28:24] the whole deep learning because uh when I was in deep mind I specifically focusing on this problem called continual learning. So that’s why we did a lot of study on like uh AI systems in there but in the end we realized okay there’s no silver bullet like yeah the the when whenever technology you have uh like you have still have to solve the two problems as a trade-off like the the learning any learning system needs to learn to new things and any of the learning learning system needs to you know make sure you can accomplish the the task that you you you’re already

[28:56] successful uh repeatedly. So this become it’s called stability and plasticity dilemma. So you you want the learning system to be stable but at the same time you want the learning system to to have this capability to adapt uh to adapt to new environments in there. It’s never be the case that you you are both you you’re good at both. So that’s the conclusion. Yeah, it’s always trade-off. Then then the problem we can think about is how do we balance the two in it? And if you look at the two system I just

[29:27] demonstrated these two systems are coding agent and VM agents right they’re basically representing the two extreme of this learning system the coding engine produce the code and it’s determinance all the time but it’s kind of stubborn right if you run a code every day if the environment changes then the code breaks so that that’s the problem and the V engine is kind of adaptive but the problem is you cannot rely on the V agents to uh you know like repeat the process all the So the core question is okay can we find a middle

[29:58] ground between the two because the north star is basically the best adaptivity and the best reliability right can we also call this this curve we call this curve parental front and can can we actually find a the sweet spot there so this becomes the current direction that our company is specifically focusing on like basically try to find a unified framework that we can combine these two into one single single principle which which we call neurosyic right because

[30:29] there’s a neuro then symbolic is there a way that we can actually like fuse these two technology into one single framework that it becomes self-improving all the time and becomes robust when when reliable when it’s needed becomes uh adaptive when environment changes so I wouldn’t say we solved the problem I wouldn’t say we solved the problem but uh I would say like we we are already at the initial phase of moving towards this direction because there’s a clear paradigm that we can do right now because we have we have a VM agent

[31:01] that’s better than human in a small benchmark and we have a coding protocol that we can actually write a code using coding agent and the protocol can produce deterministic workflows in there. This is a simple way for us to do this new experiment. So basically we we let the VM agent to run in the environment and the agent keep writing the code to a file and once this workflow is successful you have a you have a you

[31:32] have code that’s that’s that’s successful and the next time you run the agent you can run a code first instead of run a VM agent right if it doesn’t work if the environment changes like when it breaks uh as as I just demonstrated there’s actually a healing loop that you can do with the coding agent. So this this become very interesting and uh yeah I added this slide. So basically another interesting uh story is this

[32:03] year’s cow hacks the the Sam hackathon the first place also use our uh our agent but this time they they’re not using the agent to build a product they actually use the agent to test the product which is another interesting category that everyone can look at because all of us are developers right we write code and we know like nowadays there are more and more PRs more and more code then who’s going to do the testing then computer use agency is a solution for that So basically this is the agent that can just move in the mouse click on the uh on the dashboard

[32:33] and doing a testing for you. I’m not sure if I have time. If I have time I really want to uh show a demo about like the the testing part but I can I can try let me try um let me try to show you the loop that we have in the product. It’s a it’s an initial effort. It works in a lot of cases, but sometimes there are still some hiccups in there. So, um

[33:04] I do look I do look forward to everyone like testing the product and give us feedback in there. Okay. So, let me I’m not sure if this one is doing Oh, this one. Okay. So this is the value VM. This is the agent is not

[33:36] you see I have I have a lot of VMs here and I I do put different names to to them. Um so let me try this one though. So in order for you to enable the neuros symbolic mode you need to come to this dashboard click on agent there are a lot of special there are a lot of special algorithm we do uh here like humanized control like the trajectory is different uh clical integration so you need to

[34:08] look at the sim flow code replay so this is a specific experiment we’re doing right now so the whole idea is uh basically the diagram I just showed uh if you enable that we can try something. Let me ensure the desktop in there. Okay. So, we can try this. Yeah, we can still try the the simple thing. Just want to give you a rough idea of how this works. Go to AIE web page and

[34:39] um find the first speaker on Tuesday. There’s a always has problem during live demo in let me restart agent.

[35:12] Let me see if my VPM is awake. Yeah, while we’re waiting. So, let me show you another demo because I al I have a backup in there if live demo needs no longer time. So, we can show another one. So, this one is a collaboration with Microsoft. Uh so Microsoft has uh Microsoft is also built in this computer infrastructure uh because because they are the creator of Windows. So these are

[35:43] the VMs from Microsoft. It’s called Microsoft Windows 365 for agents and the idea is from this you can see like on the left side the chart. So the idea is okay like use uh use our agents on Microsoft virtual machines to to fill out the form on a traditional ERP. So this is one of the biggest area for computer computer use agents because uh there’s still so many traditional industries and they don’t have modern APIs they don’t have

[36:13] like you know they still running all the old um softwares on their Windows machines right so if you have if you build out any like applications that allow you to go to certain verticals because we are not vertical company and we are horizontal infrastructure if you’re interested in building like towards different verticals these are good opportunities Um like for example some of our customers they uh they work with insurance website they specifically working on insurance. So basically they use the agents go to insurance website and uh fetch the data and some of them

[36:45] are healthcare u they work with doctors they have uh like doctors has windows uh machines with ERP system very old and you can use computeriz agents to automate all the data entry. So there’s lots of ideas that uh people has been uh exploring in this direction. So, um, yeah. So, those are hopefully that’s that that’ll give you some insights there. Oh, it works. Yeah. So, so let me

[37:17] because I guess I have some skills that’s already there. So, there’s a skill here. Let me remove it. go to AIE website and see who’s speaking first on Tuesday.

[37:51] I already have website. So, let me make a challenge. I create a new one. And you can see all of the logs here. And the interesting part you can see this agent is writing uh almost like line by line simulan code. And after that it’s going to com compose all of the code into one big file.

[38:24] Navigate into the schedule page. Okay, so we get the get the information and if you notice the agent is actually it’s not a screenshot. So whenever you try to find information the agent actually decide should I take a screenshot or should I take accessibility tree this time actually take access accessibility tree. So you can see all the information that beneath in one shot in there. And what I can do now

[38:54] because I want to show you that uh save to a skill. So if I enable that neurosy mode and I say save to skill, this skill will have all of the code that you just run in a in a previous session. And then we can look at AI speaker on day. Let me find a skill there.

[39:30] I didn’t find it though. Okay. So this skill is saved. So I’ll try a different query. on a different day. Let’s try on Wednesday. And you can see there’s a replay mode showing up. The interface a little bit different because it it does have the code. It has the code and it changed the

[40:02] parameter of the code. And if you click on the activity log, you can see the agent is actually producing a lot more code in the first step. So these are the the code. It has like different parameters in there. U by default is Tuesday, right? The default is Tuesday. If you set it Wednesday and it’s going to uh change the parameter there and there’s a hiccup. You can see there’s a hiccup for the the agent

[40:34] need to filter in there. It does find the information and replay successful in there. there’s a little hiccup and then after the hiccup the agent uh convert it to the neural mode which is a VM agent. So the first time it always try to produce all of the code as much as possible because if you have a pretty good hit rate it’s going to have a very determin successful overflow and then the agent also have verification in the middle. So every time it runs the code,

[41:05] you have verification. If there’s something wrong, stop the it’s kind of like it’s kind of when back when I was uh when I was in school, we we write everything that teacher says in the in the memo as a playbook, right? And next time when I want to do something, I look at my memo and try to do all the, you know, the steps step by step. And if the environment is different, I notice, okay, I I try to do this action, but the environment doesn’t allow me to do that. And then I have to like think more spend

[41:36] more time on you know like exploring the new environment and try to figure out like what’s the best strategy to do. Okay. So let’s move on. Uh I believe that’s a good direction for us to for even for the whole industry to think about like what’s the what’s the better um agents that we can produce with this kind of balance of flexibility and reliability. And we do see pretty good uh success in this this type of

[42:06] experiments. It’s like okay I don’t I think the I think the main point is you don’t have to spend the same amount of tokens each time anymore with this kind of technology because uh because the second time you run the workflow maybe 50% of the effort is done by code without any LM request in there right and uh you can you can dramatically reduce your cost so that’s why we also experimented in this product

[42:36] we also experiment with people on like $500 unlimited task plan. So the price and plan may also change. It’s not going to be like uh usage based forever. Uh because you think about like as a human, I’m I’m a human. When I try to do a task a 100 times, I become so familiar with that. I can pretty much do all the things with my eyes closed, right? But today’s agents, they don’t have this capability. every time you do the same task, even you do a thousand times or

[43:07] 10,000 times for the same task, even the same query, you still pay the same amount of money to anthrop and open, which doesn’t seems to be like the the reasonable uh is it’s not economical as well. And yeah, so uh hopefully that that gave you a pretty good sense about what direction we’re we’re going forward. And uh I do encourage everyone to try try it out because we we actively rapidly improving that neuros symbolic agents uh in in a in the coming months and uh hopefully we can achieve some like a

[43:39] breakthrough in that direction. And the second second problem we have to think about is okay like what’s the what do we do with with the computer? So two years ago we we work on this autonomy uh technology on your computer. So basically we have a we we used to have a product that runs the agent kind of like called co-working on your own computer but we receive a lot of complaint from users because everyone has only one computer and then when the agent is working on it it’s in foreground you cannot you cannot do anything. Yeah. So so that actually motivates us to think

[44:10] about okay suppose we have a human level agent uh that works. Suppose we have something that works. It’s not it’s not there yet. We we’re very close but when that day comes we have agent that works then we have to think about what do we do with the computer like do you still need one computer or maybe you need 10. So the current observation is whenever you have something that works, users always ask us to can you can you actually host this agent on a separate machine? Can you

[44:42] host on a server? So this is always always the same conclusion from most of the users. And then they will start to ask for more machines. So there’s a trajectory. There’s a trajectory. First we are in the in a in a phase that we really try to make agents works. Once it works, you need 10 machines, 100 machines. That’s why it motivates us to work on the cloud computers. Um I I briefly talk I already briefly talked about it. I think that the whole point is if we have the cloud managed desktop

[45:15] uh it becomes so scalable and everyone in the end I hope everyone can have a 100 computers so you become the CEO of your own AI organization, right? So you have 100 AI employees in there and everyone become 100x productive. So yeah, basically this year uh we we launched a product side in March. Uh it’s actually a pretty new product and together with that is called side box. is the virtual computer cloud in there and from the from from that demo you can already see I have personally I have 20

[45:47] machines uh running in the background in there and uh this is a general diagram s is actually the interface and sausent which uh do which does is auton autonomy part does the planning and decision and then doing operations on the sidebox which is a cloud computer and okay and then we have a lot of friends who developers. So they keep asking us so can you actually expose the API. So today we actually uh releasing the API for uh accessing the uh the cloud

[46:18] computer. I don’t think I have time to demo but it’s actually pretty simple. It’s called SAPI S API SAPI and basically you can do everything that I did in the web portal through your terminal using the CLI tools and you can also use there’s also API tool in there and uh we just released this website so feel free to check it out there’s a lots of APIs CLI and once you sign up you have a machine in the remote uh remote setting you can use this command line

[46:49] and API to uh control that computer and integrate to your own product. [snorts] Yeah, I’ll skip the live demo. So the the general vision for this direction is we want we want everyone to have one single agent and this agent can access multiple platforms not just Windows. So we also have uh uh support on Mac OS. The NUX is coming soon. Lux is very uh economically friendly. is it’s pretty cheap uh in terms of our pricing uh like

[47:22] based on our internal evaluation and the interesting part is we also have Android. So Android is also coming soon. So I I do hope like in the future you have a couple Android phones in the cloud you have a couple windows and the agent actually can orchestrate among all of the device to doing all different task uh in there and I want to show some interesting demos for the Android. So these are all internal uh like evaluation. So this one is a play in the Angry Bird game. And the interesting part is actually drag. Let me see. Yeah.

[47:59] Yeah, you actually drag, you know, it has a drag actions. He drag drag the screen and doing a task in there. And another demo I feel pretty cool is authenticator. So you actually go to authenticator and uh it’s the same interface inside. Basically we swap Windows VM to Android one. So let me make it faster. Yeah, it goes to this M MFA authentication challenge

[48:34] website and fill out the forms there and then get the token. Yeah. And then success. So, so this is this is one of the problem that people keep asking us like okay like can we do 2FA? still possible and I do I do see there’s a there’s some value but we have to use it in with like uh c caution there and this is a example for I believe the social media on the phone u

[49:06] like you can actually do different kind of task there yeah it’s pretty exciting I I feel the Android is a interesting area that like the current industry hasn’t really like explored much you know there there should be a lot of applications that we can do with Android virtual machines. So basically everything is converged right now. So I started with autonomous computer and I decompose everything into autonomy and computer and then autonomy becomes two parts the neural part and symbolic part.

[49:36] Computer become local machines and cloud machines. So s actually serve for both. So you can actually like integrate your own machines to be part of the you know the fleet in there and you can also buy our cloud computers and then everything become site which is released uh in March this year. I’m pretty excited about this new product and I hope uh that will bring a lot of new opportunities uh u because this is something like I didn’t imagine like two years ago like we work on this technology we don’t know much about like

[50:07] what the vertical application we can do but we actually realized okay like for example there’s a YC startup uh saw me in one of the event and they tell me they actually use agents for their own vertical applications so I do see there’s a huge opportunity that within like in the Next year could be in the next year the tech technology will be uh relatively based on the the past estimation the next year will be very interesting to to see what’s what’s going to happen and then what I can imagine there are a lot of uh new

[50:38] applications like blossom in in in this this domain in within a year yeah basically to summary we have four uh offering for all the developers side work is the basically the whole interface you can explore you go to the different algorithms in the developer mode give it a try let us know how it works and we actively developing new technology in there agents simulan which is open sourced and everyone can use it’s pretty much free uh free to use and sidebox is the API for the for the

[51:10] virtual desktop and we just released today so expect some bugs uh do let us know uh and I I’ll give you the invitation code uh for uh today is aie EWF 2026 and please give it a try. Let me know uh the feedback. We do have a credits program like uh happy to collaborate in a diff in different way different capacity and see how to you know like uh make your development better uh in the future. All right. Thank you so much. Uh I I want to leave

[51:42] some time for questions. So feel free to uh ask me questions in there and thank you for your patience. [applause] I I’ll make I’ll make sure the photo is posted. So, let me know if you want to be mentioned in there. Yeah, feel free to ask any I I’ll stay here like for a few minutes. I understand like uh there’s another events going there. >> Yeah. Question

[52:13] memory anyway. >> Spatial memory. >> Yeah. for VM how it visually looks that >> for now more most of the memory are reduced to text in there yeah and we do have as I mentioned in agent S2 we do have a model separate model so it’s actually not a simple wrapper of a large vision language model so we have other 7 billion open source models sometimes we also like fine-tuning that model and that model is specifically responsible

[52:45] for recognizing the screen and the interesting part is we know the foundation model is progressing so so fast and so good but it’s still not very good at understanding the screen. So that’s an interesting yeah interesting conclusion. Probably it’s because the internet doesn’t have many like screenshot data uh available. So so it’s it’s not available for them to train the models in there. Um but I can imagine the model get getting better and better. But it’s just like there’s always a gap.

[53:16] If if you have a model that can specifically for your own application, you can fine-tune that model. is always going to be better than like uh like a general model from big labs in there. Yeah. Question >> couple questions. >> Yeah. >> Have you experienced

[53:47] the process? >> Yeah. So, so let me answer answer your first qu first question first and uh the demo I showed is LM right generating the code and this is this is the approach I call a stateless programming. So all of the past 20 years we all do stateless programming and the neurosyolic approach I call it stateful programming meaning when you every time you run one line of code you look at the environment look at the state and the state actually change.

[54:18] So this is I I believe this is a new paradigm for programming in the future. So program will be more stable in the future and uh we we tried LM and the problem is this problem is essentially multimodel right so accessibility can have some cap capability of you know like some but it’s not it’s still the same there’s no silver bullet so some people argue you can do computer agent just for screenshots just using screenshots some people say accessibility is good enough some people

[54:49] say DOM is good enough but in the And after all the evaluation there’s no silver bullet on everything. So you always has a corner cases of one which is not corner case of the second. So, so in the end I think we are actually actually taking a whimo approach but you have lighter radar and camera at the same time right and some some company they may take the Tesla approach like I I just have camera and yeah but if you look at today’s self-driving car uh we do see a lot of whimo uh running on the

[55:19] road with better reliability there it’s just that you have multiple systems that help each other to to make sure they don’t make mistakes like especially fatal mistake you don’t want You don’t want agent go to your bank and add another zero when you send a check to other people. Second. Yeah. >> Second question.

[55:53] >> Yeah. So uh the good part for accessibility tree is that information is used to render the screen. So basically that information has pretty much all of the information that’s needed to render a screen and if you can use that information is definitely more reliable. But there are some uh there still corner cases like the developer of that application can intentionally say this part do not expose in the in a tree. So, so you can still capture that

[56:24] in a screenshot, but you don’t capture in accessibility. But you can imagine some applications like uh for example, LinkedIn has a lot of B detection there pretty much the I used to tell a joke with my friends like LinkedIn is is the Turing test for AGI. Yeah. [laughter] Because Yeah. If if LinkedIn doesn’t recognize your agent as agent, then you pretty much achieve AGI because you pass the Turing test in because they they’re in adversarial setting and uh they have a lot of techniques to detect and like this kind

[56:56] of accessib could be one of them in there. Yeah. So that’s why you still need multiple you know combination of the modality. So yeah, there there’s one person I I’ll yeah I’ll let that person ask question first. Yeah, thank you. >> Yeah, thank you very much. First of all, >> so we’re from Germany. >> We have a use case in Germany

[57:28] where you take information and then a lot of things with them. >> But the question is how reliable is all of that that you have shown in the real world today when you compare it with the healthare sector for example. So you need very accurate information and very accurate processes >> right >> what is your opinion on that? Yeah. So,

[57:59] so basically the question is so we need a very accurate information. So basically we need everything to be 100%. Right. So even when you do data entry you need to be 100%. So uh that problem is the biggest problem of the current foundation models but we do have a solution for that. So it’s basically uh as you can see everything is a loop right. So all the all the fundamental principles everything is a loop. when you do something you always verify criticize yourself and it’s the same for humans. So when I when I propose some

[58:31] ideas to to my friends they they criticize so I have the loop so I can like reason with less bios in there. So the the accuracy problem can also solve by this approach. So we we do have some experiments that I can tell you one solution we did is uh uh whenever you have something you fill out the form you take a form reverse it and ask the model does that make sense right so ask the model to verify if the mo most of the time the model recognize something wrong

[59:01] in there because verification is is much easier than generation generation general action and if there’s something wrong you take the results back and ask the agent to do the same task again. It actually improved the performance a lot. And um another thing you can think about is the accessibility tree like for us to write the code and for the code to be deterministically replayed you can only do in accessibility tree. You cannot do in a screenshot right because the tree

[59:32] is text can you can do 100% matching there. So that kind of a 100% text matching is also important to ensure everything is uh reliable. So in the end the conclusion is you have to have a system. It’s it’s not going to be one model. You put it there and then you can hope that’s 100% it’s not going to happen in there. And uh but there’s definitely a solution for your use case in there. Yeah. Sorry. Your turn. Yeah.

[1:00:13] How do you kind of keep it? >> Yeah. So, so in the product side we do have a guard rail. So whenever there’s a action that recognize that irreversible action the guaro will say stop there. So it’s another system another system monitoring this agent. If the agent want to do a certain action it’ll basically

[1:00:45] cut off and say ask for approval. But I believe your your problem is even more challenging is more at the low level of the operating system level like for example the agent will say open this applications and you do want this application to be blocked in there right so this requires another layer uh on the OS level that’s why we believe have the claw managed uh Windows machine is a better direction because we have we we have the VM so if you need we can also produce uh the image the VM image for

[1:01:16] you so So in a VM image you have lots of opportunity to uh change the underlying you know structure of the operating system. So you can actually block some of the actions have the white list in there. So I believe that’s the that’s the final direction. Uh we are still early on the VM part. I we we try to explore that direction and uh like yeah if you’re interested like we can also think about some partnership in the future uh on how to have better guard rails. Yeah, it’s definitely like a

[1:01:47] security security guard is definitely like one important aspect in there. Yeah. Thanks. >> Yeah. Just the protection of an irreversible something. >> Yeah. Yeah. So, so that that’s that goes to the same principle that the first line I put in the so basically everything is neurosymbolic. If you want everything to be reliable, everything needs to be neuros symbolic, you always go to the code first because code can guarantee 100%. Right? When the code is

[1:02:18] confusing, you always go to the flexible agent and then come back come back to the code. So that’s why the code is still super important. It’s the same principle for the design for the guar. So the guar is also like code first. there lots of rules happening there and if the rule doesn’t capture it goes to agent and then goes to human for verification and then comes back uh it’s a it’s a design principle that we try to follow in all of the system inside uh even every components uh in the in the

[1:02:48] system thanks question >> yeah so I mean you know >> repeating cycles Does it get more? >> Right. Right. Right. So, so that that’s the trajectory. So, so basically we want the token consumption to eventually become zero. Yeah. event should become zero and you can see sometimes you can

[1:03:18] see the code actually start to have more branch >> show showing up when you will see different scenarios you see more it’s just like human learning right when you see uh you have more data samples then you are less biased in terms of decision making yeah it’s the same for this approach yeah >> oh so question has proprietary program that they for legacy programs,

[1:03:52] right? >> On the initial prompt, you have to be very specific because it’s never seen this program. Go to go to this check this box in how do you like especially a long process is that a long promp or do you actually show it how to do something?

[1:04:23] >> Yeah, for for this version you can see there’s a prompt and the agent doing the task uh well maybe in a couple months we we also think about it’s it’s uh it’s pretty common in research community. So basically if you can replicate like people talking about word models right if you can replicate this applications uh that you have better control on not doing if you have guard rails that the the agent is not going to do like bad things and then you can do exploration we call exploration in the environment. So basically you let the agents do free

[1:04:53] exploration on the envir environment for different uh like maybe a 100 times and then the agent become more familiar with the environment and then your basically your prompt will be less you you don’t need very accurate problem like whether this button or that button you you can also al also like succeed in terms of like uh finding the first basically the goal is to finding the first successful trajectory once you found it it can be successful all the And you already know that process you can already tell the

[1:05:24] exact process. >> Yeah. >> Yeah. Yeah. Yeah. Yeah. Yeah. For for many companies they call SOP. So yeah they have internal they have SOP. So we we actually did a interesting experiment. We feed one SOP directly to the uh coding agent right and one shot in one shot everything and it’s 100% successful directly. So it’s pos is there definitely possible but I I hold the uh the possibility that like everything now is still kind of demo

[1:05:56] phase. We we want a technology that’s general enough that every customer coming here and we don’t have to worry about anything breaks in there. So there’s still lots of corner case that we have to solve going forward. I remember there’s one gentleman raised hand before. >> Oh okay. Yeah. All right. All right. Thank you so much. Oh, one more.

[1:06:32] And actually your opinion on that actually software but you can see like we are actually the pixels certain things

[1:07:04] at the end. So this computer don’t even see it working on it. I understood that you want to

[1:07:34] agent working but is it something you Yeah. Um uh I I so uh my impression is kind of like a map and then you try to let the agent to walk through the map. So he can just go if you ask us to read screenshot go there figure out just how we should go like what

[1:08:06] it doesn’t f >> yeah yeah yeah so that that’s the whole idea of the coding layer so the coding layer basically encode all of the trajectory into the code right and I think I think the problem we try to solve is uh suppose there’s legacy software then it’s not going to change then this this approach work but if we talk about like websites right for social media or like different websites and they actually change and when they change then your path is not going to work in there is there a way for us to

[1:08:39] actually adapt adapt the agent uh during that scenario >> I mean my answer to that problem was if your main agent again like check it out. So you have continuous improving.

[1:09:13] >> Yeah. Yeah. Yeah. I get your point. So, so basically his solution is okay, every time there’s a change, I have a swarm of agents doing the exploration in there. So, I always know the the best uh >> Yeah. the path in there. >> You have to like actually >> Yeah. Yeah. Yeah. That that’s exactly my response to that gentleman. So, basically the idea is if you have legacy system and you have is the zero cost for exploration, right? Because for example, it’s if it’s a bank, then there’s a cost

[1:09:45] for exploration. I cannot explore for all of the actions. But if you don’t you don’t have any like cost for doing exploration. You just do exploration like put agents in there and like let them try different things and map all of the trajectory there and it’s actually a simpler problem to solve. So basically I I think 80% of the the applications is actually living in the legacy system right now. And if we have you can like it’s it’s actually easier problem to the general uh system. So that can also already capture a lot of economic value

[1:10:16] in the current industry there. Yeah. Thanks for your feedback. Yeah. Further furthermore >> you think enough data you can signal enough data. >> Yeah. So, so that the question is suppose we have enough data can we actually train uh trend the agents to be very successful. So there was a there was a lot of discussion around that. So basically my conclusion is you need more

[1:10:48] exponentially more money than open eye and anthropobic to do it [laughter] because uh vision data is two dimensional tax is one dimensional so we are talking about like something like much bigger right so so you uh if you have if you can give me like couple trillion dollars we can we can certainly consider that yeah but it’s challenging maybe it’s possible with the with a new paradigm of but given the current paradigm of deep learning it’s not

[1:11:18] something that’s uh like I don’t think it’s achievable in the near term right now. >> Yeah. Question final question. >> Right. >> There’s a lot of Right. >> How does it do?

[1:11:57] >> Oh, eventually your code will have a lot of eels logic in there. So, so you can imagine the code is the code is not going to be manageable by humans for sure. Uh but the code is still be able the agent is still be able to write that code with lots of eels while loop uh complex logics in there and it’ll still work and yeah that that’s the eventual goal of this system in there. Yeah. But you can also chop it chop it to make a simple problems each time. But then you have a

[1:12:28] boundary problem like okay how do you define a smaller problem like what’s the boundary? What’s the input and output? Right? So sometimes you if you have a simple solution that’s that’s actually even better. All right. Thank thank you everyone. >> [music]