Um agente de pesquisa em IA que executa seus experimentos — Tim Sweeney, Weights & Biases

Autoria: AI Engineer · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: An AI Research Agent That Runs Your Experiments — Tim Sweeney, Weights & Biases · Canal: AI Engineer · 20:52 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Modelos de IA

Resumo

Tim Sweeney apresenta Arya, um agente de pesquisa e iteração da Weights & Biases que analisa projetos de machine learning e executa experimentos de forma autônoma. Na demonstração, Arya examina resultados, identifica padrões e ajusta hiperparâmetros em um fluxo de auto research conectado a GPUs. Sweeney também mostra como a equipe usa Weave para observar conversas, aplicar LLM judges e avaliar mudanças antes de promovê-las à produção. Ao final, recomenda combinar observabilidade, evals, revisão humana e contexto de domínio para criar agentes mais confiáveis.

Pontos-chave

Arya funciona como companheiro de ciência de dados dentro da plataforma Weights & Biases, ajudando a analisar experimentos e comunicar descobertas.
O agente pode iterar sobre código e hiperparâmetros, além de lançar trabalhos de treinamento em GPUs por meio de uma fila do Launch.
Arya identifica padrões e parâmetros relevantes em projetos, e também cria relatórios, gráficos e workspaces.
A arquitetura do agente inclui clientes web e iOS, API, harness, sandbox, provedor de LLM, execução de workloads e uma camada de observabilidade.
Weave registra traces de produção e ajuda a equipe a investigar conversas, chamadas de ferramentas e comportamentos do agente.
A equipe transforma problemas observados em tasks descritas em YAML, tratadas como testes para o modelo e agrupadas em eval suites.
LLM judges podem sinalizar frustração do usuário e respostas de baixa qualidade, mas a revisão humana continua necessária para avaliar nuances comportamentais.
Tasks e evals devem apoiar decisões de go/no-go, em conjunto com a análise de traces e métricas de desempenho.
Adicionar contexto sobre o domínio, as ferramentas disponíveis e os dados do negócio pode trazer ganhos sem exigir um harness excessivamente complexo.
Na demonstração final, Arya executou 12 experimentos e chegou a um resultado praticamente igual ao melhor registro anterior.

Capítulos

Início	Capítulo	Resumo
00:01	Apresentação de Arya e da agenda	Tim Sweeney se apresenta e introduz Arya como agente de pesquisa e iteração da Weights & Biases.
02:40	Demonstração de auto research	Arya analisa experimentos, identifica padrões e executa novas iterações em um projeto de treinamento de LLM.
08:30	O papel de Arya nos fluxos de pesquisa	A apresentação resume os recursos do agente e explica a visão de uma plataforma de pesquisa automatizada que complementa pesquisadores.
10:08	Arquitetura do agente	Sweeney descreve os componentes de Arya, incluindo harness, sandbox, provedor de LLM, execução de workloads e observabilidade.
12:51	Observabilidade e análise de conversas com Weave	A demonstração mostra traces, conversas e sinais produzidos por LLM judges para identificar comportamentos a melhorar.
16:03	Tasks, evals e decisões de produção	A equipe converte comportamentos desejados em tasks e evals para comparar modelos candidatos e orientar decisões de promoção.
18:13	Recomendações e resultado dos experimentos	Sweeney recomenda observabilidade, revisão humana e contexto relevante, e encerra mostrando os resultados de 12 experimentos.

Citações

Não buscamos substituir pesquisadores de RL, mas complementar seus fluxos de trabalho. — 09:37

Isso introduz a capacidade de detectar uma nova classe de bugs no nosso mundo: bugs comportamentais. — 18:43

Tasks e evals são a nova realidade de CI. — 19:14

Muitos ganhos fáceis vêm simplesmente de dar ao agente contexto sobre o domínio do negócio. — 19:45

Conceitos e entidades

Arya (ferramenta): Agente de pesquisa e iteração da Weights & Biases que analisa projetos e executa experimentos de machine learning.
Weights & Biases (empresa): Empresa e plataforma de desenvolvimento de IA usada na apresentação para acompanhar treinamento, inferência e experimentos.
CoreWeave (empresa): Empresa de infraestrutura de computação mencionada como parte do ambiente usado para executar workloads de IA.
Tim Sweeney (pessoa): Engenheiro principal da Weights & Biases e da CoreWeave que apresenta Arya e os fluxos de trabalho da equipe.
Weights & Biases Launch (ferramenta): Produto que conecta clusters de computação e permite lançar trabalhos de experimentação de longa duração.
Weights & Biases Weave (ferramenta): Plataforma de observabilidade usada para registrar traces, analisar comportamento e acompanhar evals de agentes.
Carpathy Auto Research (repo): Projeto simples de treinamento de LLM usado como base para demonstrar ciclos automatizados de pesquisa.
LLM judge (conceito): Modelo usado para avaliar saídas ou comportamentos de um agente segundo critérios definidos.
task (conceito): Teste descrito em YAML que representa um comportamento desejado e pode ser usado para avaliar um modelo.
eval suite (conceito): Conjunto de evals executado de forma recorrente para comparar modelos candidatos com o modelo em produção.

Tradução completa (pt-BR)

00:01 [música] Certo. Olá a todos e obrigado por participarem desta sessão. Meu nome é Tim Sweeney, sou engenheiro principal na Weights and Biases e na Coreweave. Nos próximos 20 minutos, vamos falar sobre Arya, nosso novo agent de pesquisa e iteração em IA. Vamos começar. Primeiro, só para fazer um pouco de barulho e bater palmas: quem aqui,

00:35 se identifica como pesquisador de ML? Você é alguém que treina modelos, treina o cérebro? Ouvi uma pessoa. Uau. Certo. Muito bem. Muito bem. E quem aqui é engenheiro de aplicações, o homenageado desta conferência? Quem aqui realmente cria bots? >> Certo, bom. Esperava bem mais gente. E quem aqui trabalha com gestão de IA? Você ajuda a financiar essa computação. Certo. Certo. Legal. Lá no fundo. Ótimo. Bem, agora que sei um pouquinho sobre vocês, vou falar um pouquinho sobre mim. De novo, meu nome é Tim. Tenho mestrado em machine learning, em aprendizado por reforço, pela Georgia Tech. E sou esse pesquisador que atualmente está criando o agent da Weights and Biases, Arya. Então, me identifico como esse engenheiro de aplicações. Em uma vida passada, fui gerente de produto da infraestrutura de ML do Twitter. Espero que também consigam se identificar comigo, que estou na gerência intermediária. [risos] >> [suspiros] >> A agenda de hoje está dividida em três partes, e espero que cada um de vocês, com seus diferentes perfis, saia daqui com algo valioso. Primeiro, vamos conhecer a própria Arya e ver como ela pode turbinar seus workflows de IA e ML. Vamos explorar a pesquisa automática e ver isso ao vivo em uma demonstração daqui a pouco. Depois, vamos revelar os bastidores e descobrir como usamos Weights and Biases e Coreweave para criar Arya, porque muitos de vocês na plateia estão criando agents, e acreditamos que muitos desses componentes podem ajudar no trabalho de vocês. E, no final, vamos dar um passo atrás e identificar algumas dicas e truques importantes para garantir que vocês consigam colocar seus sistemas em produção com eficiência. Para quem ainda não conhece, a Weights and Biases é a principal plataforma de desenvolvimento de IA do mundo. Estamos no mercado há nove

01:07 anos e, há cerca de um ano, nos juntamos à família Core. Temos vários produtos em nosso conjunto, mas somos mais conhecidos por nossa pilha de treinamento de modelos, inference e Weave, que ajuda a coletar dados sobre os workflows de desenvolvimento de IA e machine learning, torna essas informações acionáveis e permite que os usuários tomem as melhores decisões sobre o que fazer em seguida. Sem mais delongas, vamos conhecer Arya, nosso agent. Vou mostrar uma demonstração e depois voltaremos a alguns slides.

01:38 Certo, ótimo. Vamos aumentar um pouco isso. Avisem se precisarem que fique maior. O que vocês estão vendo aqui é um workspace da Weights and Biases. Para quem não conhece, no lado esquerdo vejo uma lista de vários experimentos diferentes. Neste projeto específico, tenho mais de 200 execuções de treinamento. E, no lado direito, vejo um gráfico de dispersão com métricas que estão diminuindo, neste caso, o que é bom. Isso significa que nossa loss está diminuindo com o tempo. Essa visualização será bem familiar para qualquer pessoa que use nossa ferramenta. Para contextualizar, estamos usando o projeto Auto Research do Karpathy, com o qual muitos de vocês provavelmente estão familiarizados. Se não estiverem, é um projeto bem simples que treina um LLM e serve como uma ótima base para demonstrações de pesquisa automática, porque tem uma base de código bem simples e nos permite fazer melhorias iterativamente ao longo do tempo. Vamos voltar ao projeto e abrir Arya clicando neste botão azul no canto superior direito. Ao clicar nesse botão, aparece a conhecida interface de chat, com a pergunta “Como posso ajudar hoje?”, algumas chamadas à ação e a possibilidade de adicionar diferentes contextos do meu projeto ou talvez

02:09 adicionar imagens etc. Todos aqui criam agents, então não preciso entediar vocês com os detalhes de como é uma interface de agent. Mas vamos inserir uma introdução básica. Digamos: “Olá, Arya. Você está no palco da AI World’s Fair 2026. Apresente-se, por favor.” Ela vai começar a processar e, tomara, emitir algum emoji legal. Legal. “Oi, sou Arya. Estou falando com a plateia.” Ótimo. Agora, vamos ao ponto principal do motivo de vocês terem vindo. Vou abrir este chat. Esta é uma conversa longa, na qual venho realizando mais de 200 experimentos usando o loop de pesquisa automática. Ela me ajudou a baixar o código, configurar meus jobs de lançamento, configurar minhas GPUs e consegue iterar autonomamente no próprio código e nos hiperparâmetros. Vamos ver o que ela está fazendo daqui a pouco, mas, enquanto isso, vou iniciar uma iteração ao vivo aqui. Vou dizer: “Faça mais um lote de experimentos. Você está no palco da AI Engineer World’s Fair 2026 e esperamos encontrar ao vivo o melhor modelo. Acredito em você.” Precisamos incentivar nossos modelos. Ela está fazendo isso há algum tempo. O

02:40 que está fazendo aqui é dizer: “Certo, ótimo. Não quero fazer uma grande mudança na arquitetura. Isso parece arriscado demais.” Então, provavelmente vai optar por algumas modificações nos hiperparâmetros. Depois, está fazendo uma chamada ao shell que está realmente executando esse loop de experimentação. Vamos verificar isso periodicamente durante esta apresentação. Mas quero explicar o que está acontecendo nos bastidores. Nos bastidores, configurei uma fila do Weights and Biases Launch. Launch é nosso produto que permite conectar seus

03:13 clusters de computação e permite que pessoas e agents iniciem jobs de experimentação de longa duração, especialmente aproveitando GPUs. Aqui estou vendo a saída do terminal do meu cluster Kubernetes, onde podemos acompanhar a execução de experimentos ao vivo. Isso está acontecendo ao vivo aqui. Não é uma demonstração falsa. Ótimo. Se voltarmos, veremos que, neste momento, ela iniciou as execuções e agora está apenas consultando o status e aguardando a conclusão do nosso trabalho. Voltaremos a isso daqui a pouco. Mas, antes, vamos explorar alguns outros exemplos. Então,

03:45 outra coisa interessante que você pode fazer é perguntar algo como: “Resuma as execuções com melhor desempenho neste projeto.” Esse caso de uso poderia ser, por exemplo, quando um novo usuário ou membro da equipe entra no projeto e quer entender a pesquisa. Ou talvez alguém tenha trabalhado enquanto você estava de férias e você queira se atualizar. Vamos ver o que ela apresenta daqui a pouco. Alguns outros exemplos pré-configurados incluem encontrar padrões no seu projeto. Aqui, podemos ver que perguntei: “Ei, você consegue encontrar alguns padrões nesta pesquisa?” E

04:19 vemos que ela identificou que surgiu uma nova família de modelos durante a pesquisa automática. Identificou que o tamanho do lote parece ser um parâmetro de grande impacto. Identificou uma receita arquitetural que parecia bastante promissora e vários outros insights que eu levaria horas ou dias para descobrir por conta própria. E Arya consegue fazer isso para mim diretamente na interface que já uso. Ela não só consegue gerar respostas em texto, como também se integra profundamente

04:51 a vários utilitários de visualização da Weights and Biases. Aqui, pedi que ela gerasse um relatório do Weights and Biases, que, para quem não conhece, é basicamente um arquivo Markdown turbinado. Ele tem gráficos, diagramas e imagens incorporados. Aqui, ela fala sobre a tese do projeto e gerou vários painéis de dados. E acho isso bem interessante. Ela usou um dos nossos painéis mais específicos, o gráfico de importância dos parâmetros, para me dizer

05:23 clusters de computação e permite que humanos e agents iniciem trabalhos de experimentação de longa duração, especialmente aproveitando GPUs. Aqui estou olhando para a saída de um terminal do meu cluster Kubernetes, onde estamos vendo a execução de experimentos ao vivo. Isso está acontecendo ao vivo, bem aqui. Esta não é uma demonstração falsa. Ótimo. E, se voltarmos, veremos que, neste ponto, ele iniciou as filas e agora está simplesmente consultando e esperando nosso trabalho ser concluído. Então voltaremos a isso daqui a pouco. Mas, antes, vamos explorar alguns outros exemplos. Então…

05:57 Outra coisa interessante que você pode fazer é pedir algo como: “Por favor, resuma as execuções com melhor desempenho neste projeto”. Esse caso de uso seria útil, por exemplo, quando um novo usuário chega ou um novo membro da equipe entra no projeto e quer entender a pesquisa. Ou talvez alguém tenha feito algum trabalho enquanto você estava de licença e você queira se atualizar. Veremos daqui a pouco o que ele vai apresentar. Alguns outros exemplos pré-configurados são encontrar padrões no seu projeto. Aqui, podemos ver que perguntei: “Ei, você pode encontrar alguns padrões nesta pesquisa?”. E vemos que…

06:28 ele identificou que surgiu uma nova família de modelos durante a pesquisa automática. Identificou que o tamanho do lote parece ser um parâmetro de grande impacto. Identificou uma receita arquitetural que parecia bastante promissora e várias outras descobertas que eu levaria horas ou dias para encontrar por conta própria. E Arya consegue fazer isso por mim, diretamente na interface que já uso no dia a dia. Ela não só consegue gerar resultados em texto, como também se integra profundamente…

07:00 a vários recursos de visualização do Weights & Biases. Aqui, pedi que ela gerasse um relatório do Weights & Biases, que, para quem não conhece, é basicamente um arquivo Markdown com recursos extras. Ele inclui gráficos e visualizações incorporados. Aqui, ela fala sobre a hipótese do projeto e gerou vários painéis de dados. E acho isso bem interessante. Ela usou um dos nossos painéis mais especializados, o gráfico de importância dos parâmetros, para me dizer…

07:30 a correlação entre vários parâmetros diferentes dentro desse trabalho de treinamento. Além dos relatórios, também é ótimo para trabalhar com workspaces. Então, se você usa Weights and Biases, passa muito tempo criando e trabalhando com workspaces. Bem, Arya foi ajustado e recebeu prompts personalizados para entender muito bem como criar workspaces, criar gráficos e complementar essas análises de dados com gráficos ao vivo, usando os gráficos proprietários integrados que os usuários de Weights and Biases conhecem e adoram.

08:00 Então, com isso, vamos voltar a alguns dos nossos prompts. Podemos ver que o prompt “resuma este projeto” está sendo executado. Ele está consultando Weights and Biases. Está aplicando patches. Está escrevendo o próprio código. Vamos voltar para conferir isso daqui a pouco. E nosso trabalho de treinamento de longa duração ainda está coletando os resultados. Podemos ver que o trabalho está em andamento nas GPUs. Então, estamos fritando algumas GPUs [música] e fazendo ciência de dados ao vivo. Enquanto isso está sendo executado, vamos voltar à apresentação. Já voltamos.

08:30 Ah, não, não estamos olhando para um dicionário. Estamos olhando para um PO. Ótimo. Certo, um resumo rápido. O que Arya mostrou? O que mostramos nesses últimos cinco minutos? Primeiro, mostramos que Arya pode ser sua companhia de ciência de dados diretamente no Weights and Biases, ajudando você a descobrir insights que não conseguiria descobrir à medida que seus experimentos e o tamanho da sua equipe crescem. Em seguida, abordamos o problema de relatórios e gráficos complicados. Os usuários de Weights and Biases realmente querem transformar seus insights

09:02 em ferramentas de comunicação visual. Eles querem se comunicar com seus pares e colegas. Então, Arya foi desenvolvido desde o início para entender esses elementos básicos e ajudar como copiloto, acompanhando e conduzindo o trabalho lado a lado na interface. E anunciamos hoje, pela primeira vez, que estamos lançando Arya em nosso dispositivo iOS, ou em nosso app para iOS. Arya foi lançado na segunda-feira, e agora nosso app para iOS tem Arya integrado. Então, se você está conduzindo trabalhos de ajuste de hiperparâmetros, treinando modelos ou apenas pesquisando no ecossistema Weights and Biases, pode ir tomar um ar nos jardins de Yerba Buena e

09:37 conduzir seus trabalhos de ajuste de hiperparâmetros pelo celular. E a que tudo isso está levando? A uma plataforma de pesquisa totalmente automatizada de ponta a ponta, que não busca substituir pesquisadores de RL, mas complementar seus workflows. Arya é ótimo para orquestrar trabalhos, entender cargas de trabalho de GPU, responder a eventos dentro do ecossistema W&B, ouvir pesquisadores, procurar artigos no arXiv e colaborar em hipóteses. Assim, podemos deixar Arya cuidar da mecânica com que você não quer lidar, enquanto se concentra nas novas ideias, novas

10:08 arquiteturas e novos parâmetros que queria testar. Ótimo. Então, essa é Arya em poucas palavras. Esperamos muito que você experimente. E, no final, voltaremos à pesquisa automática para ver se conseguimos um novo recorde. Mas, antes disso, vamos falar sobre como usamos Weights and Biases e CoreWeave para criar Arya. Agora, falando com muitos dos construtores de agentes que estão na sala, aqui está uma visão rápida da arquitetura. À esquerda, vocês veem que temos um cliente web e um cliente iOS, que se comunicam com nosso servidor de API, que então grava os dados no nosso banco de dados de turnos

10:39 e são processados pelo nosso harness, o harness dos nossos workers. Isso é meio que o modelo arquetípico do que provavelmente muitos de vocês estão construindo aqui na sala e é exatamente o que temos no nosso backend. Mas esse worker do harness é uma caixa mágica e se conecta a vários utilitários importantes. O primeiro é um sandbox onde ele pode executar chamadas arbitrárias de shell, fazer ciência de dados com Python etc. E convidamos vocês a experimentar o sandbox da CoreWeave e da Weights and Biases para integrá-lo à sua arquitetura. Em seguida, é claro, vocês precisam de um provedor de LLM. Então, se talvez estiverem usando GLM 5.2 two ou um dos seus modelos com fine-tuning,

11:12 convidamos vocês a usar o inference da Weights and Biases e conectá-lo também ao seu worker. Se vocês forem como nós, precisam executar cargas de trabalho de longa duração fora do loop principal do agent, porque estão treinando por dias, às vezes durante vários dias. O Launch da Weights and Biases pode ajudar a facilitar isso, e as GPUs da CoreWeave podem tornar essa computação ainda melhor. Por último, e realmente o mais importante, precisamos de uma camada de observabilidade. É fundamental que seus agentes consigam registrar o que está acontecendo nas sessões, nos turnos, nas chamadas de ferramentas, quaisquer erros que ocorram etc. Temos um

11:46 produto chamado Weights and Biases Weave, para o qual registramos 100% dos nossos traces, de onde nós e nossa equipe podemos aprender. E é aí que passamos da produção para o modo offline, em que nossa equipe pode usar Weights and Biases Weave para obter insights e identificar comportamentos, implementar tarefas com tarefas que são essencialmente testes unitários para seus modelos e avaliar esses modelos em um loop. Temos um repositório de modelos, no qual vocês podem optar por usar os artifacts do Weights and Biases para armazenar seus agentes ou modelos. Emitimos os resultados das nossas avaliações para o Weave, onde temos um painel comum que nos permite tomar decisões de aprovação ou reprovação sobre várias alterações de prompt ou de arquitetura, alimentando então um loop de pesquisa que chamamos de loop de melhoria, no qual formulamos hipóteses, implementamos agentes candidatos e analisamos os evals. Portanto, temos dois loops de pesquisa complementares, mas adversários, acontecendo offline e alimentados por dados do Weights and Biases Weave, para identificar, em última análise, o melhor modelo, promovê-lo à produção por meio do nosso registro e fechar o ciclo de dados.

12:18 Então, nos próximos sete minutos, mais ou menos, vamos falar sobre o Weights and Biases Weave e mostrar como nós, como equipe, usamos o Weave para facilitar esse workflow. Acreditamos que isso também seria útil para vocês, construtores de agentes que estão na sala. Sim, outra demonstração. Ótimo. Certo. Temos novas respostas. Vai ser empolgante quando abrirmos isso mais tarde. Vamos ver se conseguimos métricas melhores. Certo, vou diminuir um pouco o zoom. Aqui estou olhando para o painel do agent. Este é o painel ao vivo do agent da Weights and Biases, ou o painel do agent Arya, criado no Weave. Nossa, tem muitos termos de marca aí. Este é o painel que vocês receberiam se usassem nossa ferramenta. E nele vocês têm, sabe, volume de spans, volume de conversas, acompanhamento de tokens etc. Pensem nisso como uma visão geral do agent. Para mim, porém, esta visualização de conversas é a que eu mais gosto, e já a deixei aberta nesta aba. Essa visualização de conversas é um fluxo ao vivo de todas as conversas que passam pelo Arya, mas filtrado para mostrar apenas os funcionários internos. Então, é um conjunto um pouco menor. O que eu adoro é esta visualização de spans no meio, que me dá um indicador visual da topologia de um trace. Cores e formas diferentes indicam coisas diferentes que estão acontecendo dentro do agent, como chamadas de ferramentas, chamadas de LLM, blocos de raciocínio etc., o que realmente me ajuda a entender de novo o formato e a topologia daquela conversa específica. Claro que posso abrir uma dessas conversas e ver nossa visualização de conversa, onde posso ver o system prompt, a mensagem do usuário, chamadas de shell, blocos de raciocínio etc. É aqui que meu líder de pesquisa, eu e meu gerente de produto vamos adicionar notas,

12:51 feedback, emojis e conversar sobre esses insights e nuances comportamentais que mencionamos antes, além de descobri-los, para transformá-los em tarefas. Arya também está integrado ao sistema da Weights and Biases. Aqui vocês verão um botão “Resumir”, que aparece em vários lugares do aplicativo da Weights and Biases. Basta clicar em “Resumir” e iniciamos um novo chat contextualizado com o que estou vendo. Então, ele vê isso e diz: “Me dê um breve resumo desta conversa específica”. Se vocês estiverem prestando bastante atenção, vão perceber que o que estamos

13:23 jargões. Este é o painel que você veria se usasse nossa ferramenta. Você tem volume de spans, volume de conversas, acompanhamento de tokens etc. Pense nisso como uma visão panorâmica do seu agent. Para mim, porém, gosto muito desta visualização de conversas, que deixei aberta nesta aba. Ela mostra um fluxo ao vivo de todas as conversas que passam pelo Arya, mas filtrado para exibir apenas os funcionários internos. Então, é um conjunto um pouco reduzido. O que eu adoro é esta visualização central de spans, que me dá uma indicação visual…

13:56 da topologia de um trace. Cores e formas diferentes indicam coisas diferentes que estão acontecendo dentro do agent, como chamadas de ferramentas, chamadas de LLM, blocos de raciocínio etc., o que realmente me ajuda a entender, mais uma vez, a estrutura e a topologia daquela conversa específica. É claro que posso abrir uma dessas conversas e ver nossa visualização de conversas, onde posso ver o system prompt, a mensagem do usuário, chamadas de shell, blocos de raciocínio etc. É aqui que meu líder de pesquisa, eu e meu gerente de produto vamos para adicionar notas, acrescentar…

14:26 feedback, adicionar emojis e conversar sobre aquelas descobertas e nuances de comportamento que mencionei antes, além de identificá-las, para transformá-las em tarefas. Arya também está integrada ao sistema do Weights & Biases. Aqui você verá um botão de resumo, disponível em vários lugares do aplicativo do Weights & Biases. Basta clicar em “Resumir” e iniciamos um novo chat contextualizado com o que estou vendo. Então, ele olha para isso e diz: “Faça um breve resumo desta conversa específica”. Se você estiver prestando bastante atenção, vai perceber que o que estamos…

14:57 o que estamos fazendo é usar o Arya para analisar as próprias conversas do Arya e, então, fazer recomendações sobre como melhorar o Arya, tudo dentro da interface. Certo, ótimo. Enquanto isso está sendo processado, quero mostrar o último item do ecossistema Weave: os sinais. Ouvimos muito hoje sobre o valor dos evals e dos juízes LLM. O Weave oferece uma experiência integrada de juiz LLM. Aqui, se eu diminuir um pouco o zoom, vocês vão ver que tenho um sinal de frustração do usuário, um sinal de resposta de baixa qualidade, um sinal de perguntar ao usuário etc. Esses são juízes LLM que são executados ao vivo contra nosso tráfego de produção…

15:32 …ao vivo. E podemos ver vários sinais diferentes, como momentos de frustração do usuário ou respostas de baixa qualidade. Eles ajudam nossa equipe a identificar esses agrupamentos de comportamentos para corrigirmos na iteração da próxima semana. Vamos dar uma olhada ao vivo e ver o que ele diz. Aqui diz que o usuário afirma explicitamente que não está satisfeito com a curva de perda. Ela parece ruim, e isso aparentemente indica frustração. Aqui podemos ver o raciocínio ao vivo de um juiz LLM sobre por que esse sinal específico foi indicado. Vamos ver, faltam quatro minutos.

16:03 Perfeito. Então, tenho usado muito o termo tarefa. E o que estamos fazendo — o que mostrei até agora — é este ciclo de produção ao vivo, em que rastreamos nossos registros de produção. Nós os analisamos como pessoas, talvez até usando LLMs para complementar essa análise. E o que acabamos fazendo é transformá-los em tarefas. Agora, isso fica um pouco técnico, mas todas as nossas tarefas são descritas como arquivos YAML. Você pode pensar em uma tarefa essencialmente como um teste de unidade para seu modelo. Aqui, dizemos que temos um exemplo de prompt do usuário que diz: “Confira esta execução e aquela execução. Ambas estão dando bons resultados. O que podemos aprender com isso? Qual é a diferença?” Então, esta é um exemplo de algo em que queremos que o Arya seja bom para todos vocês. E, depois dos metadados necessários, vemos que definimos um juiz LLM. Aqui, definimos o que significa correção no contexto daquela pergunta. E também definimos um segundo juiz LLM que determina se os insights são realmente interessantes. [risos] Depois definimos uma terceira avaliação baseada em regras, que verifica se você conseguiu gerar um resultado…

16:37 …em apenas seis chamadas de ferramenta, o que significa que ele chegou lá com certo grau de rapidez. Depois, agrupamos tudo isso: temos cerca de 200 dessas tarefas. Elas são agrupadas em uma suíte de evals que é executada todas as noites. E, novamente, usamos o Weave para acompanhar todos esses evals. Aqui, sei que está um pouco pequeno na tela, mas vocês estão vendo uma lista das avaliações de cada noite. Esta foi literalmente de duas noites atrás: a avaliação do nosso modelo candidato obteve 73% na nossa suíte de produção — ou melhor, na nossa suíte de evals —, contra 72% do nosso modelo de produção. Isso significa que definitivamente vamos avançar com ele nesta…

17:07 …sexta-feira. E podemos ver um gráfico de desempenho à direita. Essas são as ferramentas que vocês teriam prontas para usar se decidissem adotar o Weave. Voltando à última conversa que tivemos, em que perguntamos: “Você pode fazer um resumo rápido deste rastreamento?”, vemos que ele de fato analisou a conversa, entendeu o que o usuário estava fazendo e, por fim, decidiu que esse era um rastreamento muito bom. Vamos ver, faltam dois minutos e meio, então vamos recapitular rapidamente. Primeiro, usamos o Weave para…

17:40 …coletar o tráfego de produção. É extremamente importante coletar todo o tráfego de produção para que vocês possam aprender e iterar. Em segundo lugar, usamos a ferramenta para gerar insights, inclusive como pessoas. Fazemos isso como pessoas. Usamos o Arya e usamos juízes LLM para identificar essas nuances comportamentais. Depois, enriquecemos nossas tarefas. Implementamos modelos e avaliamos usando o Weave, da Weights & Biases, como um painel compartilhado em que podemos tomar decisões juntos, como equipe. Isso acaba nos permitindo promover o melhor modelo com confiança.

18:13 Falando em colocar modelos em produção com confiança, quero falar brevemente com os gestores na sala. Algumas dicas para ter sucesso nisso. A primeira é investir em observabilidade orientada a agents. Sou um pouco tendencioso: acredito que o Weave, da Weights & Biases, é a plataforma de observabilidade do futuro. Mas escolham a opção de que mais gostarem. Seja qual for, registrem suas sessões, seus turnos, suas ferramentas e o feedback. Isso permite detectar uma nova classe de bugs no nosso mundo, chamados bugs comportamentais. Não exceções, não problemas de desempenho, mas bugs comportamentais.

18:43 Em seguida, tarefas e evals são o novo mundo da integração contínua. Vocês ouviram muito sobre isso. Se são engenheiros de software, passaram a vida escrevendo testes de unidade. Vocês precisam desenvolver uma prática em que seus pesquisadores façam parte da mesma equipe Scrum que vocês, desenvolvendo tarefas, e em que considerem as métricas de desempenho decisões definitivas de aprovação ou reprovação. Mas, para complementar isso, é necessário usar pessoas como avaliadoras. Há nuances comportamentais que um LLM não vai detectar. Vocês precisam usar o próprio produto e revisar manualmente esses rastreamentos em equipe, no fim da semana, diante de um quadro, analisando os melhores e os piores…

19:14 …rastreamentos para entender como o modelo está se saindo. E, por último, talvez mais uma dica: agreguem valor com contexto e ferramentas. Pode ser muito tentador complicar demais o harness e fazer um monte de coisas criativas com memória e afins. Descobrimos que dá para obter muitos ganhos fáceis simplesmente dando ao agent contexto sobre o domínio do seu negócio, as primitivas subjacentes disponíveis e os dados específicos da sua empresa. Então, vamos conferir nosso agent de pesquisa e…

19:45 …alternar para nosso espaço de trabalho. E o que deveríamos ver é, sim, um pontinho que… Ah, certo, nosso pontinho anterior, feito na hora do almoço, foi 5,831. Este deu 5,833. Então, estivemos muito perto de ter uma melhoria ao vivo, mas chegamos bem perto. Foi isso que o modelo conseguiu produzir. Ele executou vários testes aqui. Vejo que passei do tempo, então vou clicar em fechar em breve. Mas executamos 12 experimentos diferentes nesse lote de experimentos e vamos continuar executando mais durante a noite. Então, experimentem o Arya,

20:19 …leiam os códigos QR e confiram a documentação. Adoraríamos ver o que vocês fazem com ele e esperamos poder atendê-los. Muito obrigado. >> [música]

20:52 leia os códigos QR e confira a documentação. Adoraríamos ver o que vocês farão com isso e esperamos poder atendê-los. Muito obrigado. >> [música]

Transcrição original

[00:01] [music] Okay. Hello everyone and thank you for attending this session. My name is Tim Sweeney, a principal engineer at Weights and Biases and Coreweave. And for the next 20 minutes, we’re going to talk about Arya, our new AI research and iteration agent. Let’s go ahead and get started. So, uh, first off, just by way of making some noise, some clapping, uh, who here,

[00:35] um, identifies as an ML researcher? You’re someone that trains models, trains the brain? I heard one. Wow. Okay. Great work. Great work. Uh, what about who here is the applied engineer, the namesake of this conference? Who here actually builds the bots? >> Okay, good. Expected much more. And who here is in AI management? You are helping fund this compute. Okay. Okay. Nice. From the back. Lovely. Um, well, now that I know a little bit about you, just a little bit about me. Uh, again, my name is Tim. I have a masters in machine learning, uh, and

[01:07] reinforcement learning from Georgia Tech. So, I’ve been that, uh, researcher currently building Weights and Biases agent, Arya. So, identify as that applied engineer. And in a previous life was the PM of Twitter’s ML stack. So, I hope you hopefully can connect with you middle management as well. [laughter] >> [gasps] >> Um today’s agenda is kind of broken into three sections and hopefully each of you personas walk away with something valuable. So first we’re going to learn about Arya itself and how it can supercharge your AI and ML workflows. We’re going to dive into auto research

[01:38] and see that live in a live demo in just a moment. Then we’re going to pull back the curtain and learn how we use weights and biases and uh coreweave to actually build Arya because a lot of you in the audience are building agents yourself and we believe a lot of these components can help you in your endeavors. And then towards the end we’ll just take a step back and identify a few key tips and tricks for making sure that you’re able to productionize your systems effectively. For those of you who might not be familiar, Weights and Biases is the world’s leading AI development platform. We’ve been in business now for nine

[02:09] years and have happily joined the core family about a year ago. Uh we have a number of products in our suite but are really known for our models training inference and weave stack which really helps collect data uh about the AI development and machine learning workflows and makes that information actionable and uh enables users to make the best decisions about what to do next. So without further ado, let’s go ahead and dive into Arya, our agent. Uh we’ll show a demo and then we’ll get back to some slides.

[02:40] Okay, beautiful. Let’s make this a bit bigger. Holler at me if you need it to be bigger. So, uh, what you’re looking at here is a weights and biases workspace. For you, for anybody that isn’t familiar, on the lefth hand side, I actually see a list of a bunch of different experiments. In this particular project, I have over 200 training jobs. And on the right hand side, I see a scatter plot of, in this case, declining metrics, which is good. means our loss is going down over time. And this view would be very familiar for anyone that uses our tool. Now, to ground this, we’re actually uh uh using

[03:13] the Carpathy Auto Research project, which I’m sure many of you are familiar with, but if you’re not, it’s just a very simple project that trains an LLM, and it’s a great foundation for auto research type demonstrations because it’s a very simple codebase and allows us to improve iteratively over time. So, let’s jump back to the project and open up Arya by clicking this blue button in the upper right. When I click this button, I’m uh presented with the familiar chat interface with, you know, how can I help you today, a few call to actions, and you know, I can add different context in my project or maybe

[03:45] add images, etc. Um, everyone here is agent builders, so I don’t need to bore you with the details of what an agent interface looks like. But let’s go ahead and just, you know, enter in a basic intro here. Let’s say, “Hello, Arya. You’re on stage at AI World’s Fair 2026. Please introduce yourself.” So, it’s going to go ahead and chug along and hopefully emit some sort of nice emoji. Yay. He I’m Arya. I’m talking to the audience. Great. But now, let’s dive into the meat of why you came here. So, I’m going to open up this chat here. And this is a longunning chat where I’ve been running again over 200 experiments

[04:19] using the auto research loop. Um, it helped me download the code, set up my launch jobs, set up my GPUs, and is able to autonomously iterate on the code itself and the hyperparameters. We’ll take a look at what it’s doing in a moment, but while we’re doing this, I’m going to kick off a live iteration right here. So, what I’m going to say is please conduct another batch of experiments. You are on stage at the AI Engineer Worlds Fair 2026 and we’re hoping to find the best model live. I believe in you. Uh, because we know we have to encourage our models. Um, so it’s been doing this for a while. What

[04:51] it what it’s doing here is it’s saying, “Okay, great. Um, I don’t want to make a big architecture swing. That feels a little bit too risky.” So, it’s probably going to go for uh some modifications to the hyperparameters. And then it’s kicking off a shell call here that is actually um executing that uh executing that experimentation loop. And we’re going to check in on this periodically throughout this presentation. But I want to help explain what’s going on behind the scenes. So behind the scenes I have set up a weights and biases launch queue. Launch is our our product that allows you to connect your

[05:23] compute clusters and allows humans and agents to launch longunning experimentation jobs particularly by leveraging GPUs. Here I’m looking at a uh a terminal output of my Kubernetes cluster where we’re actually seeing live execution of experiments happening. So this is happening live right here. This is not a fake demo. Um great. And if we jump back, we see that at this point it started the cues and now it is simply polling and waiting for our work to be complete. So we’ll jump back to that in a in a moment. But before but let’s dive into a few other examples. So uh

[05:57] something else that is interesting you can do is maybe you might want to ask it something like please summarize the highest performing runs in this project. This use case would be something like maybe a new user come or a new uh team member is joining your project and want to understand the research. Um or maybe you’ve uh someone’s been doing some work while you were on PTO and you want to get caught up. We’ll see what this comes up with in a moment. Some other pre-anned uh examples are finding patterns in your project. So here we can see that I asked it, hey, can you find some patterns in this research? And we

[06:28] see that um it identified that a new family of models emerged as the as the auto uh auto research was happening. Uh it identified that batch size seems to be a really high high uh lever uh parameter. It identified an architectural recipe that seemed to be quite promising and a number of other insights that would have taken me hours or days to discover on my own. And Arya is able to do it right for me directly in the interface that I already live. Not only is it able to emit text based uh textbased outputs, but it also deeply

[07:00] integrates with a number of weights and biases visualization utilities. So here I’ve actually asked it to emit a weights and biases report which for those who aren’t familiar is essentially a markdown file on steroids. It’s got uh embedded embedded plots, charts and and and graphics. And so here uh you know it’s talked about the thesis of the project. It’s it’s emitted a number of of data panels. And uh I actually think it’s quite interesting. It used um one of our more esoteric panels, the uh parameter importance chart to uh tell me

[07:30] the correlation of various different parameters within this uh within this training job. Uh in addition to uh reports, it’s also great at working with workspaces. So if you’re a weights and biases user, uh you spend a lot of your time uh designing and working with workspaces. Well, Arya is actually customtuned and prompted to really understand how to build workspaces, build plots, and complement that that data analytics with real live graphics using the built-in proprietary charts that weights and biases users

[08:00] know and love. Um, so with that, let’s go ahead and check back on some of our our prompts. We can see that the please summarize this project prompt is cooking away. It’s querying weights and biases. It’s applying patches. It’s writing its own code. So, we’ll come back and check on that in a moment. and our longunning training job is uh still pulling for the results. We can see that we’re cooking away on our GPUs. So, we’re we’re frying some GPUs [music] and doing some data science all live. And while that’s cooking, let’s go ahead and jump back to the presentation. We’ll come back in a moment.

[08:30] Uh oh, no, we’re not looking at a dictionary. We’re looking at a PO. Great. Uh okay, so quick recap here. What did Arya show? What did we show in these last five minutes? First, we show that uh Arya can serve as your data science companion right inside of Weights and Biases, helping you discover insights that you wouldn’t you wouldn’t be able to discover as your experiments and as your team size grows. Next, we address the problem of complicated reporting and complicated plotting. Weights and biases users are are really want to turn their insights

[09:02] into visual communication tools. They want to communicate with their peers and their colleagues. So Arya’s built from the ground up to understand those primitives and help co-pilot and drive right along right alongside in the UI and announcing now today for the first time we are releasing Arya on our iOS device or on our iOS app. So uh uh Arya released on Monday and our iOS app now has Arya built in. So if you’re conducting hyperparameter tuning jobs, if you’re training models, or if you’re just researching within the weights and biases ecosystem, you can go touched grass at Yerba Buena uh gardens and

[09:37] steer your uh hyperparameter tuning jobs all from your mobile device. And what is this all building up to? This is building up to an a fully automated endto-end research platform where we’re not seeking to replace uh RL researchers, but complement your workflows. Arya’s great at orchestrating jobs, understanding GPU workloads, responding to events within the within the Wandi ecosystem, and listening to researchers, uh, uh, looking up archive papers, and collaborating on hypothesis. So, we can let Arya drive the mechanics that you don’t want to deal with while you focus on the new ideas, new

[10:08] architectures, and new parameters that you wanted to try. Um, great. So, that’s Arya in a nutshell. We’re really hoping that you give it a shot. And uh we’ll jump back to the auto research at the end and see if we got a new best record. But before we do that, let’s talk about how we use weights and biases and coreweave to actually build Arya. So now speaking to a lot of the the AI agent builders in the room, here’s a quick architecture on the lefth hand side. You see that we have a web client, iOS client that communicates with our API server that then dumps data into our turn database

[10:39] and is worked on by our harness, our our worker harness. This is sort of archetypical of probably what most of you are all building in the room and is exactly what we have on our back end. But that harness worker is a magic is a is a magic box and it connects to a number of important utilities. First is a sandbox where it can execute arbitrary shell calls uh do do Python data science etc. And we invite you to try coreweave weights and biases sandbox to fit into your architecture. Next up you need an LLM provider of course and so if you’re maybe using GLM 5.2 two or one of your fine-tuned

[11:12] models. We invite you to use uh weights and biases inference and connect that to your worker as well. If you’re like us, you need to run longunning workloads outside of the main loop of the agent where you’re actually training for day for sometimes days at a time. Weights and biases launch can actually help facilitate that and coreweave GPUs can help make that compute even better. And then lastly, and really most importantly, we need an observability layer. It’s critical that your agents are able to log out their what’s going on with their sessions, their turns, their tool calls, any errors they’re hap that that’s happening, etc. Uh we have a

[11:46] product called Weights and Biases Weave that we log 100% of our traces to where us and our team can learn from. And that’s where we move from production to offline where our team is able to use Weights and Biases Weave to drive insights and identify behaviors, implement tasks with tasks which are essentially unit tests for your models and evaluate those models in a loop. We have a model repository which you might choose to use weights and biases artifacts to store your agents or models and you we emit our evaluation results to weave where we have a common dashboard that we can make go no-go

[12:18] decisions on various prompt changes or architectural changes that then feeds into a research loop which we call our improvement loop where we form hypotheses implement candidate agents and analyze the evals. So we have two sort of complimentary yet adversarial research loops going on going on offline feeding data from weights and biases weave ultimately to identify the best model so that we can promote that to production through our registry and close the data flywheel. So in the next just uh three seven minutes or so we’ll just talk about uh weights and biases weave and show how we as a team actually

[12:51] use weave to facilitate this workflow and we believe this is something that you would benefit from as well all of you agent builders in the room. Yes, another demo. Great. Okay. Okay, we have new responses. So, it’s going to be exciting when we open this up later. See if uh we’ve got some better metrics. Um, okay. Let me zoom out just a little bit here. So, here I’m looking at the agent dashboard. This is the live weights and biases agent or Arya agent dashboard uh built in weave. Man, that is a lot of uh branded

[13:23] buzzwords there. This is the dashboard that you would get if you use our tool. and uh you have a you know uh span volume, conversation volume, token tracking, etc. Think of this as like a uh a bird’s eye view of your agent. For me, however, I really like this conversations view, which I do have pre-loaded in this tab. This conversations view is a live feed of all of the conversations that are going through Arya, but it’s filtered down to just the internal employees. So, it’s a little bit of a of a reduced set here. Um what I what I love is this middle spans view which gives me a visual

[13:56] indicator of the topology of a trace. Different colors and and shapes indicate different things that are happening within the agent. So things like tool calls, LLM calls, thinking blocks, etc. which really help me understand again the shape and topology of that particular conversation. I can of course open up one of these conversations and view our our conversation view where I can see the system prompt, the user message, shell calls, reasoning blocks, etc. This is where my research lead, myself and my PM go to add notes, add

[14:26] feedback, add emojis, and talk about and discover those insights and those behavioral nuances we spoke about earlier so that we can turn them into tasks. Arya’s built in to the weights and biases system as well. Here you’ll see a summarize button and these are sprinkled throughout the weights and biases application. I simply click summarize and we start a new chat contextualized to the thing that I’m looking at. So it it sees this and says give me a brief summary of this particular conversation. So if you if you’re paying a attention closely, you’ll realize that what we’re

[14:57] doing is using Arya to analyze Arya’s own conversations to then make recommendations about how to improve Arya all within the UI. Um okay, great. While that’s cooking away, I want to show you the last item uh within the Weave ecosystem here, and that’s signals. We’ve heard a lot today about the value of evals and the value of LLM judges. Weave actually offers an integrated LLM judge experience. So here, if I zoom out a little bit, you’ll see that I have a user frustration signal, a lowquality response signal, ask user signal, etc. These are LLM judges that run live against against our

[15:32] live traffic. And we can see various different signals like user frustration moments or lowquality responses. These help our team identify these clusters of behavior for us to go fix in next week’s iteration. Let’s go ahead and do a live look and see what it says. Um this says the user explicitly states that I’m not satisfied with the loss curve. It looks bad and it apparently that indicates frustration. So here we can see an LLM judges live reasoning for why that particular flag was uh indicated. Uh let’s see, four minutes left.

[16:03] Perfect. Um so, uh with that, I’ve been using the term task a lot. And so what we’re do, what I’ve showed so far is is this live production loop where we are are are are tracing our our prod logs. We’re looking at them as humans, maybe even using LLMs to complement that analysis. And what we end up doing is transforming those into tasks. Now, this gets a bit technical here, but our tasks are all described as YAML files. You can think of a task as essentially a unit test for your model. So here we say we have a an example user prompt that says check this run and that run. Both of these are giving good results. What can

[16:37] we learn from this? What’s the difference? So this is an example of something we want Arya to be good at for all of you. And after the uh requisite metadata we see that we’ve defined an LLM judge. So here we’ve defined what correctness means in the context of that question. And we’ve then we’ve defined a second LLM judge that determines if the insights are actually interesting. [laughter] And then we’ve uh defined a third rule-based judge that says were you able to actually generate a result

[17:07] within just six tool calls meaning it got there with some degree of expediency. These are all then clustered together into we have about like 200 of these. They’re all clustered together into an eval suite that runs nightly. And again we use weave to track all those evals. So here, I know it’s a bit small on this screen, but what you’re looking at is a listing of every night’s eval. This is literally two nights ago, the evaluation for our candidate model got 73% on our production or on our eval suite against the 72% that our prod model got, which means we’re definitely going to push that forward uh this

[17:40] Friday. Uh and we can see a kind of a a performance plot on the right. So these utilities are what you would get out of the box if you’re uh if you decide to pick up weave and use this tool. Um, jumping back to the last conversation we had where it asked me where we asked, uh, can you please give a quick summary of this trace, we see that it actually analyzed the conversation, understood what the user was doing, and then ultimately decided that this was a pretty strong trace. Um, let’s see, we’ve got two and a half minutes left, so let’s just quickly recap here. Uh, first off, uh, what we use weave to do

[18:13] is a, collect production traffic. Super critical to collect all of your production traffic so you can learn and iterate. Secondly, we use it to generate insights both as humans as well. We we do it as humans. We use Arya and we use LLM judges to identify those behavioral nuances. We then enrich our tasks. We implement models and we evaluate using weights and biases weave as a shared dashboard where we can make decisions together as a team that then ultimately allows us to promote the best model forward with confidence.

[18:43] So speaking of confident productionization, let me speak uh briefly to the managers in the room. So a few tips for being successful here. First is um invest in agent-oriented observability. Uh I’m a bit biased. I believe that weights and biases weave is the uh observability platform of the future. Uh but pick your favorite flavor. Whatever it is, log your sessions, log your turns, log your tools and feedback. This introduces an ability to catch a new class of bugs in our world called behavioral bugs. Not exceptions, not performance, but behavioral bugs.

[19:14] Next up, tasks and evals are the new world of CI. You’ve heard a lot about this. If you are a software engineer, you’ve written unit tests your whole life. You must develop a practice where your researchers are sitting on the same scrum team as you developing tasks and you’re viewing the performance metrics as true go no-go decisions. But in order to complement that, you must use humans as a necessary judge. There are behavioral nuances that LLM will not catch. You must be using your product and you must be manually reviewing these traces as a team at the end of the week on a board looking at the best and worst

[19:45] traces to understand how your model is performing. And then lastly, um just maybe one one more tip is to add value through context and tools. It can be really tempting to uh try to overengineer the harness and do a bunch of creative stuff around memory and things like this. We found that a a lot of lowhanging fruit can be ascertained through simply giving your agent context about your business domain, the underlying uh primitives that you have available and your particular uh business data. Um so with that, let’s go ahead and check in on our uh our our research agent here and let’s

[20:19] go ahead and toggle our workspace. And what we should be seeing is yes indeed a little dot that uh oh okay our previous dot which was done at lunch was 5.83. 831. This got 5.833. So we were right on the edge of having a live improvement, but pretty darn close. Uh so that’s what the uh that’s what the model was able to produce. It actually uh ran uh quite a few tests here. I see I’m over time, so I will click close pretty soon. But we ran 12 different experiments within that experiment batch and uh we’ll be running more all night. So please try out Arya,

[20:52] scan the QR codes, check out the docs. Uh we really love to see what you do with it and um looking forward to serving you. Thank you very much. >> [music]