A memória de agents está resolvida. O aprendizado de agents, não.

Ver no idioma original →

Autoria: AI Engineer · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Agent Memory Is Solved. Agent Learning Isn’t. — Karthik Ranganathan, Yugabyte · Canal: AI Engineer · 20:33 · Assistir no YouTube

Tópicos: Agentes de IA, Dados, bancos de dados e embeddings, Engenharia de prompts e contexto, RAG, busca e recuperação de informação

Resumo

Karthik Ranganathan explica por que armazenar memórias de um agent não basta para que vários agents aprendam e compartilhem conhecimento de forma eficaz. Ele descreve como a perda de contexto, a falta de curadoria e a ausência de supervisão humana prejudicaram os sistemas que a equipe tentou construir. Como resposta, apresenta Mako, uma camada de persistência de contexto que permite manter informações privadas, promover itens selecionados para espaços compartilhados e rastrear sua origem. Uma demonstração mostra como essa abordagem pode facilitar a retomada de sessões, a colaboração entre agents e a redução do uso de tokens.

Pontos-chave

• Memória por agent não é o mesmo que aprendizado coletivo: agents precisam compartilhar contexto, raciocínio e histórico, não apenas resultados finais.
• Compartilhar arquivos ou transcripts não garante conhecimento compartilhado; sem curadoria, o contexto pode ficar ruidoso e consumir mais tokens.
• O conhecimento compartilhado precisa de promoção supervisionada e de rastreabilidade até sua fonte.
• A equipe relata ter melhorado a precisão do RAG e reduzido o volume de contexto após rastrear e ajustar o pipeline.
• Mako organiza memória, conversas e outros aspectos do contexto em data packs, com espaços privados e compartilhados.
• A demonstração mostra como retomar uma sessão em outro momento e disponibilizar uma memória selecionada a outro agent.
• As promoções feitas por humanos podem servir como sinais de treinamento para sistemas de orquestração que aprendam preferências no futuro.
• Data packs compartilhados podem evitar que vários agents repitam as mesmas investigações e desperdicem tokens.

Capítulos

Início	Capítulo	Resumo
00:01	Memória individual e aprendizado coletivo	Karthik diferencia a memória de um agent do aprendizado necessário quando vários agents precisam colaborar.
04:11	Limites das abordagens atuais e proposta de Mako	Ele apresenta equívocos comuns, relata tentativas malsucedidas de infraestrutura e descreve Mako e seus data packs.
08:49	Demonstração de compartilhamento e retomada de contexto	A demonstração mostra como contexto compartilhado ajuda a preparar uma apresentação e retomar uma sessão em outro momento.
12:26	Memória privada, promoção e acesso por outros agents	Heather demonstra a criação de uma memória, sua recuperação em uma nova sessão e a promoção seletiva para compartilhamento.
16:43	Sinais de aprendizado e usos na equipe	A conversa relaciona as decisões humanas de promoção ao aprendizado futuro e descreve aplicações em suporte, engenharia e comunicação.

Citações

A memória de agents está resolvida, mas o aprendizado de agents, não. — 00:01

Esse contexto está faltando para os agents. — 03:39

Você precisa passar por um processo de promoção supervisionada. — 05:13

Cada pessoa que diz ‘vale a pena guardar’ oferece um exemplo rotulado do que é uma boa promoção. — 16:43

Conceitos e entidades

• Mako (ferramenta): Camada de persistência de contexto apresentada para armazenar e compartilhar informações entre agents e pessoas.
• Yugabyte (empresa): Empresa de banco de dados da qual Karthik Ranganathan é cofundador e CEO.
• Karthik Ranganathan (pessoa): Cofundador e CEO da Yugabyte que apresenta os problemas de compartilhamento de contexto entre agents.
• Heather (pessoa): Integrante da equipe que demonstra o uso de Mako para armazenar, retomar e compartilhar contexto.
• data pack (conceito): Unidade de Mako que reúne contexto e pode conter informações privadas ou compartilhadas.
• promoção supervisionada (conceito): Processo de revisão pelo qual informações selecionadas passam antes de se tornarem duráveis e acessíveis em um espaço compartilhado.
• aprendizado coletivo de agents (conceito): Compartilhamento de contexto e conhecimento entre agents para que não precisem refazer o trabalho uns dos outros.
• retomada de sessão (conceito): Capacidade de continuar uma atividade em uma nova sessão recuperando o contexto persistido anteriormente.

Tradução completa (pt-BR)

00:01 [música] Que bom encontrar vocês. Obrigado a todos que estão aqui. Hoje vamos falar sobre compartilhar contexto, certo? Tudo em IA depende dos dados que você fornece. Dados ruins, resultados ruins, certo? A memória de agentes é um problema resolvido, mas o aprendizado de agentes não é. E vamos falar não só sobre, tipo, vocês…

00:31 …saberem o que estamos construindo etc. É sobre por que construímos isso e como estamos usando para nós mesmos. Certo. Como dissemos, a memória de agentes funciona: há várias coisas que você fornece a ela, conversas etc. E é possível extrair memórias da conversa, que os agentes conseguem reutilizar. Isso é por agente. No entanto, o aprendizado nunca acontece isoladamente. É quando um grupo de agentes se reúne e precisa trabalhar em conjunto; eles precisam começar a aprender e compartilhar, certo? E esse é um…

01:04 …problema não resolvido, porque somos pessoas de infraestrutura, e a infraestrutura criada para um único agente ter memória muitas vezes não é a mesma infraestrutura necessária para aprender, certo? Vamos falar um pouco mais sobre isso. Certo, para dar um pouco de contexto, sou Karthik, um dos cofundadores e CEO de uma empresa de banco de dados, a Yugabyte DB, certo? Então, que diabos estamos fazendo aqui? Por que estamos construindo uma infraestrutura de dados para agentes? O que estamos fazendo? Certo? Na verdade, descobrimos isso do…

01:35 …jeito difícil. Executamos agentes para nós mesmos. Temos dois agentes dentro da empresa: Hagen, para suporte ao cliente, e Growth Vector, para coordenar o go-to-market entre vendas e marketing. E executamos dois agentes externamente para nossos clientes e usuários. O primeiro é o Perf Advisor, que é um administrador de banco de dados agentivo, certo? Ele administra bancos de dados para os clientes de uma empresa de bancos de dados. Bem útil. E o Voyager, que os ajuda a migrar de outros bancos de dados para um banco de dados nativo da nuvem e a modernizá-los, certo? Então, são quatro agentes.

02:06 Não conseguimos lançar nada nem fazer funcionar. Foi muito difícil. Tentamos por quase um ano antes de perceber que estávamos falhando no problema dos dados, certo? E, se uma empresa de bancos de dados está falhando num problema de dados, quando se trata de agentes, isso se torna pessoal, certo? Então, sim, ficou pessoal. Pensamos: que diabos está acontecendo? E, quando percebemos, muitas pessoas estavam nos pedindo: “Sim, conseguimos ter vetores escaláveis, grafos escaláveis, dados relacionais escaláveis”, ou então vinham até nós e diziam: “Mais escala, mais desempenho, menos custo”. E nós pensamos: espera aí, em…

02:38 …algum momento, isso fica ridículo, certo? Está quebrando as leis da física. Então, qual é a verdadeira falha? Certo? Quando você desmonta tudo e vai direto ao cerne da questão, é porque o agente A, o meu agente, está fazendo algum trabalho e eu preciso trabalhar com, digamos, um de vocês, talvez a Heather, que vai fazer uma demonstração. E não consigo transmitir esse contexto. Só consigo fornecer o resultado. O resultado pode ser um arquivo MD, um PDF, um documento, alguma coisa. Mas não consigo…

03:09 …fornecer o raciocínio por trás dele, certo? O que se perde com isso? Perde-se o raciocínio. Perdem-se os becos sem saída, o número de tentativas fracassadas antes de finalmente conseguir. E perde-se todo o contexto, certo? Isso significa que o agente da Heather vai refazer todo esse trabalho. E isso não sai de graça. Você gasta tokens e paga outra pessoa por isso. É como um grupo de pessoas trabalhando em conjunto. Quando alguém novo entra na equipe, dizem: “Vamos fazer X”. E essa pessoa…

03:39 …apresenta 50 motivos pelos quais deveríamos fazer outra coisa. E, a cada vez, respondemos: “Sim, já consideramos isso há duas semanas, há dois meses”. Não é assim que as pessoas trabalham. Na verdade, trazemos a pessoa para a equipe e dizemos: “Certo, olha, este é o contexto. Este é o histórico do projeto. É assim que se faz. Agora, vamos continuar daqui”. Esse contexto está faltando para os agentes. Então, cinco equívocos. Certo, bem rápido. Mais memória. A memória agentiva não é aprendizado. É apenas mais memória, certo? E sai mais caro. Estado compartilhado não é conhecimento compartilhado.

04:11 Só porque você consegue compartilhar algo com outra pessoa, como um arquivo MD ou algo assim, não significa que vocês tenham conhecimento compartilhado. Transcrições em RAG, deixar que eu faça RAG de tudo, não é o mesmo que aprendizado e qualidade. Significa apenas que há um monte de lixo ali e agora os LLMs vão gastar ainda mais tokens para dar resultados ainda piores. Fine-tuning não é escalável. Não é possível, sabe, salvar e preservar as lições que os agentes aprenderam por meio de fine-tuning e da criação de infraestrutura personalizada. E uma context window maior é o jeito mais rápido de…

04:42 …fracassar de forma cara, certo? Porque não resolve nada. Seu contexto se deteriora. Cada uma dessas coisas é uma lacuna na arquitetura, certo? Então, foi isso que percebemos que precisávamos resolver para nós mesmos. Certo. E temos percebido que muitos usuários estão gostando muito dessa abordagem de pensar sobre contexto. Primeiro, se há um contexto que o agente A pode compartilhar com o agente B, isso resolve o problema do contexto perdido. Eles trabalham com o mesmo contexto. Segundo, esse…

05:13 …contexto pode se degradar. Isso significa que nem todos podem contribuir para ele. É como código. Nem qualquer pessoa pode contribuir. É preciso passar por um processo de promoção supervisionada. Só então ele se torna durável. E, por fim, é preciso poder perguntar: de onde diabos veio esta informação? Não faz sentido algum. E conseguir rastreá-la até algo — uma fonte de dados, uma pessoa, uma conversa — de onde ela foi extraída. Esse é o primeiro passo para melhorar seu contexto. Então…

05:45 …começamos a construir isso pensando: quão difícil pode ser? A primeira coisa que fizemos foi dizer: “É só uma base de conhecimento. Vamos jogar tudo na base de conhecimento. Vai ser ótimo”, certo? E como estávamos enganados. Construímos um pipeline distribuído inteiro de RAG, extremamente escalável, muito elástico, incrível. Simplesmente incrível, certo? E não nos ajudou em nada. Então dissemos: “Quer saber? Esse negócio de compartilhamento não funciona. Vamos deixar cada agente criar um banco de dados minúsculo. Somos uma empresa de bancos de dados. Quão difícil pode ser? Um Postgres minúsculo, eficiente”. Bom, percebemos que cada workflow repetível…

06:16 …estava sendo reinventado na hora. Não funcionou de jeito nenhum. Então dissemos: “Certo, tudo bem. Vamos ter um backend que faça um monte de processamento e, sabe, nem vamos nos preocupar com a interface, porque agentes não precisam de interface”. E então percebemos que não conseguíamos saber o que estava acontecendo. Sem intervenção humana, os resultados são muito ruins. Certo. Depois pensamos: “Bom, pelo menos temos o pipeline de RAG”. Bem, até isso acabou sendo uma porcaria, porque pegamos todos os melhores componentes, sabe, o que quer que a academia recomende, e colocamos…

06:47 …tudo ali, mas obtivemos resultados ruins. 14% de fidelidade usando um benchmark de MD, um benchmark público, 20% em um PDF, 57% de precisão de contexto usando todas essas outras coisas. E, quando começamos a analisar de verdade, rastrear, inspecionar nossos rastros, ajustar e experimentar, percebemos que muitas coisas estavam erradas. E, à medida que as melhorávamos, uma variável de cada vez, conseguimos chegar a 65, 74, 82, certo? E aqui está o ponto principal: nossos blocos de contexto, que determinam o tamanho do contexto…

07:17 …diminuíram de mais de 7.000 blocos para cerca de 1.000. Então, o tamanho do contexto ficou em um sétimo, com uma precisão muito maior e muito menos dinheiro gasto com tokens, certo? É aí que entra Mako. O que é Mako? É uma camada de persistência nativa para agentes que reúne todos os erros que cometemos e tudo o que acertamos em uma única solução, certo? E a forma como Mako funciona é expondo um pacote de dados, certo? Como somos uma empresa de bancos de dados, não chamamos isso de…

07:48 …banco de dados porque ele contém vários tipos de bancos de dados: vetorial, grafo, relacional, NoSQL, seja o que for, certo? E o que ele faz é armazenar aspectos do contexto: base de conhecimento, memória, conversas, observabilidade e muito mais, certo? E o que isso permite é que os agentes entrem e enviem partes do seu contexto para um espaço privado e promovam esse contexto para um espaço compartilhado, certo? Então, outros agentes ou humanos que entrarem poderão…

08:18 com base nesse contexto promovido de alta qualidade, recuperar coisas rapidamente e agora você pode continuar adicionando mais pessoas e mais agents e fazer a transferência de forma eficiente. Certo? Espero que isso faça sentido. A ideia é pegar workflows duráveis e repetíveis e transformá-los em infraestrutura. Certo, antes de irmos para uma demonstração, uma confissão. Este conjunto de slides que vocês estão vendo foi criado usando o Makeo como camada de persistência de contexto, certo? O

08:49 modo como funcionou foi o seguinte: Heather, que vai mostrar a demonstração, escreveu um esboço e criou um pacote de dados no Mako e simplesmente me enviou uma solicitação de compartilhamento, certo? E ela disse: “Vou fazer a demonstração. Aqui está o esboço dela. Aqui está o roteiro aproximado que precisa levar até ela, porque é isso que faz sentido.” Eu peguei e tenho certeza de que ela usou algum agent harness. Não sei qual. De verdade, não sei. Não perguntei. Nem sequer tive uma reunião com ela. Ela simplesmente me enviou isso. Coloquei no meu desktop na nuvem e disse: “Pegue este

09:19 esboço e divida-o para mim.” E ele me deu alguns tópicos. “É disso que você vai falar.” Eu pensei: “Certo, ótimo. Quero mudar algumas coisas.” Mudei algumas coisas e disse: “Aqui está o novo esboço. Você pode criar meus slides com base nele?” E ele criou. E aquele diagrama à esquerda ficou bem ruim, certo? Não ficou nada bom. Então eu pensei: “Sabe de uma coisa? Todo mundo está dizendo que esse design cloud está na moda, então por que não experimentar?” E ele realmente fez um trabalho melhor. Então, pronto. Aquela imagem veio do design cloud. Todo o resto veio do desktop na nuvem. Enviei

09:49 de volta para Heather e, sabe, Heather fez a revisão final para integrar tudo à demonstração, e aqui estamos. Então, mal conversamos, certo? Não precisávamos. Apenas compartilhamos o contexto e nossos agents fizeram o trabalho. E, sabe, vocês podem assistir. Acho que talvez eu convide Heather para falar sobre este slide e sobre o que vem depois. Espero que a demonstração seja boa, porque eu mesmo ainda não a vi. Então, é isso.

10:20 A ideia é observar o conhecimento coletivo crescer ao longo do tempo, certo? O que o Nico oferece, e que pude usar para isso, é a capacidade de retomar. O que vou mostrar é como iniciar uma sessão, encerrá-la e depois iniciá-la novamente com o mesmo agent. No momento, se você fizer isso com algo como o desktop na nuvem, há projetos para isso, certo? Certo? Então, se você usar um projeto cloud, tudo fica junto, ou pode ativar a memória. Mas, neste caso, acho que há uns dois meses, desativei toda a memória em todos os meus IDEs porque não importa

10:52 se eu estiver usando alguma coisa enquanto estou fora de casa, como um aplicativo para celular. Talvez eu use o ChatGPT, que não é tão sofisticado quanto alguns dos meus IDEs de programação, certo? E talvez eu queira continuar trabalhando nesse tópico. Posso fazer isso porque todo o contexto agora é compartilhado na nossa nuvem. E, com compartilhado, quero dizer que, obviamente, o ChatGPT é um agent diferente, mas ainda é a minha conta, então eu deveria poder acessá-lo, certo? Mas, como temos foco e consciência em relação à segurança, não queremos que qualquer agent possa acessá-lo. Então, preciso promover o tipo de memória

11:24 que esse agent também pode recuperar em um conjunto coletivo. E, por fazer isso, o custo em si cai muito, porque, na primeira vez que descubro as coisas, fico indo e voltando com meu LLM e gasto muitos tokens até chegar ao objetivo final, seja ele código ou apenas trabalho de conhecimento. Mas, na próxima vez que eu quiser recuperar isso de outro agent ou de outra sessão, não preciso gastar tudo de novo. Basta chamar a memória do Miko, e ela traz tudo de volta usando muito menos tokens. Então, já estamos

11:54 economizando muito em gastos com tokens. A alternativa seria, mais uma vez, manter tudo em arquivos vazios ou em algum lugar que obrigue cada agent a percorrer continuamente as informações com o LLM e gastar tokens repetidamente para recuperá-las. Faz sentido? A diferença aqui é apenas uma chamada de ferramenta MCP. Então, para demonstrar isso, como temos uma internet espetacular aqui, gravei isto para vocês em uma velocidade um pouco maior, espero. Certo. Isso é a capacidade de retomar. Então,

12:26 aqui estou dizendo que quero armazenar a conversa em um determinado pacote de dados, certo? Vamos chamá-lo de lançamento do acesso antecipado, e quero inserir nele uma informação. Neste caso, nossos e-mails de cadastro falharam. É verdade, porque usamos apenas o ambiente sandbox do SCS, em vez do ambiente de produção. Então, ultrapassamos o limite enquanto testávamos as coisas. E essa é uma informação útil para talvez a nossa equipe de operações, certo? Nesse processo, ele está chamando a criação de pacote de dados porque eu

12:58 conectei o servidor MCP ao clot aqui e criei uma skill que vai dizer a ele o que fazer. Você pode decidir com que frequência quer que ele faça isso ou se quer fazer isso com critério. E agora ele está armazenando o fato sobre o incidente como uma memória pesquisável com a função memory add. E pronto. O pacote de dados foi criado. Há uma conversa nele, que poderá ser recuperada em sessões futuras. Parece ótimo. Incrível. Agora encerrei essa sessão, e observem que não estou em Projetos. Esta é

13:29 apenas uma nova janela de chat. Agora vou fazer a mesma pergunta para poder retomar. Antes, eu teria que me certificar de ativar a memória do cloud ou colocá-la em um projeto, mas ela não está em nenhum dos dois. Eu poderia estar conectado com a mesma conta em claw.ai, que tecnicamente seria um agent diferente. Então, estou tentando mostrar que é possível, pelo menos, retomar suas sessões depois de alguns dias com o mesmo agent. O resultado da falha foi que ele tentou pesquisar primeiro

13:59 em vez de criar uma conversa nova aqui. Queremos salvar tudo o que fazemos. Então, o servidor MCP está instruindo a criar uma nova conversa para ele, para que possamos armazená-la. E vejam: agora pesquisaram por Mo e encontraram o que aconteceu em maio, e conseguiram recuperar as informações. Certo, para compartilhar. Vamos concluir isso. Se vocês perceberem, este é um IDE completamente diferente. Neste caso, é o codeex. Então,

14:31 fiz perguntas como: “Certo, você conhece alguma causa para os e-mails de cadastro estarem falhando?” E então ele vai procurar, vai procurar, e diz: “Não, não estou vendo nada. Não vejo nada. Estou procurando.” Ele disse que viu que havia um pacote de dados novo ao qual está conectado, mas não consegue ver nada de fato. E por quê? Porque ainda não compartilhei essa memória privada do meu claw desktop em um espaço compartilhado. Então, neste momento, essas

15:03 memórias ainda são privadas. Se vocês perceberem, o pacote de dados de acesso antecipado aparece porque eu o conectei, mas ainda não o promovi. Então, nesse caso, vou sair da conta. Vou entrar com minha outra conta aqui para mostrar que sim, tenho acesso a esse pacote de dados e preciso promover essa memória para um espaço de conhecimento compartilhado. Vou permitir que o processo prossiga e, em seguida, ele diz que não encontrou nada, mas eu digo: “Bom, é a mesma pergunta. Vamos tentar de novo.”

15:37 Agora que promovi essa memória para aquele espaço, acelerei o vídeo para vocês [risos], porque todos sabemos como nossos LLMs podem ser prolixos. Agora ele consegue encontrar essa memória. Ele consegue encontrar essa memória porque permiti o compartilhamento daquele item. É algo muito granular. Não precisa ser assim. Se você for responsável pela manutenção, pode abrir o pacote de dados inteiro, mas isso é muito mais ideal se você estiver tentando fornecer informações específicas, talvez boas práticas, talvez algo que

16:08 o processo contínuo que você quer manter em andamento. E então, a última parte disso é o custo. Como você sabe se isso economiza tokens? Se você acessar seu data pack, poderá ver as conversas armazenadas nele e como elas foram realizadas, porque fornecemos gratuitamente rastros de linguagem incorporados. E você pode, de fato, examinar o rastro de decisão até a chamada de ferramenta e comprovar se ele fez tantas chamadas e consumiu tantos tokens.

16:43 Certo? Então, hoje, as promoções feitas por humanos equivalem, de certa forma, ao sinal de treinamento para a orquestração que se aprimora sozinha amanhã. Cada pessoa que diz “vale a pena manter isto” fornece, de certa forma, um exemplo rotulado do que é uma boa promoção. Assim, no futuro, talvez você possa começar a treinar um agent com base no seu gosto e nas suas preferências a longo prazo. Mas, por enquanto, mantemos o humano no ciclo. Essas chamadas são apenas um sinal, mas é assim que ele começa a aprender. O

17:14 maior ganho que percebi foi que, quando algo dá errado, talvez em uma situação de suporte, é difícil fazer continuamente as chamadas acessarem o mesmo servidor, que fica fora do ar o tempo todo, e continuar tentando. “Ei, você sabe se isto está fora do ar? E aquilo?” O Slack começa a ficar cheio de mensagens. Como seus agents lidam com isso? Eles também desperdiçam tokens chamando a mesma coisa. Se tivessem acesso ao data pack, o primeiro agent consultaria o servidor e depois avisaria todo mundo sobre o ocorrido, e os outros agents saberiam que aquilo já aconteceu.

17:52 Sim. Então, obrigado, Heather. Acho que foi uma demonstração incrível. Se vocês estavam acompanhando o que aconteceu, Heather ficou responsável pelo acesso antecipado e pelo lançamento do Mako, certo? E, claro, usou um data pack — o Mako — para lançar o Mako de forma recursiva. E, sabe, as primeiras pessoas tiveram muita dificuldade para acessar seus data packs no Mako. Então, ela criou um data pack para solucionar problemas com o Mako, um data pack diferente

18:22 e essa é a coisa sobre a qual ela estava falando. Muitas pessoas na empresa têm acesso a ele, então todos podemos consultá-lo, carregá-lo em nossos agents e iterar com ele. As pessoas da engenharia carregam-no diretamente no Claude Code, no Codex ou em qualquer outro agent de programação. Eu, por exemplo, sou mais do tipo que usa o Claude Desktop; uso-o para outras coisas. Por exemplo, quando um usuário não conseguiu acesso e queria obtê-lo, pedi desculpas por e-mail: “Revise com o Claude, ajude-me a elaborar isso”. Tenho um data pack

18:52 que, na verdade, reproduz a minha maneira de falar. E o mesmo vale para publicar no LinkedIn: isso pode se tornar cansativo se você quiser continuar escrevendo com a sua própria voz. Às vezes, treinar um data pack com o contexto necessário para isso ajuda. Muitas dessas coisas ficam automatizadas de imediato e, sabe, tornam muito mais rápido montar tudo, certo? E, claro, se uma pessoa nova entrar na equipe, é muito fácil compartilhar esse contexto com ela, ajudá-la a se atualizar e fazer com que contribua, de forma voluntária ou não, certo? Às vezes, ela simplesmente faz coisas sem nem perceber, e você extrai padrões disso: “Ah, isto é muito bom. Devíamos transformar isto em

19:24 algo, certo? Então, essas são algumas das coisas. De todo modo, acho que o essencial é que estamos tentando nos aproximar cada vez mais da maneira como os humanos trabalham: como capturar o conhecimento informal da equipe, como compartilhá-lo, como controlar o compartilhamento e como saber o que está acontecendo de fato? Certo. >> Sim. >> É. Então, >> vocês deveriam experimentar de graça. >> Sim. >> Se quiserem. >> Sim. Experimentem de graça. Acho que, à esquerda, está o site makeata.ai, que leva a uma página de login. Há um plano gratuito. Vocês podem se cadastrar e conectar a um dos seus

19:54 agents para que eles comecem a aprender imediatamente. E, à direita, está o Discord. Adoraríamos saber o que acharam se experimentarem. Mandem uma mensagem. Estamos trabalhando em melhorias. É assim que comunicamos o que estamos desenvolvendo. Então, entrem no nosso Discord, certo? Adoraríamos ver vocês por lá. Acho que é isso. Sim. Obrigado. Obrigado. Sim, se tivermos… Na verdade, estamos no horário. Sim. Então, obrigado. Se tiverem perguntas, sintam-se à vontade para entrar em contato conosco pelo site. Obrigado.

20:33 >> [música]

Transcrição original

[00:01] [music] Good to meet you folks. Thanks for everyone who’s here. Um, today we’re going to talk about sharing context, right? Everything in AI is about the data you give it. Bad data, bad outputs, right? Agent memory is a solved problem, but agent learning is not. And we’re going to talk about not just like you

[00:31] know what we’re building etc. It’s about how why we built it and how we’re using it for ourselves. Okay. So as we said agent memory works you know there’s a bunch of stuff you feed it conversations etc. And you’re able to extract memories from the conversation and agents are able to reuse them. It’s per agent. However learning is never done in isolation. It’s when a group of agents come together and need to work with each other, they have to now start learning and sharing, right? And that is an

[01:04] unsolved problem because we’re infrastructure people and infrastructure built for a single agent to do memory is often not the same infrastructure that is needed in order to learn, right? We’re going to talk a little bit more about that. Okay, so by way of background, I’m Karthik, one of the co-founders and a CEO of a database company, Yugabyte DB, right? So what the hell are we doing here? Why are we building a aentic data infrastructure? What are we doing doing that? Right? We actually found this the

[01:35] hard way. We run agents for ourselves. We run two agents internal to the company. Hagen for customer support and growth vector for a coordinated go to market between sales and marketing. And we run two agents externally for our customers and users. The first one is Perf Advisor, which is an agentic database admin, right? So it runs databases for our customers as a database company. Pretty useful. And Voyager, which helps them migrate and modernize from other databases to a cloudnative one, right? So four agents.

[02:06] We failed to ship anything and make it work at all. It was really hard. We’ve been trying for almost a year before we realized we were failing at the data problem right and if a database company is failing at a data problem be it for agentic it becomes personal right so yes it became personal we’re like what the hell’s going on and when we then realized that a lot of people were asking us like yes we can do scalable vectors we can do scalable graph we can do scalable relational or people came to us and said more scale more performance less cost we’re like wait a minute at

[02:38] some point this is ridiculous right it’s breaking the laws physics. So what is the real failure? Right? When you cut everything o apart and just go to the core, it’s because agent A, my agent is doing some work and I need to work with say one of you guys, say maybe Heather, right? My who’s going to be showing a demo and I am not able to give that context. I’m only able to give the output. The output being an MD file, a PDF, a document, a something. But I’m

[03:09] not able to give the reasoning behind it. Right? So what does this lose? This loses reasoning. This loses the deadends, the number of failures you’ve had before you actually succeeded. And it loses the whole context. Right? That means Heather’s agent is going to be rederiving all of this stuff. And it’s not for free. You’re burning tokens and paying somebody else for it. This is the same as a group of humans working together. When a new person joins the team, they’re going to be told, “We’re going to do X.” And they

[03:39] come up with 50 reasons why we should do something else. And each time, yes, we considered that two weeks ago, two months ago. That’s not how humans operate. We actually bring the person in and says, “Okay, look, this is the context. This is the history of the project. This is how it’s done. Now, let’s go from here.” That context is missing for agents. So, five things, misconceptions. Okay, really quick. More memory. Agentic memory is not learning. It’s just more memory, right? Like it’s more expensive. Shared state is not shared knowledge.

[04:11] Just because you can share something with somebody else, like an MD file or something, doesn’t mean you have shared knowledge. Rag transcripts, let me rag everything, is not equal to learning and quality. It just means there’s a whole bunch of garbage there and now LLMs get to burn even more tokens to give you even worse results. Fine-tuning is not scalable. You cannot, you know, save and persist lessons that agents have come up with through fine-tuning and building custom infrastructure. And a bigger context window is the shest way to

[04:42] quickest failure in an expensive manner, right? Because it doesn’t do anything. Your context rots. Every single one of these is a architecture gap, right? So this is what we realized we needed to plug for ourselves, right? Right. And we’ve been finding a lot of users are are really enjoying and really liking this approach of thinking about context. Firstly, if there’s a context that agent A can share with agent B, it closes the lost context problem. They’re working on the same context. Second thing is this

[05:13] context can degrade. That means not everybody can contribute to that context. It’s just like code. Not anyone can contribute. You need to go through a process of supervised promotion. And only then does it make it durable. And lastly, you need to be able to ask your the question, where the hell did this piece of information come from? It makes no sense at all. And be able to trace it back to something, a data source, a person, a conversation from which it was extracted. And that’s the first step to improving your context. So

[05:45] we started building this by assuming how hard can it be. So the first thing we did was it’s just a knowledge base. We throw everything in the knowledge base. is going to be great, right? And how wrong we were. We built a whole distributed rag pipeline, extremely scalable, very elastic, amazing. It was just amazing, right? And it didn’t do anything good for us. And then we said, you know what? This whole shared stuff doesn’t work. We’ll let every agent spin up a tiny database. We’re a database company. How hard can it be? Tiny Postgress, make it efficient. Well, we realized that every repeatable workflow

[06:16] was being reinvented on the fly. Didn’t work at all. And then we said, “Okay, fine. we’ll just have some backend that does a whole bunch of processing and you know we’ll just you know not even bother with the UI cuz agents don’t need UI and then we realized we couldn’t tell what was going on. No human in the loop equals really bad results. Okay. And then we thought okay at least we have the rag pipeline. Well, it turned out even that was shitty because, you know, we took all the best components from the, you know, whatever the academia academia says and we put it

[06:47] all in there and we got poor numbers. 14% faithfulness using an MD benchmark, public benchmark, 20% on a PDF, 57% context precision using all of this other stuff. And when we actually started looking and tracing and doing our traces and tuning and experimenting, we realized a lot of things were off. And as we improved them one variable at a time, we were able to jump to 65 74 82. Right? And here’s the kicker. Our context chunks, which is the context

[07:17] size, went down from over 7,000 chunks to about a,000 chunks. So 17th the context size, a lot higher precision and a lot less money burned on tokens, right? So that’s where Mako comes in. What is Mako? It’s a agentnative persistence layer that takes all the mistakes we made and all the things we got right and puts it into one box. Right? And the way Mako works, it exposes a data pack, right? As a database company, we don’t call it a

[07:48] database because it has multiple types of databases. Vector, graph, relational, no SQL, whatever, right? And what it does is stores aspects of the context, knowledge base, memory, conversations, observability, a lot more, right? And what it enables is it enables agents to come in and push pieces of their context into a private space and promote that to a shared space, right? And then other agents or humans that come in can now go

[08:18] against that promoted highquality context and quickly retrieve stuff and you can now continue to add more people and more agents and do the handoff efficiently. Right? Hopefully that makes sense. Um the idea is take the durable repeatable workflows and make it infrastructure. Okay, before we go into a demo, right, a confession. This slide deck that you’re looking at was built using Makeo as the context persistence layer, right? The

[08:49] way it worked was Heather, who’s going to give you show you the demo, actually wrote up an outline and created a data pack in Mako and simply sh sent sent me a share request, right? And she said, “I’m doing the demo. Here’s the outline of my demo. Here’s the rough talk track that needs to lead up to it because that’s what makes sense.” I took it and I’m I’m sure she used some agent harness. I don’t know what it is. I really don’t know. I didn’t ask her. I didn’t even have a meeting with her. She just sent me this. I plugged it into my cloud desktop and said, “Take this

[09:19] outline and break it down for me.” And it gave me a few bullet points. This is what you’re talking about. I’m like, “Okay, great. I want to change a couple of things.” Changed a couple of things and said, “Here’s the new outline. Can you build me my slide deck based on this?” And it did. And that diagram on the left, it built a really crappy diagram, right? It didn’t look good at all. So, I said, like, you know what? Everyone’s saying this uh cloud design is the rage, so why don’t I give that thing a go? And it actually did a better job. So, you know, there you go. That image came from cloud design. Everything else came from cloud desktop. Shot it

[09:49] back to Heather and, you know, Heather took the final pass over it to get hook it up with the demo and here we are. So, we barely talked, right? We didn’t need to. We just shared context and our agents did the work and uh you know, you can go you can watch it. I think maybe I’ll invite Heather to talk to this slide and and the thing after. I hope the demo’s good because I haven’t seen it myself. So, yeah.

[10:20] The idea is to watch collective knowledge grow over time, right? What Nico provides uh that I was able to use for this is a resumability. So resumability I’m going to show you is being able to start a session and then kill it and then start it again with the same agent. Right now if you do it with something like cloud desktop, they have projects for this, right? Right? So if you do a cloud project, everything’s together or if you turn on memory. But in this case, I guess like two months ago, I turned off all the memory on all of my idees because it doesn’t matter

[10:52] what if I use something while I’m on the go, like a mobile app. Maybe I use chat EBT that isn’t as sophisticated, right, as some of my coding idees. And so maybe I want to continue working on that topic. I can do that because all of the context is shared in our cloud now. And by sharing I mean that obviously chatbt is a different um agent but it’s still my account so I should be able to get to it right but because we’re security focused and security minded we don’t want like just any agent to get to it so I have to promote the kind of memory

[11:24] that that agent can also retrieve in like a collective pool and because you do this the cost itself goes down tremendously because the first time I figure stuff out I’m going back and forth with my LLM I’m burning lots of tokens to get to an end goal, whether that is code or it’s just a knowledge work. But the next time that I want to retrieve it from another agent or another session, it doesn’t need to burn through that. It just calls to the Miko memory and then it brings it right back with far less token. So, we’re already

[11:54] saving a lot of token spend. The alternative to this would be to just again keep things in empty files or keep things where you have to constantly traverse with every single agent’s LLM and burn through tokens again and again in order to retrieve. Does that make sense? The difference here is just an MCP tool call. So to kind of prove that out because we have sensational internet here, I have recorded this for you at a little bit of a faster speed hopefully. All right. See this is resumability. So

[12:26] here I’m saying that I want to store um the conversation in a certain data pack, right? Let’s call it the early access launch and I want to put a piece of information in it. In this case, um our signup emails failed. True story because we actually only used the SCS’s sandbox instead of the prod. So uh we kind of went over the limit there when we were testing things. And that’s a good piece of information for maybe our our ops team, right? So in this process, it’s calling data pack create uh because I’ve

[12:58] connected the MCP server to clot here and I’ve created a skill that will tell it what to do. You can decide how often you want it to call or if you just want to do it judiciously here. And so now it’s storing the incident fact as a searchable memory with memory add. And then it’s done now. So the data pack has been created. there’s a conversation in there and it’ll be retrievable in the in the future sessions. That sounds great. Awesome. Now I’ve killed that session and notice I’m not in projects. This is

[13:29] just a new chat window. Now I’m going to ask the same question so I can resume. Before I had to again have to make sure I turn on cloud memory or turn or put it inside of a project, but it’s not in either one of these. I could be logged in with the same account in like claw.ai, which would be technically a different agent. So I’m trying to prove that you can at least resume your sessions after maybe days with the same agent. So the fail result there was actually that it tried to search first

[13:59] instead of creating uh a conversation a new conversation here. We want to save everyone that we do. So it’s the MCP server instructing to create a new conversation for it so we can store this. And see now they searched Mo and it found that hey this is what happened back in May and it was able to pull things back out. All right for sharability. Let’s go ahead and get this done. If you notice this is a completely different IDE. In this case it’s codeex. Um so

[14:31] I’ve asked it questions like okay um do you have any known cause for the signup emails that are failing? And so it’s gonna look and it’s gonna look and it says, “Nope, I don’t see anything. I don’t see anything. I’m looking.” Um, it did say that it saw that there was a brand new uh data pack that it’s connected to, but it can’t actually see anything. And why is that? Because I actually haven’t shared that private memory from my claw desktop yet uh into a shared space. So right now, those

[15:03] memories are still private. If you notice the early access data pack is seen because I have connected it but I just haven’t promoted it yet. So in that case I’m going to go to sign out. I’m going to sign in with my other account here to show you that yes I do have access to this data pack and I need to promote that piece of memory into a shared knowledge space. Allow it to go ahead and and go through and then I it says it doesn’t see it but I said well same question. Let’s try it again.

[15:37] So, now that I’ve promoted it into that space, sped up for your pleasure here [laughter] because we all know how long-winded our LLMs can get. Um, now it can find that piece of memory. It can find the piece of memory because I’ve allowed that one piece to go. It’s very fine grained. It doesn’t have to be. You can open the whole data pack if you want as a maintainer to it, but this is much more ideal if you’re just trying to give bespoke pieces of information, maybe best practices, maybe something that is

[16:08] the ongoing process that you want to keep going. And then like the last part of this is the cost. How do you even know that it saves you tokens? If you go into your data pack, you can look at the conversations that are stored in there and how they were done because we give you embedded language traces for free in this. And you can actually look at the decision trace all the way down to the tool call and prove whether or not it called as much and burned as many tokens.

[16:43] Right? So, human promotions today kind of equal the training signal for self-improving orchestration tomorrow. Every human that says this is worth keeping is kind of a labelled example of what good promotion looks like. So, you can actually start training maybe in the future an agent that’s trained on your taste and your preferences long term. But right now, we’re keeping the human in the loop. Those calls are just a signal, but this is actually how it starts to learn. The

[17:14] biggest lift that I saw is that when something goes wrong, maybe in a support situation, it’s hard to constantly have calls call the same server that’s down all the time and then it’s tails all this time. Hey, do you know if this is down? Is that down? Slack starts blowing up. How do your agents handle that? They’re all also wasting tokens calling the same thing. If they had access to the data pack, the first agent would hit it and then tell everybody that it happened and all the other agents would know that it already happened.

[17:52] Yeah. So, yeah. So, thank you, Heather. Like, I think you know, pretty awesome demo. I think uh if you folks were following along what happened, Heather was was in charge of the early access and launch of Mako, right? and obviously used a data pack which is Mako to launch Mak Makeo right recursively and uh you know the first few people had a lot of trouble accessing their data packs on Mako and you know we you know she created a data pack for troubleshooting issues with Mako a different data pack

[18:22] and so that’s the thing that she was talking about uh a lot of us in the company you know it’s shared with us so we’re all able to look at it load it into our agents and able to iterate with it the folks that are in engineering they load it straight into their you know cloud cloud code or codeex or like you know whatever the coding agents are like I I myself more of a cloud desktop kind of user I use it for other things like you know some a user that wanted to get access couldn’t get access apology email like go through cloud help me design it have a I have a data pack

[18:52] actually that is my voice of how I speak and same thing for posting on LinkedIn that thing can get tiresome if you want to keep writing it in your voice you know sometimes training a data pack for the context to do so will help so a lot of these things get automated straight away and it gets you know makes it much much quicker to assemble right and obviously if a new person comes into the team very easy to share this context with them have them get up to speed have them contribute to it either willingly or unwillingly right sometimes they’re just doing things they don’t even know and you extract patterns out of it oh this is really great we should make this

[19:24] a thing right so so like um yeah so I think these are some of the things anyways I think the bottom line is we’re trying to get it closer and closer to how humans work which is how can you capture tribal knowledge how can you share that How can you give controls over sharing and how can you actually tell what’s going on? Right. >> Yeah. >> Um Yeah. So >> you should you should try it for free. >> Yeah. >> If you want. >> Yeah. Try it for free. Yeah. I think the left side is you know the website makeata.ai which will take you to a login. There’s a free tier. You can sign up and just hook it up to one of your

[19:54] agents and you know get your agents to start learning right right away. And the right side is Discord. We’d love to hear from you if you do try it out. You know do drop us a note. We’re working on improvements. That’s how we communicate what we’re building. So do join us on Discord, right? We’d love to see you guys there. So I think that brings us Yeah. Thank you. Thanks. Yeah, if we have Yeah, we’re right on time actually. Yeah. So yeah, thank you. If you guys have questions, please feel free to connect with us on the site. Thank you.

[20:33] >> [music]