Pinecone 2.0 — Edo Liberty, Pinecone

Autoria: AI Engineer · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Pinecone 2.0 — Edo Liberty, Pinecone · Canal: AI Engineer · 19:25 · Assistir no YouTube

Tópicos: Agentes de IA, Dados, bancos de dados e embeddings, Engenharia de prompts e contexto, RAG, busca e recuperação de informação

Resumo

Edo Liberty apresenta a ideia de uma camada de conhecimento persistente para ajudar agents a compreender melhor os processos, objetivos e prioridades de uma empresa. Ele distingue conhecimento geral, conhecimento específico da empresa e conhecimento tribal, acumulado pela experiência e difícil de encontrar em documentos isolados. Em seguida, descreve o Nexus, que organiza dados e tarefas por meio de manifests, diferentes formatos de armazenamento e uma interface de consulta chamada NoQL. O sistema usa um runtime coding agent para buscar e processar informações, e, segundo resultados apresentados, pode reduzir o consumo de tokens e o tempo, além de aumentar a precisão.

Pontos-chave

Agents corporativos podem ser capazes, mas começam cada tarefa sem conhecer a cultura, os processos e as prioridades da empresa.
O conhecimento tribal inclui práticas e contexto compartilhados por funcionários experientes, mas não se encontra necessariamente em um documento específico.
Uma camada de conhecimento deve ser persistente, especializada por domínio e atualizada conforme a empresa muda.
O Nexus organiza contextos por meio de manifests que indicam quais tarefas, entidades e informações devem ser acompanhadas.
Os contextos podem combinar arquivos Markdown, tabelas SQL, bancos vetoriais, índices de texto e grafos.
A tarefa de curadoria incorpora novas informações e atualiza as estruturas de conhecimento relevantes.
NoQL permite especificar a consulta e os recursos a dedicar à resposta; não é uma interface de chat.
O Nexus executa código durante as consultas, em vez de depender apenas de consultas diretas a um banco de dados.
O palestrante relata reduções de 77% a 90% no consumo de tokens e ganhos de velocidade de 20% a 77% em testes com clientes de acesso antecipado.
O Nexus estava previsto para sair do acesso antecipado e entrar em prévia pública no dia seguinte à palestra.

Capítulos

Início	Capítulo	Resumo
00:01	Teoria da mente e tipos de conhecimento	O palestrante usa a teoria da mente para explicar por que agents podem não compreender o que sabem sobre uma empresa e distingue conhecimento geral, específico e tribal.
04:47	O que uma camada de conhecimento precisa oferecer	A camada proposta deve ser persistente, especializada por domínio, acessível aos agents e atualizada conforme a empresa muda.
07:32	Nexus: contextos, manifests e formatos de conhecimento	O Nexus reúne conectores, contextos definidos por manifests e diferentes formatos para organizar e manter conhecimento corporativo.
11:25	Tarefas de importação, curadoria e consulta	O sistema importa informações, atualiza seus contextos por meio de curadoria e oferece acesso ao conhecimento por funções de busca.
14:42	Execução de código durante as consultas	O Nexus usa um runtime coding agent que escreve e executa código para responder a consultas com flexibilidade e menos instruções de interface.
18:19	Resultados e prévia pública	O palestrante relata ganhos de custo, velocidade e precisão em clientes de acesso antecipado e anuncia a chegada da prévia pública.

Citações

É a soma total de muitas coisas. — 03:42

Eles realmente começam cada tarefa do zero. — 04:14

As empresas mudam, e você precisa desatualizar informações. — 06:24

Não basta apenas fazer perguntas. — 13:35

Então, experimentem. — 19:25

Conceitos e entidades

Edo Liberty (pessoa): Palestrante que apresenta a proposta do Nexus e da camada de conhecimento da Pinecone.
Pinecone (empresa): Empresa associada ao produto Nexus, apresentado na palestra.
Nexus (ferramenta): Produto descrito como uma camada de conhecimento para fornecer contexto atualizado a agents corporativos.
theory of mind (conceito): Capacidade de compreender ou representar o que outras pessoas sabem, acreditam e fazem.
tribal knowledge (conceito): Conhecimento interno compartilhado sobre processos, responsabilidades, princípios e formas de trabalhar de uma empresa.
knowledge layer (conceito): Camada persistente e especializada que reúne conhecimento organizacional para uso por agents.
Manifest (conceito): Especificação que indica quais tarefas, entidades e informações um contexto deve acompanhar.
semantic map (conceito): Arquivo que organiza a estrutura de um contexto, incluindo locais de informação, esquemas e glossários.
NoQL (conceito): Interface de consulta do Nexus que permite especificar a informação desejada e os recursos a dedicar à busca.
runtime coding agent (conceito): Abordagem em que o sistema escreve e executa código durante a consulta para obter as informações necessárias.
RAG (conceito): Abordagem mencionada como uma das formas já estabelecidas de lidar com informações privadas e específicas de uma empresa.

Tradução completa (pt-BR)

00:01 [música] Certo, sejam todos bem-vindos. Quero falar um pouco sobre a nova camada de conhecimento e vou começar falando um pouco sobre a teoria da mente. Quantos de vocês sabem o que é teoria da mente? Certo, algumas pessoas. É um

00:33 termo da psicologia que se refere à nossa capacidade de compreender e ter um estado mental, ou um modelo do estado mental, de outras pessoas. O que elas sabem? Em que acreditam? Como agem? É isso que nos permite socializar. É isso que nos permite mentir uns para os outros e assim por diante. Mas é uma etapa crucial do desenvolvimento humano, uma função necessária. Vou tentar explicar da melhor maneira possível com uma história engraçada, só para quebrar o gelo. Há cerca de 15

01:04 ou 16 anos, trabalhei em uma empresa chamada Yahoo, que tinha um produto chamado Yahoo Answers, que era mais ou menos um fórum de perguntas e respostas. Na época, usamos IA — a Idade da Pedra da IA, sabe? —, com NLP e outros modelos estatísticos para responder a perguntas. Mas o engraçado é que as pessoas iam ao Yahoo e perguntavam coisas como “Sou gordo?”. Isso é engraçado porque, obviamente, um fórum de perguntas e respostas não teria

01:35 a menor ideia se você está gordo demais ou não. Mas é uma maneira engraçada de dizer que as pessoas têm uma teoria da mente muito ruim sobre os produtos que usam, que informações eles têm e quais não têm. E quero argumentar que, de certa forma, estamos cometendo esse erro com a IA hoje, de uma maneira mais sutil e menos tola, mas com uma incompatibilidade igualmente fundamental. Então, vou categorizar, de forma aproximada, três tipos de conhecimento. Eu

02:06 acho que existem muitos outros, mas, em linhas gerais, essa não é uma maneira ruim de categorizar. Primeiro, há o conhecimento geral. Pensem nele como aquilo que está disponível publicamente. Coisas com as quais os modelos são treinados e que esperamos que um LLM simplesmente saiba desde o início. Coisas como melhorar seu código em Rust, explicar termos jurídicos ou explorar casos de uso de produtos. Sabemos fazer isso. Os modelos são

02:39 muito bons nisso. Quando usamos nossos agents, eles têm essas informações. Depois, há o conhecimento específico. É claro que os modelos não teriam a menor ideia se implementamos algo específico em nosso codebase ou o que diz o contrato de um cliente específico. É claro que essas informações são privadas da empresa, mas sabemos lidar com isso, e RAG, busca e, é claro, bancos de dados da Pinecone, Veto e outros resolveram esses problemas há muito tempo. Ainda há muito a fazer, mas, de modo geral,

03:11 sabemos como fazer isso. E então eu diria que existe o conhecimento tribal. Certo, conhecimento tribal é o conhecimento geral dentro da empresa. É o tipo de informação que um funcionário experiente tem, mas um novo contratado não. Em linhas gerais, é como fazemos as coisas, quais são nossos processos, quem é responsável por quê, quais são os princípios orientadores e, sabe, como fazemos as coisas acontecerem nesta empresa. Certo. Isso não é

03:42 conhecimento geral, porque é específico da sua empresa, mas também não é uma informação específica que você possa simplesmente encontrar em uma busca. Você não pode simplesmente pegar isso de um lugar e dizer: “Sim, este documento diz que essa é a nossa cultura”. É a soma de muitas coisas. Então, a teoria da mente que a maioria dos nossos agents em grandes empresas deveria ter hoje é algo como a de um novo contratado. Eles são brilhantes. Têm ferramentas. Temos expectativas muito altas em relação a eles. Mas, em geral,

04:14 eles não fazem ideia. Certo. Não sabem nada sobre as metas, a cultura, as prioridades e os processos da sua empresa. Precisam ler vários documentos para conseguir qualquer tipo de compreensão de onde estão no mundo. E, na prática, começam a maioria das tarefas do zero. Certo. É como se acordassem e, sempre que você inicia sua sessão, fossem um novo contratado no primeiro dia de trabalho.

04:47 Então, eu diria que o que eles precisam não é necessariamente ser mais inteligentes ou ter ferramentas melhores, mas ter algo novo, que daqui em diante eu chamaria de camada de conhecimento. E preciso explicar o que, na minha opinião, uma camada de conhecimento realmente precisa fazer. Mas vou defini-la de modo geral antes de explicar o que fazemos. No mínimo, ela precisa ser persistente. Estamos falando do conhecimento, dos processos, das capacidades, das metas da empresa e assim por diante. Ela precisa

05:17 ser persistente. Com certeza, reunir tudo isso parece um esforço monumental. Então, você quer fazer isso uma vez ou, pelo menos, muito raramente. E, é claro, todos os agents da empresa precisam ter acesso a isso. A segunda coisa é que essa camada de conhecimento precisa ser altamente especializada. Se o seu agent é responsável por práticas de RH, por otimizar os kernels do seu codebase ou por resolver problemas de clientes, ele vai se importar com coisas diferentes e

05:50 vai querer abordar questões diferentes; vai querer ter informações diferentes disponíveis. E eu diria que, independentemente de como ela é criada, é uma boa prática deixar que os especialistas de domínio da empresa sejam responsáveis por essas áreas, possam interagir com elas e garantam que estejam alinhadas com o que a empresa quer fazer. E, por fim, o mais difícil: elas precisam permanecer atualizadas e em sincronia o tempo todo, porque as empresas mudam, e é preciso

06:24 marcar informações como obsoletas. Quando uma informação se torna obsoleta, se a empresa substitui seu CEO, no dia seguinte todos na empresa sabem quem é o CEO. Certo? Mesmo que 9.000 documentos, desde anteontem até os últimos 10 anos, digam que é outra pessoa. Isso se tornou conhecimento tribal comum imediatamente. E todo o resto, até mesmo cada busca RAG, vai dizer o contrário. Este agora é o fato que prevalece.

06:57 Certo. Antes de prosseguir, quero argumentar que não estou sugerindo que essa camada de conhecimento deva substituir tudo o mais que estamos fazendo. Nossos agents já são muito capazes e devem continuar sendo muito capazes. É claro que têm acesso a LLMs, ferramentas, arquivos locais, buscas — como RAG, busca vetorial, busca textual e assim por diante. E eu diria que a camada de conhecimento precisa ser uma entidade separada à qual todos esses agents tenham acesso, porque, como expliquei, é um tipo de fonte de dados fundamentalmente

07:32 diferente. Então, quero falar mais sobre Nexus. Nexus é um produto que estamos desenvolvendo. É claro que é uma camada de conhecimento, mas quero explicar o que ele faz. Os quatro componentes são, mais ou menos: conectores, o que eu chamaria de contexto, tarefas e consultas. Vou explicar cada um deles agora. Os conectores fazem, é claro, o que se espera deles. Não há

08:06 muito a dizer sobre eles. Eles trazem dados para a plataforma, respeitam os direitos de acesso e os controles, e assim por diante. É um assunto de discussão bem sem graça, mas incrivelmente importante nas empresas — é incrivelmente importante fazer isso direito. E todos que já construíram isso sabem como é trabalhoso fazer tudo funcionar bem. A primeira parte realmente interessante é o

08:40 contexto. Pensem no contexto como a soma dos ativos que o Nexus, ou essa camada de conhecimento, armazena sobre um tópico específico. Pensem nisso como um contexto para RH, operações, engenharia e assim por diante. Certo, é claro que inclui as fontes, as conexões com os dados e assim por diante. Mas também inclui o manifesto. Certo, o manifesto é a primeira ideia realmente inovadora e uma entidade importante. Certo,

09:16 Hoje, fornecemos contexto aos nossos agents por meio de skills, plugins, comandos e arquivos Markdown que escrevemos nós mesmos. Em uma camada de conhecimento, você não faz mais isso. Certo? Você diz à camada de conhecimento — diz ao Nexus — o que é importante para você em um manifesto. Você diz que tipo de tarefas quer concluir, quais entidades quer acompanhar, que tipo de informação é importante para você, e cabe à camada de conhecimento manter o controle desses arquivos. Certo? E organizar os próprios

09:50 dados. E então há os próprios arquivos de conhecimento. Pense no manifesto como o metarquivo de conhecimento ou um conjunto de arquivos de metaconhecimento. E depois há o conhecimento em si. Pense nisso como cinco tipos de conteúdo. Um deles, o primeiro tipo, é um mapa semântico. Certo? Esse é um arquivo que organiza o catálogo de onde está todo o resto: os esquemas principais, os glossários e todas as

10:23 informações de que você precisa para conseguir operar nesse contexto. Depois, é claro, há vários arquivos Markdown que contêm informações, decisões, memórias e todo tipo de informação não estruturada. Quem aqui já ouviu falar da LLM wiki? Certo, a LLM wiki é essa ideia que Andre Karpathy sugeriu: deixar os agents basicamente gerenciarem um conjunto de arquivos Markdown para manter suas próprias anotações sobre as coisas.

10:55 É uma ideia muito parecida. Certo, é como se fosse a mesma ideia com esteroides, mas o conceito é semelhante. Só que isso não basta. O contexto também contém várias tabelas SQL para dados tabulares, agregações e fatos que precisam ser memorizados; um banco de dados vetorial para fazer buscas semânticas, buscas de texto e filtragem de várias informações; todas as informações que ele próprio decide que é necessário guardar e lembrar; e grafos de entidades e gráficos para lembrar

11:25 novamente entidades, relações, cadeias causais e assim por diante. Certo. E tudo isso é gerenciado e criado para você. Você não mexe em nada disso. Não precisa saber como nada disso é criado. Tudo é mantido por meio do manifesto. Então, isso é o contexto. Agora, quais são as tarefas? Quais são as ações? Esses são os substantivos. Quais são os verbos? O que podemos fazer com esses objetos? A primeira, é claro, é importar, ou seja, trazer novas informações para o sistema: novos arquivos,

11:57 novos eventos, novos conceitos. Curar é provavelmente a mais elaborada das duas funções mais elaboradas. O trabalho dela é pegar — vamos chamar de arquivo; não precisa ser um arquivo, mas digamos que seja um novo PDF, a transcrição de uma nova reunião ou uma nova apresentação para o conselho — e dizer: agora preciso atualizar minha visão do mundo. Certo? Então, ela pega isso e o manifesto, que informa: certo, agora, com o que me importo? Quais coisas

12:31 são importantes para mim? Quais conceitos preciso acompanhar? O que preciso memorizar aqui? E então ela pega o mapa semântico, que, como eu disse, organiza onde estão as informações, e entende: certo, preciso atualizar estas tabelas, estas relações, meu grafo, estes índices de texto e assim por diante. E, quando termina, basicamente diz: certo, assimilei as novas informações. Elas já foram persistidas no seu contexto, e podemos seguir em frente. Certo.

13:04 A busca é uma função interna, por assim dizer, e muito importante. Ela basicamente abstrai, por meio de funções simples, todo o acesso a essas informações, para que o agent — de quem vou falar daqui a pouco — não precise saber como acessar as partes internas do contexto. Agora vem a segunda parte que considero mais interessante do

13:35 sistema: o NoQL. O NoQL é a nossa forma de especificar como queremos obter informações do contexto. Não basta simplesmente fazer perguntas. Se você é um agent, é muito importante informar o orçamento em tokens ou em dólares: quanto tempo você quer que invistamos nisso. Você quer só uma resposta rápida, improvisada e imediata, ou quer que nos empenhemos ao máximo e vasculhemos tudo o que sabemos para garantir que vamos dar a resposta mais precisa? E assim por diante, quanto à estrutura e tudo mais. É uma ferramenta agêntica. Não é como uma interface de chat.

14:10 E, é claro, o que você recebe de volta é algo adequado para agents. É um texto fundamentado e estruturado no formato correto. Novamente, isso não foi projetado para ser uma interface de chat. É realmente o que seus agents esperam. Certo? Então, isso é um…

14:42 Estou tentando descobrir quanto tempo me resta. Certo, preciso acelerar um pouco. Este é um público sofisticado. Quero abrir o capô e mostrar um pouco como as coisas funcionam. Se há algo que quero mostrar, é esta interface. Há muitas ideias interessantes que fazem isso funcionar, mas quero falar um pouco sobre apenas uma delas. Certo? O que vocês estão vendo é a interface do Nexus. Certo? No topo, vocês verão uma

15:15 pergunta feita pelo agent, e à esquerda verão as diferentes etapas pelas quais ele passou. Certo? O que aparece no canto inferior direito é provavelmente o mais interessante. Vocês veem o código gerado no canto inferior direito. O que o Nexus faz, e que é muito diferente de outros sistemas, é o que chamamos de agent de codificação em tempo de execução. Certo? Diferentemente dos outros sistemas de codificação a que vocês estão acostumados,

15:45 em que a tarefa é pegar uma grande base de código e me ajudar a editá-la, certo? Mas, quando as edições terminam, o que tenho é um software, que é então colocado em produção. Esse é o artefato. Certo? O que está em execução já não contém o modelo; é só o código. Certo? Não é isso que acontece aqui. Na hora da consulta, você deve imaginar o mecanismo basicamente construindo algo como um notebook Jupyter, algo como um REPL de Python, certo? E eles

16:17 literalmente escrevem código e o executam, escrevem código e o executam; e, se obtêm a resposta, sabem o que fazer com ela. Se não for o que esperavam, reescrevem aquele trecho do código. E o que você obtém no fim é um código que conclui a tarefa e busca as informações que você quer. Certo? Esse código pode ser salvo e executado novamente. Certo? Mas também é incrivelmente flexível, porque agora a resposta não é obtida por

16:47 uma consulta a um banco de dados. Ela é produzida por código, que, é claro, é incrivelmente flexível. Aliás, curiosamente, se você escreve software dessa maneira, a quantidade de prompting necessária é significativamente menor. Reduzimos de algo como 150 mil tokens para fornecer aos nossos agents todas as ferramentas de que precisam para menos de mil tokens para especificar todas as interfaces necessárias para obter informações

17:17 do Nexus. Certo? E é assim que fica quando você executa. Certo? À esquerda, é claro, vocês verão o Nexus respondendo à pergunta com o NoQL; à direita, está mais ou menos a mesma tarefa dada a um agent com todas as ferramentas para concluí-la. Certo? Mas lembrem-se: o agent à direita está severamente limitado. É como um funcionário

17:48 no primeiro dia de trabalho. Ele precisa ler um monte de coisas. Precisa descobrir onde estão os dados. Precisa entender qual é a tarefa. Precisa escrever um monte de código. Está simplesmente muito limitado, e não sei se vocês… certo, parou. Mas, nem é preciso dizer, isso é muito mais lento. É bem mais caro em termos de consumo de tokens. Curiosamente, também é muito menos preciso, porque, mais uma vez, ele não tem o contexto certo, os objetivos certos e assim por diante, dentro da sua empresa.

18:19 Vou só dizer que já trabalhamos, obviamente, com vários clientes de acesso antecipado. Vocês veem alguns resultados aqui, mas vou passar por eles rapidamente e dizer que, em diferentes domínios, empresas e tipos de tarefa, vemos universalmente a mesma coisa: se você adota esse paradigma, consegue uma economia significativa de custos. Uma redução no consumo de tokens de 77% a 90% é bastante comum.

18:54 Fica muito mais rápido, de 20% a 30% e, às vezes, até 77% mais rápido. Certo. Mas o mais importante é que também fica muito mais preciso, ao mesmo tempo. Então, isso é realmente uma vitória certa. Vou encerrar dizendo que o Nexus sairá do acesso antecipado e entrará em prévia pública

19:25 literalmente amanhã. Então, experimentem.

Transcrição original

[00:01] [music] All right, welcome everyone. I want to tell you a little bit about uh the new the new uh knowledge layer and I’ll start with telling you a little bit about theory of mind. Uh how many of you uh know what theory of mind is? All right, so a few folks. It’s a uh

[00:33] term in psychology about uh our capacity to understand uh and have a mental state or a model of a mental state for other people. What do they know? What do they believe in? How do they act? That’s what allows us to socialize. That’s what allows us to lie to each other and so on. Uh but it’s a crucial developmental stage for humans. uh in a necessary function. I’ll I’ll sort of explain it in the best possible way with a funny story just to break the ice. Uh about 15

[01:04] 16 years ago I uh worked at a company called Yahoo um that had a product called Yahoo Answers which was sort of like a Q&A forum. Uh we used then AI which is the stone age of AI you know it’s like uh NLP and other statistical models to answer questions. But the funny thing is people would come to uh Yahoo and ask questions like am I fat? Which uh is funny because obviously uh you know Q&A forum would wouldn’t have

[01:35] any clue whether you’re you’re too fat or not. Uh but this is a funny way to say yeah people have a very bad theory of mind on sort of what the products that they use what information they have and what they don’t have. And I want to argue that in some sense we are making that mistake with AI today in a more subtle and less sort of like uh silly way but in a just as fundamental of a mismatch. And so I will categorize roughly three kinds of knowledge. I

[02:06] think there there are many more but you know in broad stro in broad broad strokes this is not a bad way to categorize. First of is general knowledge. Think about that is what’s available in the public domain. Things that models are trained on and we expect an LLM to just know out the gate. Uh things about just you know improving your Rust code uh asking you like you know explaining stuff about the legal terms or uh sort of exploring use cases for for products. Um we know how to do that. Models are

[02:39] really good at that. When we use our agents they have that information. there is specific knowledge [clears throat] the companies of course the models wouldn’t have uh any clue about whether we’ve uh implemented something specific in our codebase what a contract of a specific customer has of course this is information that’s private to the company uh but we know how to deal with that and rag and search and of course pine cone veto dbs and so on uh solved these problems a long time ago there’s still a lot to go but we by and large

[03:11] know how to do it and then I would say there is tribal knowledge. Okay, tribal knowledge is the sort of general knowledge inside the company. This is the kind of information that uh an employ a seasoned employee has that a new hireer does not. Okay, it’s roughly how we do things, what our processes are, who’s in charge of what, uh what are the guiding principles, what are the you know sort of how we get stuff done in this company. Okay. um that is not a

[03:42] that’s not general knowledge because it’s it’s specific to your company but it’s also not a specific piece of knowledge because you can’t just get it by searching. You can’t just get it by plucking it off one place and say yes this document says uh that this is our culture. It’s the sum total of a lot of uh things. Um and so if our theory of mind of most of our agents in big companies today should be something like a new hire. They’re brilliant. They have tools. They have we have very high expectations of them. But they are by

[04:14] and large clueless. Okay. They have no idea about your company’s goals, culture, priorities, processes. Um they have to read a bunch of documents uh to be able to get any semblance of understanding of where they are in the world. Um and really they start most tasks from scratch. Okay. they really start kind of wake up and every time you start your your session, uh, they’re like a new hireer on their first day on the job.

[04:47] So, I would argue that what they need is not necessarily to be smarter, to have better tools, but to have something new, which I would call a knowledge layer going forward. Um, and I have to explain to you what I think a knowledge layer has to actually do. But just I’ll define it generally before explain to you what we do. Um so at the very least it needs to be persistent. We talked about this is the company knowledge, processes, capabilities and goals and so on. It has

[05:17] to be persistent. Uh it sure it uh feels like putting this thing together is going to be a monumental effort. So you want to do it once or at least very rarely. Uh and of course all your agents in company need to have access to this thing. The second thing is that you would argue that this [clears throat] knowledge layer needs to be uh highly specialized. If your agent uh is in charge of HR practices or optimizing your uh your kernels in your codebase or uh resolving customer issues that they would care about different things they

[05:50] would want to you know address they would want to have different information available to them. Um, and I would argue irrelevant of of specifically how it’s created, I would argue that it’s a good practice to have the domain experts in the company own those and have being able to interact with them and make sure that they actually uh are aligned with what the company wants to do. And finally, which is the hardest thing is they need to stay up to date and they need to stay concurrent constantly because companies change and you need to

[06:24] make information uh uh deprecated. When it becomes deprecated, if the company replaces its CEO, the very next day, everybody in the company knows who the CEO is. Okay? Even though 9,000 documents going from, you know, a day before yesterday to uh the last 10 years say it’s somebody else. This has become common tribal knowledge immediately. And everything else, even you know, every rag search will tell you otherwise. This is now the overriding

[06:57] fact. Okay. Um I will argue before we move on that I’m not suggesting that this knowledge layer should replace everything else we’re doing. Our agents are already very capable and should keep being very capable. Uh they have access to LLMs of course tooling local files search of course like rag vector search text search and so on. And I would argue that uh the knowledge layer needs to be a separate entity that all these agents have access to as as I explained why this is sort of a fundamentally

[07:32] different kind of data source. So I want to tell you more about Nexus. Um um Nexus is a product that we’re uh uh of course it’s a knowledge layer but I need I want to explain to you what it does. uh of course so the the four parts are roughly connectors what I would call context uh uh tasks and queries I’ll explain each one of them uh now so connectors of course do the obvious things there’s

[08:06] nothing much to talk about them um uh they bring data into the platform uh respect access uh rights and uh and control and so on um very dull as a topic of discussion but incredibly important in enterprises, incredibly important to do right. Uh and everybody who’s built that knows how painstaking it is to get this thing to work well. Um the interesting sort of the first properly interesting part is um the

[08:40] context. So the context think about that as the um the sum of assets that the that Nexus or this knowledge layer saves about a specific topic. Think about this as a context for HR, for operations, for engineering and so on. Okay, of course it has the sources, the connections to the data and so on. But then it has the manifest. Okay, the manifest is the first truly novel idea and and a important uh entity. Okay,

[09:16] the way that we today give context to our agents is with skills and plugins and uh commands and sort of markdown files we write ourselves. In a knowledge layer, you don’t do that anymore. Okay? You tell the you tell the knowledge layer, you tell Nexus what you care about in a manifest. You say what kind of tasks you’re you want to complete, what entities you want to track, what kind of information you care about, and it’s it’s the knowledge layer’s work to keep track of those files. Okay? And and organize its own

[09:50] data. Um uh and then it has the knowledge files themselves. So think about the manifest is the meta knowledge file or set of files. Um and then there’s the knowledge the knowledge itself. uh think about this as five types of contents. One of them the the first kind is a semantic map. Okay, this is a file that organizes the catalog of where everything else is, the key schemas, the glosseries, all the

[10:23] information that you need to be able to operate this context. Then there are of course a bunch of markdown files that contain information, decisions, memories, uh all sorts of unstructured information. If you’ve uh who here has heard about uh LLM wiki okay so LLM wiki is this uh idea that Andre Karpathy suggested to have agents basically manage some stash of markdown files to sort of keep their own notes of stuff.

[10:55] This is a very similar idea. Okay, sort of on steroids but similar concept but that’s not enough. Context contains also a bunch of SQL tables for tabular data for aggregation for facts that they need to memorize. uh a vector database to be able to semantically search and text search and filter a bunch of information and all the information that it itself decides is necessary to keep and and remember and graph entities and graphics to remember

[11:25] uh again entities relationships uh causal chains and so on. Okay. And all of that is managed and created for you. You don’t touch any of this. You don’t have to uh know how any of this is created. It’s all maintained through the manifest. So these are this is the context. Now what are the tasks? What are the actions? These are the nouns. What are what are the verbs? What can we do with those uh objects? Uh first of all is of course import which is bring new information to the system, new files,

[11:57] new events, new uh concepts. Um curate is probably the most and most elaborate one of the two most elaborate functions. it’s uh job is to take um to take the uh the say call it a file it doesn’t have to be a file but let’s say it’s a new PDF or a new meeting transcription or a new uh presentation for the board and say now I need to update my view of the world okay so it takes that it takes the manifest which tells okay now what what things do I

[12:31] care about what concepts do I need to track what needs to be uh uh what do I need to memorize here and then it takes the semantic map that I told you contains all the like organizes where information is and understands okay fine I need to go update these tables these relationships my graph uh this uh these text indexes and so on um and when it’s done it has essentially said okay fine I have assimulated the new information it’s already it’s it’s sort of persisted

[13:04] in your context and we can move on Okay, search is sort of a internal function very important. It basically abstracts with simple functions all the access to that information so that the agent that I’ll tell you in a second doesn’t have to know uh how to sort of access the internal parts of the context. Now comes uh the second I think most uh most uh interesting uh part of of the

[13:35] system which is noql. Noql is our way to to uh specify how we want information out of the context. It’s not enough to just ask questions. If you’re an agent, it’s really important for you to give us the budget in tokens or in dollars. how much time you want us to invest in this sort of like do you want us to just a quick off-the- cuff kind of immediate answer or do you want us to go full tilt and scour everything we know to make sure we give you the most accurate answer uh and so on the structure and and so on. It’s a you know it’s an

[14:10] agentic tool. This is not like a chat interface. Okay. Um and of course what you get back is like something that’s agent friendly. This is uh you know grounded text and and kind of structured in the right way format. This again is not designed to be like a chat interface. This is really what your agents expect. Okay. Um so this is this is a uh um this is a

[14:42] uh trying to figure out how much time I have. Okay, I need to go a little bit faster. So uh this is a sophisticated crowd. I want to sort of uh pop the hood and show you a little bit about how things work. So uh if anything this is the interface I want to there are many many cool ideas uh that make this work but I want to tell you a little bit about just one of them. Okay. What you’re seeing is the interface for Nexus. Okay. You will see at the top a

[15:15] question that the uh the agent issued and you see you see on the left uh the different steps that it went through. Okay. What you see on the bottom right is probably the most interesting. You see generated code on the bottom right. What Nexus does which is very different than other systems. It’s what we call a runtime coding agent. Okay. Unlike other coding systems in in that you’re used to

[15:45] uh where the task is take a large code base and then help me edit it right but when the edits are done what I have is a piece of software and that is deployed that is the artifact okay what is running does not contain the model anymore it’s just the code okay this is not what’s happening here the in query time you should think about the engine essentially building something like a Jupyter notebook, something like uh like a Python ripple, right? And they

[16:17] literally write code and execute it and write code and execute and if they get the answer, they know what to do with it. And if it’s, you know, if it’s not what they expected, they rewrite that piece of the code and what you get in the end is a is a piece of code that completes the task that gets the information that you want to get. Okay, that is savable. that’s rerunnable. Okay. But it’s also incredibly flexible because now the the answer is got not by

[16:47] by a query to a database. It’s it’s written by code which is of course incredibly flexible. Okay, that code is by the way, interestingly enough, if you replace if you write software this way, the the amount the amount of prompting that you need is significantly reduced. We went down from having something like 150,000 tokens to give our agents all the tooling they need to less than a thousand tokens to specify all the interfaces they need to get information

[17:17] out of Nexus. Okay. And so the the so what it looks like when you run it is like this. Okay. So on the left of course you’ll see Nexus with uh NoQL answering the question and then on the right is sort the same uh task given to an agent with all the tooling to complete the task. Okay, but remember this on the right it’s uh severely handicapped. It’s like the employee on

[17:48] the first day on the job. They have to read a bunch. They have to figure out where the data is. They have to figure out what the task is. They have to write a bunch of code. Uh it’s just it’s just severely handicapped and there’s I don’t know if you okay stopped but um needless to say this is by far slower. It’s a lot more expensive in terms of token consumption. Uh but interestingly enough it’s also a hell of a lot less accurate because again they don’t have the right context, the right objectives and so on in your company.

[18:19] Um, I’ll just say that [clears throat] we work uh obviously with a bunch of early access customers already. Uh, you see some results here, but I’ll just sort of fly through them and say that across different domains, across different enterprises, across different kinds of task, you we universally see the same thing that if you shift to this paradigm, you get significant cost savings. uh 77 90 you know percent token consump token reduction is pretty

[18:54] common. Um uh it gets a hell of a lot faster anywhere from 20 30% to sometimes uh uh uh 77% faster. Okay. But and the most important thing is it actually becomes a lot more accurate as well in the same time. So this is really uh it’s a slam dunk. I’ll just wrap up by saying that uh um the that Nexus is coming out of early access and into public preview

[19:25] literally tomorrow. So go uh try it out.