Construindo a camada de segurança para agentes de IA

Autoria: YC Root Access · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Building the Safety Layer for AI Agents · Canal: YC Root Access · 10:01 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Mercados e economia, Segurança de IA

Resumo

A Raindrop ajuda empresas a detectar problemas em agentes de IA em produção e, com as simulações, a antecipá-los antes que cheguem à produção. Os fundadores explicam que agentes mais capazes também são mais complexos e que seus erros podem ter consequências e custos maiores. A empresa monitora traces para identificar problemas conhecidos e também falhas que as equipes ainda não tinham previsto. O produto começou como uma ferramenta interna para agentes de programação e agora inclui simulações que analisam mudanças antes de chegarem à produção.

Pontos-chave

A Raindrop monitora agentes em produção para detectar falhas, como ações que o agente afirma ter realizado, mas que não foram concluídas.
As métricas da plataforma ajudam empresas a avaliar o desempenho de seus agentes.
Agentes mais capazes usam mais ferramentas e acessam dados críticos, aumentando a complexidade e o impacto potencial das falhas.
Usar um LLM as a judge em todos os traces pode elevar os custos, e definir se um comportamento está certo ou errado é difícil.
A Raindrop busca identificar proativamente problemas que as equipes ainda não sabem que devem procurar.
A ferramenta começou como um recurso interno para os agentes de programação criados pelos fundadores.
Os fundadores acreditam que a capacidade dos agentes e o custo de seus erros vão continuar aumentando.
As simulações da Raindrop analisam mudanças, como pull requests, e procuram problemas antes que elas cheguem à produção.
A empresa está contratando para áreas de engenharia, marketing, vendas e desenvolvimento de negócios.

Capítulos

Início	Capítulo	Resumo
00:00	O que a Raindrop faz	Os fundadores apresentam a empresa e explicam como ela detecta falhas de agentes, como uma resposta de reembolso que não corresponde à ação realizada.
02:05	Complexidade, custos e detecção proativa	A conversa aborda o aumento dos riscos com agentes mais capazes e os limites de usar um LLM as a judge para avaliar todos os traces.
04:45	Da ferramenta interna ao produto	Os fundadores contam que a Raindrop começou como uma ferramenta para seus próprios agentes de programação e descrevem como o aumento das capacidades elevou os riscos.
07:51	Simulações antes da produção	A Raindrop apresenta simulações que analisam mudanças e procuram problemas antes que elas cheguem à produção.
09:29	Contratações e expansão	Os fundadores falam sobre as vagas abertas em engenharia, marketing, vendas e outras áreas.

Citações

Detectamos problemas com agentes em produção e agora evitamos que eles cheguem à produção. — 00:00

Pensamos em nós mesmos como uma empresa de alinhamento: alinhamos as pessoas dentro da empresa ao comportamento dos agentes. — 03:10

Os agentes ficarão mais capazes e o custo dos erros deles aumentará. — 07:20

Mostramos como cada mudança pode dar errado antes que ela chegue à produção. — 08:23

Conceitos e entidades

Raindrop (empresa): Empresa que detecta problemas em agentes de IA em produção e oferece simulações para antecipar falhas.
LLM as a judge (conceito): Abordagem que usa um LLM para avaliar respostas ou comportamentos de agentes segundo critérios definidos.
traces (conceito): Registros das interações e ações dos agentes que a Raindrop analisa para encontrar problemas.
evals (conceito): Testes voltados a comportamentos e problemas que já foram identificados.
CI (ferramenta): Etapa em que as simulações da Raindrop analisam mudanças antes de elas chegarem à produção.
OpenAI (empresa): Empresa citada na discussão sobre agentes, detecção de problemas e acesso a tecnologias de simulação.
Anthropic (empresa): Empresa citada como uma das que têm acesso interno a tecnologias de simulação desse tipo.
Opus 4.5 (modelo): Modelo mencionado pelos fundadores ao falar do avanço dos agentes de programação e do aumento de sua adoção.

Tradução completa (pt-BR)

00:00 [música] Estou muito feliz por receber hoje os fundadores da Raindrop, após o fechamento de uma grande rodada Série A liderada pela CRV, elevando o financiamento total de vocês a US$ 50 milhões, depois da rodada seed feita pela Lightseed. Isso foi só dois anos depois do batch. É bem legal. Contem para a gente: o que vocês fazem? — Simplesmente, detectamos problemas com agents em produção e agora impedimos que esses problemas cheguem à produção.

00:31 — Então, quem são alguns dos grandes clientes de vocês agora? — Trabalhamos com vários agents de IA realmente incríveis, em empresas como Verscell, Clay, Framer, Speak etc. E também com empresas da Fortune 500 de vários setores. — Vocês têm exemplos concretos de como esses clientes usam vocês? — Sim, há todo tipo de caso. Um bastante comum com agents de suporte ao cliente é uma incompatibilidade entre a resposta do agent e a chamada de ferramenta. Vamos ver algo bem específico. Um agent de suporte ao cliente está tentando emitir um reembolso, mas

01:04 a chamada de ferramenta para emitir o reembolso falha, e o agent diz: “Seu reembolso foi emitido.” Então, isso é um problema. — Com certeza. Um caso parecido é quando um agent diz que realizou uma ação, mas não realizou. Há também lacunas de capacidade, como quando o usuário pede algo que o agent não consegue fazer. Há falhas na tarefa, quando o agent não consegue concluir algo por algum motivo. E temos literalmente centenas desses tipos de métricas. O que vemos é que empresas inteiras usam essas métricas para determinar se o agent está funcionando bem ou mal. — Então, basicamente, vocês ficam observando

01:34 sempre que os agents saem do controle, sempre que há problemas como alucinações, erros nas chamadas de ferramenta, loops quebrados ou qualquer outro tipo de problema. Uma coisa que me parece muito interessante e contraintuitiva é que, conforme os modelos ficam mais capazes, parece que os grandes laboratórios deveriam resolver isso, mas acontece o contrário. Vocês estão vendo mais demanda do que nunca com os modelos mais novos. Por quê? — Sim. Dá para ver, por exemplo, com a Hugging Face, que, à medida que os agents melhoram, eles chamam centenas de ferramentas. Eles leem e escrevem em

02:05 fontes de dados críticas. Estão sendo implementados na área da saúde, nas forças armadas e no setor financeiro. Então, à medida que as capacidades aumentam, a complexidade também aumenta, e o custo dos problemas cresce drasticamente. Além disso, surgem todos esses modos de falha que você nunca previu. — E um LLM as a judge comum não dá conta. Por quê? — Acho que há dois motivos. O primeiro é simples: o custo. Se você fosse pedir a um LLM para analisar cada trace, seus custos pelo menos dobrariam. Acho que o

02:37 segundo é bem mais complicado e é algo que, na verdade, acho que nossa empresa existe para resolver: a classificação binária é muito, muito difícil. Estávamos conversando antes sobre um artigo da OpenAI, de talvez uns dois anos atrás, em que diziam que alucinação é um problema de classificação binária: algo é verdadeiro ou não é. E havia várias pessoas no Twitter dizendo algo como: “Nossa, a OpenAI resolveu as alucinações, porque é só uma questão binária.” Mas não: na verdade, a classificação binária é extremamente difícil. Você poderia dizer que toda escolha da sua vida é uma questão de fazer ou não fazer algo. E acho que, da mesma forma,

03:10 algum comportamento do seu agent está errado ou certo. E cabe à empresa definir o que está errado e o que está certo. Então, pensamos em nós mesmos como uma empresa de alinhamento, que alinha as pessoas dentro da empresa ao comportamento dos agents delas. — Acho que o mais legal do que vocês fazem é permitir que os clientes acompanhem os traces completos de todos os agents, em vez de apenas fazer uma amostragem e depois executar um avaliador, como as pessoas fazem hoje. Mas isso não detecta todos os erros, e vocês conseguem detectar todos eles.

03:42 — Sim. E acho que é mais do que apenas detectar erros. É a detecção proativa de problemas. Então, [limpa a garganta] quando você usa LLMs as a judge, só consegue executá-los em 1% ou 10% dos dados. Mas também só consegue procurar problemas que já conhece. Você diz ao LLM: “Olhe para isto e avalie a resposta de acordo com o parâmetro XYZ que me interessa.” Mas o que a Raindrop faz é encontrar proativamente problemas que você não sabia que existiam. Certo? Então, se pegarmos aquele problema da OpenAI, tipo o da Hugging Face,

04:12 esses agents estão conversando, têm registros e mais registros, e isso passa despercebido por semanas porque você não sabia que precisava procurar. Com sinais poderosos e também com a detecção proativa de problemas da Raindrop, vocês encontram — e nossos clientes encontram — problemas que geram riscos, responsabilidades legais e também custos excessivos de tokens, em situações que eles nem sabiam que existiam. O que é interessante é que essa trajetória parece bem direta, mas a realidade é que, quando vocês passaram pelo batch, há cerca de dois anos, eram uma empresa bem diferente.

04:45 Quando entrevistei vocês, estavam criando basicamente um agente de programação para o terminal, antes mesmo de agents serem uma coisa. Isso nem fazia parte do vocabulário usado pelas pessoas para pensar em agents, mas vocês estavam, basicamente, criando um agente de programação para o terminal. — Sim. — Então, contem para a gente o que aconteceu. — Claro. Somos todos melhores amigos há muitos anos e, desde o início, ficávamos criando coisas que queríamos para nós mesmos. Bem cedo, percebemos que queríamos o que hoje chamamos de agents de programação. Na época, a gente diria “chatbots que conseguem fazer coisas”, e essa foi a primeira maneira como pensamos em agents. Enquanto criávamos esses agents de programação, nós mesmos nos deparamos com esse problema: não fazíamos ideia do motivo de esses problemas aparecerem nem do que estava dando errado. Então, o que hoje é a Raindrop começou como uma ferramenta interna que usávamos nos nossos próprios agents de programação.

05:17 Agents foram se popularizando muito lentamente desde 2024; nem chegaram a ser uma coisa até provavelmente 2025. — E realmente começaram a funcionar por volta de

05:47 Claude Code, Opus 4.5, com a programação agentic começando a funcionar. — Sim. — E foi aí que as coisas decolaram para vocês. Basicamente, a receita de vocês disparou. — Sim. — Então, contem: o que aconteceu? Mais agents de programação criaram mais problemas para as pessoas resolverem? — É exatamente o que o Zan estava dizendo antes: quanto mais capacidades, mais complexidade e mais maneiras de algo dar errado. Acho que o que também vimos com o Opus 4.5 foi o começo da remoção das barreiras de proteção,

06:18 certo? As permissões começam a ser liberadas; todo mundo fica tipo: “Pule todas as permissões de forma arriscada.” Todo mundo fica tipo: “Ah, talvez a gente devesse conectar isso à produção. Talvez ele devesse ter acesso aos logs de produção.” Então, é exatamente a segunda parte do que eu estava dizendo: os riscos aumentam. — O que foi realmente legal em vocês é que, como mencionaram, são muito amigos. E essa era basicamente a segunda empresa de vocês. A anterior era uma empresa de cripto que vocês venderam por meio da Coinbase. E vocês ficaram com essa empresa, que não estava avançando muito por um tempo, até as coisas decolarem no ano passado.

06:50 — O que fez vocês continuarem? — Bem, acho que uma das coisas mais importantes é trabalhar juntos. Sinceramente, quando sua vida é acordar de manhã, ir a um escritório e trabalhar nos problemas mais interessantes do mundo com seus melhores amigos, você pensa: “A vida está bem boa.” [limpa a garganta] Você aprende muito. Cria coisas que realmente quer usar. E acho que também tínhamos essa convicção sobre o futuro: essas IAs vão fazer coisas e, eventualmente, as pessoas vão conectá-las a bancos de dados de produção. Eventualmente, elas vão emitir receitas médicas. Acho que foi

07:20 Ficou óbvio para nós muito cedo que esses agents basicamente movimentariam boa parte da economia. E agora que isso está acontecendo, as pessoas estão percebendo que é um problema urgente. >> Sim. Acho que definitivamente apresentamos muitas coisas como verdades fundamentais. Quer dizer, acho que nossas crenças fundamentais e tudo o mais em torno delas, como empresa, podem mudar. Por exemplo, daqui a um ano, nosso produto pode ser completamente diferente. Não faço ideia. Mas as coisas que sabemos como empresa são: primeiro, os agents ficarão mais capazes; e, segundo, o custo dos erros deles

07:51 vai aumentar. E, se as duas coisas acontecerem, as pessoas vão nos pagar para garantir que isso não aconteça. Então, vocês têm um anúncio bem legal: estão resolvendo um problema muito difícil, descrito na publicação de Darkeesh sobre a ascensão e a queda da civilização dos agents, que basicamente conta como os agents da OpenAI comprometeram a Hugging Face. E vocês têm essa nova solução que vai resolver isso. Contem mais sobre ela. >> Vamos lançar o Raindrop Simulations. O que ele faz é que, a cada

08:23 mudança que você faz, a cada PR, mostramos como algo pode dar errado antes mesmo de chegar à produção. Pegamos toda a detecção de issues que fazemos em produção e a levamos para a integração contínua. Tentamos encontrar casos em que as coisas podem dar errado e que você nem sequer imaginou. Essa é uma estratégia muito, muito diferente da dos evals, que, em geral, testam coisas que você já conhece. E, hoje, só a OpenAI e a Anthropic têm acesso a esse tipo de tecnologia. E estamos disponibilizando isso para todas as empresas do mundo.

08:55 >> Muito legal. Então vocês conseguem detectar a ascensão e a queda de civilizações antigas. >> Sim. >> Literalmente. Acho que esse é um ótimo exemplo de algo em que, claro, agora que você sabe disso, poderia adicionar um eval, certo? Mas a realidade, e isso vale para a maioria das empresas, inclusive a OpenAI, é que isso ficou nos logs por semanas antes de alguém descobrir. Foi preciso, sabe, derrubar o gerenciador de pacotes interno deles para que o problema fosse detectado. >> Falem sobre as vagas para as quais estão contratando. >> Sim, estamos contratando para várias áreas, certo?

09:29 Esse é um problema muito importante. Estamos contratando para engenharia; acho que estes estão entre os problemas de engenharia mais interessantes que existem. Certo? Como Ben disse antes, estamos pegando algumas das ferramentas que só a OpenAI e a Anthropic têm internamente e tornando-as disponíveis para o mundo inteiro. À medida que os agents se disseminam, e também quando pensamos em fazer com que eles se disseminem e em disponibilizar essas ferramentas para todas as pessoas do mundo, para todos os desenvolvedores do mundo, isso exige uma grande distribuição em termos de estratégia de entrada no mercado. E por isso

10:01 estamos contratando para muitas áreas, desde marketing, vendas, relações com desenvolvedores e por aí vai. Isso. Certo, pessoal. Parabéns. >> Obrigado. [música]

Transcrição original

[00:00] [music] I’m excited today to welcome the founders of Raindrop on closing a big series 8 led by CRV bringing your total funding to $50 million where Lightseed did your seat round. So this was just two years after the badge. It’s pretty cool. Tell us what do you guys do? Yeah, really simply, we detect issues with agents in production and now prevent those issues from getting into

[00:31] production in the first place. >> So, who are some of your big customers right now? >> So, we have a number of really amazing AI agents that we work with companies like Verscell, Clay, Framer, Speak, etc. And then al also Fortune 500s of multiple industries. Yeah. >> Do you have a concrete examples of how these customers use you? >> Yeah, there’s all sorts. So, one common one with customer support agents is basically a tool call agent response mismatch. So, let’s look at something really specific. A customer support agent is trying to issue a refund, but

[01:04] the tool call to issue the refund fails and the agent says, “Issued your refund.” So, that’s a problem. >> That’s definitely one right around like an agent saying it took an action and it didn’t. There’s, you know, capability gaps like the user asking for something the agent can’t do. task failure, like the agent isn’t able to complete something for some reason. And we really just have hundreds of these sort of metrics. And what we see is that companies like the entire company use these metrics to determine how good or bad their agent is. >> So you guys basically are watching

[01:34] whenever agents go rogue, whenever you have problems like hallucination, errors with tool calls, broken loops, or any of these kinds of issues. What is very interesting to me and counterintuitive is that as model capabilities increase, it seems like the big labs should solve this, but it’s the opposite problem. You guys are seeing more demand than ever with the newest models. Why is that? >> Yeah. So, you can see with hugging face, for example, right, that as agents get better, they’re calling hundreds of tools. They’re reading and writing from

[02:05] critical data sources. They’re being deployed in healthcare, the military, and finance. And so as capabilities go up, complexity goes up and the cost of issues goes up dramatically and you have all these failure modes that you never anticipated. >> And a regular LLM as a judge doesn’t cut it. Why is that? >> I think there’s really two reasons. The first is easy in its cost. Uh I think that if you were going to have an LLM look at every single trace, it would double your costs at least. I think the

[02:37] second is actually a lot trickier and something I think our company sort of exists to solve which is that binary classification is very very hard and so we were talking earlier there’s this paper from open AAI uh maybe two years ago or something now where they said you know hallucination is a binary classification problem like something is either true or it’s not true and there were all these people on Twitter that were kind of like wow open AI solved hallucination because it’s just binary and it’s like no actually binary classification is extremely hard like every choice in your life you could say is either you should do it or you should not do it. And I think that similarly

[03:10] something in your agent, some behavior it’s doing is either wrong or it’s right. And it’s really up to the company to define what’s wrong or what’s right. And so we sort of think of ourselves as an alignment company, aligning humans inside of the company with their agents behavior. So I think the cool thing that you do then is that you enable your customers to basically watch the full traces of all of their agents rather than just doing sampling and then getting a judge to run which is how people do it today but it doesn’t catch all the errors and you guys basically catch all of them.

[03:42] >> Yeah. And I think it’s more than just catching errors. It’s proactive issue detection. So [clears throat] when you have LMS as a judge again you can only run it on 1% of data 10%. But also you can only look for problems you know about ahead of time. You tell your LM look at this you know rate the answer on like XYZ parameter I care about. But what Raindrop does is proactively find issues you didn’t know about. Right? So if you take the OpenAI like hugging face

[04:12] uh problem these agents are talking they have all these like tons and tons of logs and it’s going unnoticed for weeks because you didn’t know to look for it. and raindrop by having powerful signals but also having proactive issue detection you’re finding and you’re you know our customers are finding issues that are creating risk creating liability and also creating excess token costs like across things they didn’t know about what’s interesting >> this journey sounds pretty straightforward but the reality is when you guys went through the batch about two years ago you were a very different

[04:45] company when I interviewed you guys you were building basically a coding agent for the terminal before agents were even a thing. That was not even in not even the spoken world in terms of how people thought about agents, but you were bu basically building a coding agent on the terminal. >> Yeah. >> So tell us what happened. >> Totally. Yeah, we were I mean we’ve all been best friends for many years and we were all just hacking on things that we wanted for ourselves and very early we found ourselves wanting what are now called coding agents. agents or like

[05:17] basically at the time we’d say chat bots that can do things and this was like the earliest way we thought about agents and as we were building those coding agents we ran into this issue ourselves where we had no idea why these issues were popping up or what was going wrong and so what’s now raindrop started as an internal tool um that we used for our own coding agents >> agents really had a very slow trickling since 2024 it was not even a thing until probably 2025 >> and it really started to work around

[05:47] clock code opus 4.5 with aentic coding starting to work. >> Yeah. >> And that’s when things took off for you guys. Basically your revenue went like this. >> Yeah. >> So tell us what what happened is like more coding a agents created more more issues for people to follow up. >> It’s exactly what Zan was saying before is that like the more capabilities the more complexity and the more ways that they go wrong. I think what you also saw with Opus 4.5 is that the the sort of guardrails start coming

[06:18] off, right? The permissions start coming off like everyone’s like, you know, dangerously skip all permissions. Everyone’s like, you know, oh, maybe we should hook it up into production. Maybe it should have access to production logs. And so it’s exactly the second part of what was saying is that the stakes get higher. >> What was actually really cool about all of you is that as you mentioned, you are very close friends. And this was basically your second company. Your previous one was a crypto company that you sold through Coinbase and you were basically had this company kind of not making a lot of progress for a bit until things took off last year.

[06:50] >> What what made you keep going? >> Well, I think one of the biggest things is like getting to work with each other. Honestly, >> like when your life is you wake up in the morning and you walk to an office and work on the most interesting problems in the world with your best friends, >> you’re like life is pretty good. Uh [clears throat] like you’re learning a lot. you’re creating things that you genuinely want to use. And I think we just had this also conviction in the future where like these AIs are going to do things and eventually, you know, people are going to hook them up to production databases. Eventually, they’re going to be issuing prescriptions. Like I think it was

[07:20] obvious to us very early that these agents would basically run a lot of the economy and now that they are, people are realizing that it’s kind of a hair on fire problem. >> Yes. I think that we definitely frame things a lot as just like fundamental truths. Like I think the our fundamental beliefs and everything else around your fundamental beliefs as a company can change. Like the way I like in a year our product will look entirely different. I have no idea. But like the things we know as a company are that like one agents will get more capable and two that the cost of their mistakes

[07:51] will increase. And so if both of those things happen then people will pay us money to make sure those things don’t happen. So, you guys have a pretty cool announcement that you’re solving a very hard problem that was described by Darkeesh’s post on the rise and fall of agent civilization that basically describes how hugging face was pawned by the OpenAI agents and you guys have this new solution that’s going to solve this. Tell us more about that. >> We’re going to be launching raindrop simulations. So what this does is every

[08:23] single change you make, any PR you make, we show you how it might go wrong before it ever hits production. So we take all the issue detection we do in production and bring that to CI. We try to find cases where things might go wrong that you haven’t even imagined. And so this is a very very different strategy than eval which mostly are testing things you already know about. And this really today, OpenAI and Anthropic are the only ones that have access to this sort of technology. Um, and we’re bringing that to every company in the world.

[08:55] >> Pretty cool. So you guys can detect the rise and fall of ancient civilizations. >> Yes. >> Quite literally. I think that that is an extremely good example of something where it’s like, sure, now that you know about it, you could add an eval, right? But the reality, and this is true for most companies, if it’s true for OpenAI, is that that sat in logs for weeks before anyone found it. It took, you know, uh crashing their internal package manager um before it was detected. >> So tell us about the roles that you’re hiring for. >> Yeah, hiring across the board, right?

[09:29] This is such an important problem. Hiring across engineering, I think these are some of the most interesting engineering problems, period. Right? As Ben said earlier, we’re taking some of the tools that only OpenAI hat and Anthropic have in-house and just making them available to the entire world. Does agents proliferate? And um also in when we think about agents proliferating and getting these tools to everyone in the world, every developer in the world, that requires a huge distribution in sort of like GTM. And so

[10:01] we’re hiring a lot for everything from marketing, sales, devril, etc., etc. Yeah. All right, guys. Congratulations. >> Thank you. [music]