Na prática com Gemini 4 Argon: Amplitude

Autoria: Google Cloud · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Hands on with Gemini 4 Argon: Amplitude · Canal: Google Cloud · 02:01 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Dados, bancos de dados e embeddings, Geração de conteúdo com IA

Resumo

Paige, da Google DeepMind, conversa com Curtis, cofundador da Amplitude, sobre o uso de Gemini 4 para ajudar clientes a analisar dados de produtos. Curtis destaca a capacidade de Argon de interpretar sinais de várias fontes e encontrar respostas nos dados. Segundo ele, Gemini 4 obteve mais de 90% nos evals de geração de gráficos que respondem às perguntas dos clientes. A conversa também mostra agentes fazendo várias chamadas a ferramentas, recuperando-se de falhas e explorando dados para encontrar respostas relevantes.

Pontos-chave

A Amplitude ajuda clientes a entender como usuários finais usam seus produtos de software.
Argon interpreta dados e sinais de diversas fontes para encontrar respostas que podem estar ocultas nos dados.
Os agentes da Amplitude geram gráficos para ajudar clientes a visualizar respostas.
Gemini 4 obteve mais de 90% nos evals de geração de gráficos que respondem às perguntas dos clientes.
Uma conversa apresentada em um eval contém dezenas de chamadas a ferramentas.
O agente pode se recuperar de falhas em chamadas a ferramentas e continuar a análise.
Os agentes exploram fontes de dados personalizadas e usam informações externas.
O agente incorpora explorações anteriores e persiste na busca por respostas difíceis de encontrar.

Capítulos

Início	Capítulo	Resumo
00:00	Amplitude e análise de dados de produtos	Curtis explica como a Amplitude ajuda clientes a extrair insights dos dados de uso de seus produtos.
00:30	Interpretação de dados com Argon	Curtis destaca a capacidade de Argon de reunir sinais e encontrar respostas presentes nos dados.
01:00	Geração de gráficos e evals	A conversa aborda a geração de gráficos pelos agentes e o resultado superior a 90% de Gemini 4 nos evals.
01:31	Exploração de dados e chamadas a ferramentas	Uma conversa de eval ilustra chamadas a ferramentas, recuperação de falhas e busca persistente por respostas.

Citações

Argon está fazendo um ótimo trabalho ao entender que há muitas fontes de dados e sinais que as pessoas coletam. — 00:30

Gemini 4 marcou mais de 90% nos nossos evals ao gerar o gráfico que responde à pergunta do cliente. — 01:00

Ele conseguiu se recuperar rapidamente e chegar à resposta certa. — 01:31

É muito persistente na tentativa de encontrar essas respostas difíceis de achar. — 02:01

Conceitos e entidades

Gemini 4 (modelo): Modelo usado pela Amplitude em agentes que analisam dados e geram gráficos.
Argon (modelo): Nome usado na conversa para se referir ao sistema que interpreta dados de várias fontes e encontra respostas.
Amplitude (empresa): Empresa que ajuda clientes a analisar como usuários finais interagem com seus produtos de software.
Google DeepMind (empresa): Organização representada por Paige na conversa.
Paige (pessoa): Apresentadora da Google DeepMind que conduz a conversa.
Curtis (pessoa): Cofundador da Amplitude que descreve como a empresa usa Gemini 4.
evals (conceito): Avaliações em que Gemini 4 foi testado na geração de gráficos que respondem a perguntas de clientes.
tool calls (conceito): Chamadas a ferramentas que o agente usa durante a exploração e análise de dados.

Tradução completa (pt-BR)

00:00 Oi, meu nome é Paige, da Google DeepMind, e estou aqui hoje com Curtis, um dos cofundadores da Amplitude, que veio conversar conosco sobre como eles têm usado Gemini 4 para enfrentar alguns dos problemas mais difíceis. Ajudamos nossos clientes a criar produtos melhores. Isso significa que os ajudamos a coletar dados sobre como os usuários finais estão usando seus produtos de software e a extrair desses dados insights e oportunidades. Acho que uma das coisas mais difíceis é entender

00:30 o que as pessoas realmente querem dizer, e acho que Argon está fazendo um ótimo trabalho ao entender que existem muitas fontes de dados e sinais que as pessoas coletam, e que os clientes não sabem o que fazer com isso. Alguns outros modelos meio que desistem quando a resposta está bem ali nos dados, e Argon conseguiu meio que reunir todas essas informações corretamente. E sobre qual deveria ser, de fato, a definição disso. Excelente. Então, vocês estão usando Gemini 4 há algum tempo. Sim, sim. Uma das coisas que nossos agents precisam fazer é criar gráficos para ajudar os clientes

01:00 a visualizar o que estão entendendo e como são as respostas às perguntas. E uma das coisas que descobrimos é que Gemini 4 teve uma pontuação acima de 90% nas nossas evals, sendo capaz de gerar o gráfico que responde à pergunta do cliente. Legal. Parece que envolve vasculhar muitos logs e consultar muitos bancos de dados, o que provavelmente significa muitas chamadas de ferramenta. É isso mesmo? Sim. Deixe-me mostrar uma das coisas que testamos. Esta é uma conversa

01:31 que temos em uma das nossas evals. Dá para ver que cada um desses itens é uma chamada de ferramenta. Adoro a quantidade de chamadas de ferramenta. Parece que são dezenas. Dá para ver alguns exemplos de quando a chamada de ferramenta pode ter falhado, mas depois o agent conseguiu se recuperar rapidamente, encontrar a resposta certa e continuar com a análise e chegar ao resultado final. Sim. É assim que nossos clientes podem interagir, fazendo algumas explorações. Eles podem pedir algumas informações, e o agent parte para explorar. Adoro isso, adoro que esteja conectado a fontes de dados personalizadas, que possa ser informado por informações externas e que também possa usar chamadas de ferramenta para gerar gráficos ao longo do caminho, ajudando as pessoas a entender e investigar a fundo os dados que talvez queiram analisar.

02:01 Ele é muito bom em aproveitar explorações anteriores dos clientes e incorporar isso à análise, e vimos que faz um ótimo trabalho, sabe, sendo persistente na busca por aquelas respostas do tipo agulha no palheiro. Ele se esforça; é muito persistente na tentativa de encontrar as coisas.

Transcrição original

[00:00] Hi, my name is Paige from Google DeepMind, and I’m here today with Curtis, one of the co-founders of Amplitude, who’s here today to talk to us about how they’ve been using Gemini 4 to tackle some of their hardest problems. We help our customers build better products. What that means is we help them gather data on how their end users are using their software products, and we mine that data for insights and opportunities. I think one of the hardest things is understanding

[00:30] what people actually mean, and I think Argon is doing a great job at understanding that there’s so many data sources and signals that people collect, and customers don’t know what to do with it. Some other models kind of give up when the answer is actually sitting in the data, and Argon was able to kind of collect all that information and correctly. And for what the definition of that should actually be. Excellent. And so you’ve been using Gemini 4 for a while. Yeah, yeah. So one of the things that our agents need to do is build charts to help customers

[01:00] visualize what they’re understanding and what the answers to the questions look like. And one of the things we found is Gemini 4 scored over 90% on our evals with being able to generate the chart that answers the the customer’s question. Awesome. Sounds like a lot of combing through logs, a lot of looking through databases, which probably means a lot of tool calls. Is that right? Yeah. Let me show you one of the things that we tested out. So this is a conversation

[01:31] that we have in one of our evals. You can see that each of these is a tool call. I love how many tool calls there are. It looks like there are dozens. You can see some examples of when the tool call might have failed, but then it was able to recover quickly and get the right answer and continue on with the analysis and with the final result. Yeah. This is how our customers might interact, given some exploration. They might ask for some information and the agent will go off on its exploration. I love it, I love that it’s connected to custom data sources, that it can

[02:01] be informed by external information, and that it can also use tool calls to generate charts along the way to help people understand and deeply interrogate the data that they might want to look at. It’s very good at taking past explorations that customers have had and incorporating that into its analysis, and we’ve seen it do a really good job, you know, being persistent about finding those kind of needle in the haystack kind of answers. It works hard, like it’s very persistent in trying to get things.