Fundador de empresa com US$ 100 milhões em ARR: o segredo por trás dos grandes apps de IA

Ver no idioma original →

Autoria: Greg Isenberg · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: $100M ARR Founder: The Secret Behind Great AI Apps · Canal: Greg Isenberg · 48:57 · Assistir no YouTube

Tópicos: Agentes de IA, Aplicações empresariais de IA, Avaliação e benchmarks de IA, Engenharia de software com IA, Modelos multimodais

Resumo

John Noronha, cofundador e CPO da Gamma, explica como um agent harness transforma modelos de IA em um produto capaz de executar tarefas complexas, usando ferramentas, contexto, avaliações visuais e interação com o usuário. Ele descreve a arquitetura da Gamma, que pode recorrer a dezenas de modelos e centenas de chamadas para produzir e revisar uma apresentação. A conversa aborda oportunidades para produtos verticais, experimentação, personalização, redução do AI smell e o uso de modelos de terceiros. Noronha também aconselha fundadores a escolherem um nicho que conheçam e uma missão pela qual tenham paixão, mantendo flexibilidade para iterar no produto.

Pontos-chave

• Um agent harness reúne ferramentas e processos que permitem ao agent realizar tarefas, inspecionar o próprio trabalho e entregar um resultado final.
• A Gamma combina vários modelos, chamadas paralelas, contexto do usuário e revisão visual para gerar apresentações; uma única entrega pode envolver cerca de 200 chamadas a 20 modelos.
• Produtos verticais têm mais oportunidade quando o trabalho exige julgamentos subjetivos, envolve preferências pessoais ou precisa de ferramentas específicas do domínio.
• A vantagem competitiva pode vir de uma visão distinta, dados proprietários ou da integração de IA com serviços e experiências do mundo físico.
• AI smell é a aparência ou o estilo reconhecível de conteúdo gerado por IA; a Gamma busca oferecer uma diversidade maior de estilos criativos.
• evals são úteis para critérios objetivos, mas preferências estéticas e pessoais também exigem testes com usuários e medidas como edição, compartilhamento, conversão e retenção.
• Fundadores podem começar com modelos de terceiros e considerar fine-tuning ou modelos especializados depois de acumular uso e identificar tarefas específicas.
• Experimentos podem revelar que etapas adicionais, como revisar um outline, aumentam a satisfação e a conversão, mesmo quando tornam o processo mais lento.
• Noronha vê potencial em agentes pessoais para colaboração no Slack e em produtos verticais para áreas como design de interiores.
• A recomendação final é se comprometer com o nicho e permanecer flexível quanto ao produto: amar quem se quer atender, testar e iterar.

Capítulos

Início	Capítulo	Resumo
00:00	O que é um agent harness	John Noronha explica a diferença entre fazer chamadas isoladas a modelos e construir um agent com ferramentas, contexto e capacidade de revisar o próprio trabalho.
04:07	Por dentro da criação de uma apresentação na Gamma	Ele descreve como a Gamma reúne arquivos e contexto, faz perguntas, escolhe um estilo visual, gera conteúdo e revisa os slides com vários modelos.
08:13	Oportunidades para harnesses verticais	Noronha sugere buscar problemas com julgamento subjetivo, preferências pessoais e ferramentas específicas, em vez de reproduzir produtos genéricos.
13:26	AI smell e diversidade criativa	A conversa define AI smell e explica por que a Gamma quer oferecer muitos estilos visuais para evitar resultados uniformes e facilmente reconhecíveis.
16:02	evals, subjetividade e métricas de produto	Noronha diferencia critérios objetivos de gosto pessoal e descreve como a Gamma combina evals, AB testing, conversão, compartilhamento e retenção.
19:07	Agentes pessoais e modelos de terceiros	O entrevistado fala sobre a oportunidade de um agent para Slack, o valor de aprender com as ações do usuário e a estratégia de começar usando modelos existentes.
24:14	Prompts, modelos e experimentação	Noronha apresenta uma stack ampla, mas simples, defende prompts como principal fonte de valor e conta como testa novos modelos e hipóteses de produto.
29:24	Marketing engineer e automações	A conversa explora a ascensão de profissionais que usam dados e agents para executar experimentos de marketing, além de automatizações conectadas a serviços como Salesforce.
35:04	O novo trabalho de gerenciar agents	Noronha compara o uso de muitos agents à gestão de equipes grandes e destaca a importância de aprender a filtrar informações e tomar decisões.
38:37	O potencial ainda pouco explorado das imagens	Ele argumenta que modelos de imagem podem atender usos mais variados, desde decoração e móveis até diagramas, infográficos e ícones.
42:12	Produtos verticais e oportunidades de negócio	A conversa diferencia ferramentas para consumidores, profissionais independentes e grandes empresas, e sugere começar em nichos e expandir para áreas adjacentes.
45:19	Escolher um nicho e continuar iterando	Noronha e Greg Isenberg encerram falando de criatividade, novas aplicações de vídeo e jogos e a importância de escolher um problema pelo qual se tenha paixão.

Citações

Na verdade, o trabalho de transformar modelos em um produto está em construir o harness ao redor deles. — 03:36

Dois traços que favorecem um agent harness próprio são o julgamento subjetivo e o quanto a pessoa se importa com os detalhes do resultado. — 09:17

Nossa stack de IA é ampla, mas superficial. — 24:14

O nível mais alto de profissionais, as empresas maiores, é onde dá para construir algo realmente durável. — 43:47

Case com o nicho, namore o produto. — 48:26

Conceitos e entidades

• agent harness (conceito): Conjunto de ferramentas e processos que permite a um agent executar tarefas, usar contexto, inspecionar resultados e entregá-los ao usuário.
• Gamma (empresa): Empresa de software criativo cuja plataforma gera apresentações, documentos, sites e gráficos com IA.
• John Noronha (pessoa): Cofundador e chief product officer da Gamma, entrevistado sobre a criação de produtos de IA.
• Claude Code (ferramenta): Harness de programação citado como exemplo de produto que orienta um agent a explorar arquivos, executar testes e trabalhar com GitHub.
• Anthropic (empresa): Empresa de IA mencionada como criadora de Claude e patrocinadora do episódio.
• OpenAI (empresa): Empresa cujos modelos são usados pela Gamma e que é citada na discussão sobre modelos e agent sandboxes.
• AI smell (conceito): Estilo ou aparência que faz com que textos e imagens sejam reconhecidos como gerados por IA.
• evals (conceito): Testes usados para avaliar o comportamento de um modelo ou agent segundo critérios definidos.
• AB testing (conceito): Método de comparação entre versões de modelos, prompts ou produtos usando resultados observados com usuários.
• Optimizely (empresa): Empresa em que Noronha trabalhou e que contribuiu para seu interesse por experimentação e AB testing.
• Slack (ferramenta): Plataforma de comunicação profissional que Noronha aponta como oportunidade para um agent pessoal que aprenda com as ações do usuário.
• Notion (ferramenta): Plataforma integrada à Gamma para buscar contexto relevante durante a criação de conteúdo.
• Linear (ferramenta): Ferramenta integrada à Gamma para obter contexto durante a criação de apresentações.
• Salesforce (ferramenta): Plataforma citada em um exemplo de automação que cria apresentações a partir de oportunidades e notas de chamadas.
• Zapier (ferramenta): Ferramenta mencionada para conectar etapas de automações que usam a Gamma.
• n8n (ferramenta): Ferramenta citada para conectar serviços e automatizar fluxos de trabalho.
• OpenClaw (ferramenta): Ferramenta mencionada como exemplo de agent pessoal que pode exigir configuração técnica.
• Hermes (ferramenta): Ferramenta mencionada junto a OpenClaw como exemplo de agent pessoal.
• modelos de imagem (conceito): Modelos capazes de gerar imagens, diagramas, infográficos, texturas e outros recursos visuais.
• marketing engineer (conceito): Profissional que combina marketing, análise de dados, automação e uso de agents para conduzir experimentos em escala.
• vibe coding (conceito): Prática de criar software com assistência de IA, explorada na conversa como possível ponto de partida para novas formas de criação.

Tradução completa (pt-BR)

00:00 Hoje vamos conversar com John Noronha, cofundador e diretor de produto da Gamma, e falar sobre agent harnesses, todas as oportunidades em torno deles e agent harnesses verticais. Mal posso esperar para mergulhar no assunto. Quero fazer um agradecimento especial à Anthropic, a equipe por trás do Claude, por patrocinar o episódio de hoje. >> [música] >> John, muito obrigado por participar do podcast. Ao final deste episódio,

00:31 o que as pessoas vão aprender? >> Obrigado pelo convite, Greg. Estou muito animado por estar aqui. Hoje vamos nos aprofundar no que significa, na prática, criar um agent, incluindo esclarecer o que é um agent harness e como isso funciona para nós na Gamma, que é um agent harness criativo, um agent para comunicação visual. >> E não é só modéstia sua. A Gamma, quer dizer, cresceu extremamente rápido. Acho que chegou a 100 milhões de ARR. Vocês acabaram de relançar a plataforma, com um lançamento enorme, e há muita coisa que vocês estão aprendendo. E o que espero tirar deste podcast é justamente

01:03 alguns insights sobre as oportunidades em agent harnesses, o que vocês estão aprendendo em tempo real e outras oportunidades que existem, ideias de startups e coisas assim. Então, John, você pode se comprometer que, ao final deste episódio, vou aprender algumas dessas coisas? >> Estou dentro. Vamos nessa. Vamos fazer acontecer. >> Então, quero começar por aqui: dá para ver a pergunta: o que é um agent harness? Acho que muita gente, sabe, fica rolando o X, vê agent harness, mas não entende muito bem o que é. Você pode explicar claramente?

01:34 >> Claro. Vamos separar as duas palavras: agent e harness. Vou usar a trajetória da Gamma para ilustrar as duas. Para contextualizar todo mundo, a Gamma é uma ferramenta voltada principalmente à criação de apresentações, mas também de documentos, sites, gráficos para redes sociais e coisas do tipo. Na verdade, já existimos há vários anos, muito antes de agents existirem. Fundamos a empresa em 2020; ela decolou mesmo em 2023. No início, fazíamos chamadas pontuais de LLM para tarefas como escrever um único slide ou criar o esboço de uma apresentação. E as encadeávamos manualmente em workflows predefinidos para fazer coisas como

02:04 gerar uma apresentação com 10 slides. A grande revolução que aconteceu nos últimos um ou dois anos é a revolução dos agents: os produtos de IA mais poderosos agora não encadeiam manualmente chamadas individuais de LLM. Em vez disso, eles têm um loop de nível mais alto, executado por um LLM, que realiza algum trabalho, inspeciona o resultado, usa ferramentas e, ao longo de uma série inteira de chamadas executadas, transforma isso em algo. E, neste ano, nós passamos por toda essa jornada de reconstruir nosso produto para que fosse um agent. E transformar seu produto em um agent

02:36 envolve criar um harness. O harness reúne todas as ferramentas que o agent usa para executar tarefas no ambiente, inspecionar o próprio trabalho e entregar algo finalizado ao usuário, inclusive perguntando ao usuário quais são suas preferências de fato. Provavelmente, o agent harness mais famoso é algo como o Claude Code. O Claude Code é um harness para programação. Ele ensina o agent a percorrer todos os arquivos do seu sistema e ver o que há neles, ensina a executar testes e até o orienta com certas regras, como entrar no modo de planejamento

03:06 em certos casos, executar estes testes depois de concluir a execução ou fazer estas coisas no GitHub. No nosso caso, a Gamma não é um agent de programação; é um agent criativo. Então, precisa fazer coisas como entender seu estilo artístico e suas preferências criativas, ajudar você a elaborar uma história, e damos muita importância ao design visual. Fazemos coisas como gerar imagens e organizá-las no layout, então precisamos saber como elas ficam e garantir que fiquem corretas. Nosso harness reúne tudo isso e transforma em ferramentas que um agent pode usar. Posso explicar como isso funciona. >> Sim, por favor. E acho que também

03:36 estou curioso para saber se você concorda ou discorda de mim. Tenho dito que agent harnesses são os novos GPT wrappers, ou os novos wrappers, certo? [risos] Isso é só uma boa frase para um tuíte ou tem alguma verdade nisso? >> Acho que há verdade nisso, embora eu sempre tenha contestado originalmente essa ideia de GPT wrapper, porque ela dá a entender que 90% do trabalho está no LLM e que, por cima, há só uma camada fina, que fica fazendo a conexão de ida e volta. Acho que talvez os harnesses mostrem que, na verdade, a maior parte do trabalho está nessa camada.

04:07 Os LLMs que existem são todos bastante parecidos em suas capacidades centrais. Não quer dizer que não haja algumas variações, mas, em geral, toda a mágica de transformá-los em um produto está em criar o harness ao redor deles. Até as empresas que desenvolvem modelos, como OpenAI e Anthropic, estão dedicando muito do trabalho delas ao desenvolvimento de harnesses. Portanto, elas próprias estão criando camadas em torno desses modelos para alcançar capacidades diferentes. >> Você poderia me explicar o que acontece, tipo, nos 30 segundos depois que alguém digita um prompt na Gamma? Quantos modelos ele aciona, realisticamente? Acho que muita gente

04:37 não sabe ao certo como isso funciona na prática. >> Deixa eu explicar. Vamos usar um prompt de exemplo. Um caso de uso muito comum na Gamma é alguém colar um monte de anotações bagunçadas, um documento ou um PDF e dizer: “Ajude-me a transformar isso em uma apresentação de 20 slides”. No momento em que você insere esse prompt, muita coisa acontece nos bastidores. Primeiro, iniciamos um computador inteiro na nuvem. É o que chamam de sandbox de agent. Foi disso que os sandboxes da OpenAI ficaram famosos por escapar nos últimos meses. Então, iniciamos esse sandbox inteiro, onde o agent recebe todos esses arquivos que representam o prompt do usuário, o arquivo que ele enviou e também outros contextos sobre ele.

05:08 Em seguida, damos um prompt ao agent para que examine todos esses arquivos e o prompt e execute certas tarefas. Para nós, uma das primeiras tarefas costuma ser descobrir que outras informações precisamos obter do usuário. Então, normalmente, exibimos um formulário e fazemos algumas perguntas. Perguntas como: para quem é isso, afinal? É uma apresentação educativa para a escola? É para adultos? É para o trabalho? Muitas vezes, também fazemos chamadas a diferentes conectores. Criamos integrações com ferramentas como Notion ou

05:38 Slack ou Linear, de onde podemos trazer todo esse contexto relevante. Só nos primeiros 10 segundos, talvez, já fizemos chamadas usando provavelmente três ou quatro modelos diferentes, incluindo modelos caros e baratos. Também vamos falar sobre como gerenciamos os custos. Tudo isso serve para buscar informações e fazer algumas perguntas. Em seguida, exibimos uma interface com alguma UI generativa para mostrar quais são as opções. Depois, vamos escrever um esboço da sua apresentação. Isso costuma envolver várias outras chamadas de LLM, e também vamos escolher um estilo para um modelo. Temos uma

06:10 biblioteca de modelos com diferentes estilos visuais. Vamos usar modelos de visão para tentar descobrir qual combina com você. Vamos usar algumas técnicas interessantes de busca com embedding para analisar o espaço de milhares de modelos e encontrar o certo, e até personalizá-lo caso você diga: “Sim, mas quero que seja vermelho ou azul”, ou algo do tipo. Depois, vamos mostrar isso a você mais uma vez e deixar que edite e inspecione. Ainda nem começamos a criar a apresentação e já devemos ter feito umas 30 ou 40 chamadas de LLM para talvez quatro ou cinco modelos diferentes, cada um realizando tarefas diferentes. Agora você

06:40 vai clicar no botão de gerar, e vamos montar uma apresentação para você diante dos seus olhos. E, na verdade, há muitas etapas envolvidas nisso. Temos que escrever o texto dos slides. Temos que organizar todos os elementos. No nosso caso, também geramos muitas imagens, sejam decorativas ou mais substanciais. Muitas vezes, criamos diagramas, infográficos ou gráficos. Então, na prática, tudo isso agora envolve mais chamadas a diferentes modelos, muitas vezes em paralelo. O desempenho é uma preocupação enorme, porque, se fizéssemos essas etapas uma por uma, seria bem lento e você basicamente iria embora antes de terminarmos. Então, fazemos um

07:12 monte de trabalho para deixar tudo bem rápido. E, em cerca de um minuto, você vai ver a apresentação inteira sendo gerada e exibida em tempo real diante de você. E, a essa altura, provavelmente já fizemos quase 100 chamadas a modelos diferentes, e eu diria que provavelmente usamos de 10 a 15 modelos de IA diferentes ao longo do processo. E ainda não terminamos, porque provavelmente você não vai ficar com o primeiro rascunho. Na verdade, nós também não ficamos com o primeiro rascunho. Depois de gerar aquela primeira apresentação, vamos pedir a um modelo de visão de IA que examine cada slide e procure problemas que

07:42 eu consiga encontrar. Texto desalinhado, a cabeça da pessoa foi cortada na imagem, o contraste está estranho, alguma coisa não tem o espaçamento adequado. É impressionante quantas coisas podem dar errado em algo aparentemente simples como uma apresentação, e que o olho humano consegue detectar na hora. Ou, às vezes, o olho humano não consegue detectar, porque é preciso ter o olhar de um designer. Então, nem todo mundo consegue, mas podemos treinar modelos para detectar isso. Passamos por todo esse ciclo de controle de qualidade visual. Na verdade, fazemos várias rodadas de correções com base no que encontramos nesse controle e depois geramos os elementos novamente. E, depois de todas essas rodadas de correções, finalmente entregamos para

08:13 você. E, a essa altura, provavelmente usamos 20 modelos diferentes, fazendo tipo >> [fungada] >> talvez umas 200 chamadas ao longo do processo para entregar o que, para você, parece um único resultado finalizado. >> Então, o que você acabou de descrever para mim é um workflow em um nicho específico. Nesse caso, é, sabe, uma produção criativa. >> Exatamente. >> Você começou com apresentações. Agora avançou, sabe, é essencialmente uma suíte criativa. >> Isso. >> Sabe, onde você vê oportunidades para criar agent harnesses fora desse campo, se

08:45 você fosse abrir uma empresa amanhã? Onde você vê uma oportunidade para criar um agent harness vertical? Qual seria um exemplo de nicho que, sabe, você acha que ainda não foi muito explorado? >> Essa é uma pergunta interessante. Quer dizer, pensando na minha experiência, acho que vemos muito valor em criar nosso próprio agent harness específico quando o problema é muito diferente de simplesmente programar. No nosso caso, o que o torna diferente é que ele é muito subjetivo. Há muitas decisões de julgamento ao longo do caminho, e duas pessoas podem discordar sobre o que é bom, o que significa que você quer ter uma pessoa no processo.

09:17 E também quando a pessoa que usa a ferramenta realmente se importa com os detalhes específicos do resultado. Então, eu consideraria talvez essas duas características como algo que faz você pensar: “Nossa, esses são bons casos para criar seu próprio agent harness.” Pensando em voz alta, alguns exemplos: sei que muita gente está criando jogos com o Cloud Code. E sou muito entusiasta dessa ideia de um videogame pessoal, que você quase como se tivesse feito vibe coding nele por conta própria. Os coding agents já são muito bons em criar videogames, mas acho que muitas vezes não são bons em buscar

09:47 as opiniões dos jogadores sobre para onde o jogo deve ir e como deve evoluir. E, se você pensar em coisas como Roblox ou Minecraft, há todos esses casos em que as pessoas estão moldando o mundo para si mesmas. E, em geral, são pessoas sem conhecimentos técnicos, que não são programadoras. Fico pensando se daria para criar um harness para isso, em que, na verdade, todo o harness funcionasse dentro de um mundo 3D ou algo assim. >> Uhum. >> Acho que as pessoas deveriam pensar de forma bem abrangente e tentar, sabe, em geral, minha filosofia de negócios é tentar ser diferente. Tentar fazer algo que não se pareça em nada com o que todo mundo está criando. E, para nós, isso tem sido um desafio, porque tentamos ser

10:18 diferentes, mas aí outras pessoas nos copiam ou fazem a mesma coisa, e temos que continuar buscando coisas cada vez mais diferentes. >> Acho que isso não vale só para vocês. Vale para qualquer pessoa que esteja desenvolvendo qualquer coisa em software hoje. Assim que você acerta em cheio, >> Exatamente. >> as pessoas começam a copiar você. Mas acho que o que as pessoas — na verdade, acho que a realidade é que elas estão copiando o que você fazia há três meses, seis meses, certo? Então, você, como fundador, precisa pensar: “Certo, qual é a minha opinião forte? Qual é a minha tese

10:50 sobre para onde o mundo está indo?” >> Sim. >> E como posso, essencialmente, criar um estúdio de produtos em que, sabe, a cada duas semanas eu desenvolva um recurso do zero, explorando uma nova peça desse quebra-cabeça? >> Acho que é exatamente isso. E acho que, para qualquer pessoa que esteja pensando em criar seu próprio agent harness, a pergunta realmente importante é: qual vai ser a minha vantagem? Há alguns tipos diferentes de vantagem que você pode ter. Um tipo é o que você acabou de dizer: você tem uma visão própria do

11:21 mundo e está avançando mais rápido em direção a ela, e os outros não estão focados nessa visão. Acho que outra vantagem é ter algum tipo de dado proprietário. Você tem informações que outras pessoas não têm, talvez porque já tenha uma plataforma de sucesso ou algo assim. Acho também que existe uma vantagem bem diferente: não se trata apenas de software, porque o setor de software está ficando muito concorrido e é um mercado assustador para se atuar. Mas há hardware, serviços presenciais e todo tipo de negócio no mundo real que pode incorporar IA de maneiras interessantes. >> O que você quer dizer com serviços presenciais? Pode explicar melhor…

11:54 o que quer dizer? >> Sim, quer dizer, para deixar claro, sou da área de software, então não sei nada sobre isso. Mas, se eu não fosse da área de software, pensaria bastante em como integrar IA a algum tipo de experiência real que as pessoas vivenciam, em que haja algum tipo de troca de valor entre pessoas. Seja uma pessoa fazendo uma massagem em você, um restaurante servindo uma refeição ou qualquer outra coisa. Acho que há muitos tipos de negócios reais que ainda não foram reinventados com IA. Não sei se todos precisam ter seu próprio harness, embora

12:25 talvez alguns precisem. Outra categoria em que estou vendo muitos harnesses é, por exemplo, legal tech. Imagino que medical tech seja uma categoria importante, com coisas interessantes relacionadas a dados proprietários e regulamentação. >> Sim, acho que legal tech era um daqueles casos em que era óbvio que fazia sentido. >> Sim, sim. >> Contabilidade também faz sentido, obviamente. Acho que a pergunta que eu faria é: será que eu criaria hoje um agent harness de IA para legal tech? Provavelmente não. >> Sim.

12:55 >> Só porque parece um mercado muito concorrido. >> Com certeza. >> Gosto do que você está dizendo sobre negócios de serviços, até mesmo negócios geralmente considerados sem graça, como agent harnesses para empresas de HVAC ou, sabe, se alguém quiser criar uma startup de agent harness em um nicho, como deveria abordar o projeto? Quero dizer, você precisa ter a percepção fundamental, precisa escolher o nicho. >> Uma resposta bem simples sobre o que é um agent harness: um agent harness é

13:26 só um monte de ferramentas que um agent usa para concluir uma tarefa. Então, acho que a pergunta a fazer é: quais são as ferramentas únicas que eu já tenho ou posso criar e que ainda não existem por aí? E, idealmente, acho que, como fundador, você deveria sempre se perguntar: o que estou particularmente preparado para fazer com base na minha experiência de vida, em onde estou no mundo, nas pessoas que conheço e coisas do tipo? >> E como você pensa sobre o cheiro de IA? >> Sim, totalmente. >> Sabe, porque acho que um bom agent harness vai eliminar esse cheiro o máximo possível, e sei que você tem uma opinião forte sobre isso. >> Tenho. Venho usando o termo “cheiro de IA” o ano todo. Tenho falado em desodorizar, borrifar para tirar o cheiro, coisas do tipo. Talvez algumas pessoas simplesmente não conheçam o termo. “Cheiro de IA” é como nos referimos ao fato de que, quando as pessoas fazem trabalhos com IA, muitas vezes dá para perceber que usaram IA. Acho que isso aparece principalmente na escrita: quando alguém escreve para você um e-mail com Claude, você pensa: “Você normalmente não usa essa palavra. Não é assim que você fala.” E também percebo muito isso nas imagens de IA hoje em dia, quando simplesmente ando por San

13:57 Isso elimina esse cheiro o máximo possível, e sei que você tem uma opinião forte sobre isso. >> Tenho. Venho usando o termo “cheiro de IA” o ano todo. Tenho falado em desodorizar, borrifar para tirar o cheiro, coisas do tipo. Talvez algumas pessoas simplesmente não conheçam o termo. “Cheiro de IA” é como nos referimos ao fato de que, quando as pessoas fazem trabalhos com IA, muitas vezes dá para perceber que usaram IA. Acho que isso aparece principalmente na escrita: quando alguém escreve para você um e-mail com Claude, você pensa: “Você normalmente não usa essa palavra. Não é assim que você fala.” E também percebo muito isso nas imagens de IA hoje em dia, quando simplesmente ando por San

14:28 Francisco, e em cada cafeteria, em cada restaurante, tem um cartaz cujo cheiro eu reconheço: “Isso é Nano Banana, isso é GPT image”. Faço esse tipo de coisa o dia todo, então consigo identificá-las de longe. E acho que cada vez mais pessoas estão começando a reconhecer esse cheiro de IA à medida que ele se espalha pela economia e chega às pessoas comuns. Para nós, na Gamma, isso foi um dos grandes objetivos desse lançamento. De certa forma, fomos vítimas do nosso próprio sucesso como uma das primeiras ferramentas de IA: quando ninguém usava Gamma, se você usasse, o que criava ficava muito legal e se destacava. Mas, quando todo mundo começou a usar, tudo começou a

14:59 parecer Gamma, e as pessoas não queriam ser reconhecidas como usuárias de IA. Então, o objetivo principal desse lançamento que acabamos de fazer era expandir rapidamente nosso repertório criativo. A verdade é que ainda haverá cheiros de IA, mas podem existir mil cheiros de IA, em vez de um só, monolítico, e podemos ajudar as pessoas a migrar para diferentes nichos. E precisávamos — isso também é outro tipo de harness, aliás — criar nosso próprio sistema automatizado para alternar constantemente entre diferentes estilos criativos. Na verdade, usamos a moda como analogia. A moda também tem um cheiro.

15:30 Você pensa: “Reconheço essa camisa da H&M que você está usando. Tenho uma igual.” E, sabe, na moda existe essa dinâmica em que as pessoas vão alternando entre diferentes estilos. Sabe, agora estamos usando jeans bem largos, mas logo voltaremos aos jeans skinny. Então, percebemos que precisávamos acompanhar esse ciclo e dar às pessoas as ferramentas para se adaptar a ele. >> Então, existe um eval para saber se isso parece genérico? >> Sabe, evals são um tema muito interessante, porque acho que funcionam muito bem para coisas objetivas. >> Na verdade, se não se importar, explique o que é um eval.

16:02 >> Sim, claro. Um eval é, dá para pensar nele quase como um teste de software. É uma pergunta codificada que você faz como forma de avaliar algo. Um exemplo simples no nosso caso, na Gamma, é que muitas vezes queremos que o agent faça perguntas quando você pede algo ambíguo. Então, damos a ele um eval do tipo: quando o usuário diz “Faça uma apresentação sobre tigres”, o agent deveria perguntar algo como “É para crianças ou para adultos?”, porque há tipos bem diferentes de apresentações sobre tigres que você poderia fazer. E, em geral, usamos evals para

16:34 testar novos prompts ou novos modelos. E geralmente damos uma pontuação a eles. Você pode juntar vários evals em um benchmark e dizer: “Ah, no fim das contas, o modelo B teve uma pontuação 3% maior que o modelo A.” Sempre que os laboratórios lançam um novo modelo, dizem: “Ah, Opus 7 arrasa nesses 15 evals.” O problema para nós, em um domínio muito criativo, é que os evals sempre foram difíceis para coisas subjetivas, ligadas ao gosto, como “Isso parece legal?”. E mais ainda para coisas muito pessoais, como “Isso parece comigo? Parece algo que eu diria?”. Não existe um único eval objetivo para isso.

17:05 Então, tentamos criar alguns evals que sirvam de aproximação, como “Ele segue as instruções? Por exemplo, se você fornecer as diretrizes da sua marca, ele as segue?”. Essa é uma pergunta objetiva que testamos. Mas nunca nos limitamos apenas aos evals. E acho que isso também revela algo interessante sobre como competir nesse mundo. Em última análise, o que os fundadores podem trazer para seu domínio é gosto. Eles têm seu próprio senso do que fica bom. Eles conversam diretamente com seus usuários, e esses usuários também têm seu próprio gosto. E quanto menos verificável for o domínio em que você atua, como, por exemplo, a moda, mais

17:36 acho que há espaço para perspectivas únicas. Acho que, quando se trata de design de roupas, deveria haver 100 harnesses diferentes. Acho que a Nike deveria ter um diferente do da Adidas, por exemplo, porque elas têm perspectivas diferentes sobre o gosto. Além disso, como temos uma base de usuários muito diversificada, com pessoas diferentes entre si, dependemos muito mais de testes A/B. De fato, testamos dois modelos ou dois prompts em grande escala e medimos, nessa ampla base de usuários, qual está tendo melhor desempenho, porque isso capta a subjetividade. >> E qual é a métrica mais importante nesse caso? >> Sabe, temos várias

18:06 métricas. Para dar alguns exemplos, observamos coisas como: depois de gerar algo, quanto tempo você passa editando o que criou? Você acaba compartilhando ou exportando? Há sinais de que está dedicando tempo àquilo? Também temos um produto freemium, então as pessoas usam nosso produto de graça e, se gostam, passam a pagar. Esse é meu sinal favorito, porque é difícil de falsificar. Em geral, as pessoas só pagam quando estão realmente obtendo valor de uma ferramenta. Então, usamos isso como uma espécie de métrica principal. Às vezes, também observamos a retenção em etapas posteriores. As pessoas continuam voltando ao produto uma semana ou um mês depois? Isso

18:37 obviamente leva mais tempo para medir, mas também é um daqueles sinais difíceis de falsificar. >> O gráfico que está viralizando esta semana é, acho, um gráfico da A16Z que diz que, acho, só 2% das pessoas estão gastando com ferramentas de IA. O que você acha disso? >> Sim, não me surpreende. Acho que, em geral, as assinaturas são algo um pouco de nicho, voltado para pessoas que fazem algum tipo de trabalho valioso. Não acho que os consumidores gostem de assinaturas. Eu, como consumidor, não gosto de assinar serviços; sabe, ainda estou sempre tentando entrar na conta de Netflix de alguém

19:07 ou algo assim. >> Não, não vou compartilhar minha senha com você. >> Tem certeza? E se eu precisasse explicar o que é um agent harness? Mas acho que, no trabalho, é diferente. Para o trabalho, a história é totalmente diferente. Sabe, as assinaturas para empresas são o que impulsionou essencialmente todo o boom de SaaS dos últimos 10 a 15 anos na indústria de software. E elas continuarão sendo bem-sucedidas. E acho que o mesmo gráfico diz que, quando você olha mais de perto para os profissionais, os números de quem está pagando por IA estão subindo muito rápido. Então, nosso foco principal — e acho que o foco da maioria das pessoas em IA — é como encontrar esses

19:38 usuários profissionais, os consumidores profissionais, e como entrar no B2B, onde há um tipo de gasto totalmente diferente. >> Se alguém quisesse criar a Gamma de X, o que escolheria? Tipo, se alguém que está ouvindo isso pensasse: “Uau, estou inspirado pelo que a Gamma está criando.” >> Sim. >> Mas acho que a ideia é basicamente o que você acabou de descrever, só que para outro nicho. Alguma coisa vem à mente? >> É algo muito pessoal, porque, sabe, se fosse algo meu, eu…

20:09 já está construindo isso. Acho que você precisa fazer aquilo sobre o qual não sei nada, seja Pokémon cards, moda, tênis ou qualquer outra coisa. Encontre seu domínio, aquilo que você entende, e construa algo. >> E você, pessoalmente, existe algum harness que gostaria que existisse, mas não existe, e que usaria amanhã se fosse lançado? >> Sabe, estou muito intrigido com todo esse espaço de agents pessoais. Ainda não consegui usar todos os mais recentes, mas acho que ninguém resolveu totalmente a colaboração no trabalho.

20:39 Acho que, se pudesse construir um harness para qualquer coisa, seria para o Slack. E estou um pouco decepcionado que o próprio Slack não tenha construído um harness para o Slack. >> Como seria isso, na sua opinião? >> Existe um fluxo absolutamente enorme de comunicação para qualquer pessoa cuja empresa use Slack ou, claro, Microsoft Teams. São tantas mensagens chegando. Você está sempre tentando acompanhar: “Bom, quais delas realmente exigem que eu faça alguma coisa?” Já vi eles começando a abordar isso, por exemplo, permitindo resumir 30 mensagens do Slack em uma. Mas quero algo que simplesmente processe tudo isso

21:10 de verdade por mim e aprenda como eu sou. Que aprenda como eu responderia antes de eu responder. Quero poder abrir qualquer conversa no Slack em que alguém tenha me marcado e já ter um primeiro rascunho da resposta. >> E ele aprende como você é não por meio de um quiz ou de uma configuração inicial, mas observando suas ações? >> Observando-me. >> É, observando. >> Já enviei aproximadamente um bilhão de mensagens no Slack. Isso deveria ser tudo de que você precisa para saber como vou responder. >> Certo. >> Até nos emails, não parece que isso esteja totalmente resolvido. Vi que o Gmail tem aquelas sugestões do tipo: “Ah, sabe, sim, eu adoraria ir ao dentista na quinta-feira.” Só que eu nunca responderia assim na vida.

21:40 Mas acho que há muito mais a fazer para me representar de forma autêntica num contexto profissional. Talvez seja isso que eu realmente queira, e uma parte do que o Gamma faz: quero um agent que aprenda a minha voz. >> Uhum. >> E, claro, isso é difícil porque é algo pessoal, e é por isso que os agents ainda não fizeram isso. É muito difícil tornar os agents pessoais. >> Então, no Gamma, vocês estão construindo algo sobre os modelos de outras pessoas. Uhum. Qual é seu conselho para fundadores que estão construindo

22:11 sobre os modelos de outras pessoas, em geral? >> Acho que não há motivo para ter vergonha de construir sobre os modelos de outras pessoas. Desde o começo, nós fizemos isso, alternando muitas vezes entre modelos da Anthropic, OpenAI e Google. E boa parte do discurso sempre foi: “Não, você precisa treinar suas próprias coisas. Precisa fazer fine-tuning porque precisa do fosso competitivo.” Sempre achei que isso é irrealista, especialmente para startups em estágio inicial. Primeiro, o dinheiro envolvido em treinar seus próprios modelos é realmente difícil de conseguir. Mas, além disso, os modelos disponíveis continuam melhorando. Raramente eu gostaria de competir contra os

22:41 modelos que já existem. Mas acho que isso muda conforme você avança nessa jornada, porque começa a acumular uso real. E, sejamos honestos, acumular uso real é a principal batalha em que as pessoas deveriam se concentrar. De qualquer forma, use os modelos disponíveis para conseguir esse uso inicial. Depois que conseguir, você pode começar a fazer coisas realmente interessantes. Tivemos muito sucesso fazendo fine-tuning de modelos para reduzir nossos custos e, em alguns casos, até começar a oferecer mais personalização às pessoas. Também começamos a identificar tarefas especializadas nas quais, sabe, os modelos grandes são ruins. Como mencionei antes, todo esse processo de

23:12 fazer o controle de qualidade de um slide e dizer se ele está bom. Na verdade, não tivemos bons resultados usando nenhum dos modelos disponíveis para isso. Então, estamos fazendo nossa própria pesquisa para construir modelos para essas tarefas especializadas. Acho que as pessoas deveriam, sem dúvida, aspirar a isso, mas, de qualquer forma, usem os ótimos modelos disponíveis. >> E quanto a… sabe, atualmente, quais são seus… quais são seus… quais são seus pensamentos sobre modelos de ponta ou modelos na nuvem em comparação com modelos open source locais? >> É, acho que os modelos na nuvem são subestimados. De novo, acho que open source recebe muita atenção e empolgação, mas basta seguir o dinheiro.

23:43 Ele está indo todo para os modelos de código fechado, porque são realmente muito bons. Há muito trabalho pronto para você. E o ótimo para todos nós é que existe uma competição intensa no mundo dos modelos fechados. Acho que, se a Anthropic simplesmente pudesse disparar na frente, a situação seria diferente, porque não poderíamos escolher entre ótimos modelos da OpenAI e ótimos modelos do Gemini. Mas sinto que todas essas empresas estão apenas alguns meses atrás umas das outras e, para nós, na camada de aplicações, isso é o melhor que poderia acontecer. Isso mantém a pressão sobre elas para continuarem melhorando. >> Você já disse que

24:14 ficou surpreso com o quão superficial era sua stack de IA. Isso ainda é verdade hoje? >> Sabe, eu diria que nossa stack de IA é ampla, mas superficial. Com isso quero dizer que usamos muitos modelos diferentes, mas geralmente de maneiras bastante simples. Com prompt engineering, chegamos muito longe, fornecendo — e talvez seus ouvintes já tenham ouvido o termo context engineering — cada vez mais o contexto certo para os modelos. Vejo isso como, de certa forma, o jogo inteiro: tudo volta à construção de harness.

24:45 É possível obter o contexto certo do usuário? É possível apresentar a saída da IA ao usuário da maneira certa? E é possível destilar tudo isso em elementos que facilitem bastante o trabalho do LLM? Quando você facilita bastante o trabalho do LLM, pode usar qualquer modelo pronto e obter bons resultados. >> Há um grande debate entre prompts e fine-tuning. Você tem uma opinião forte sobre isso? >> Sim, acho que, para nós, 98% do valor vem dos prompts. Porque fazer prompting é fácil e portátil. E, a propósito, ninguém mais escreve prompts à mão. O Claude escreve o prompt para você, então é

25:15 muito fácil. Acho que a maioria dos problemas pode ser resolvida com um prompt, inclusive dividindo um prompt em partes diferentes. Para mim, o fine-tuning é mais uma otimização adicional, quando você quer fazer coisas como controlar custos ou extrair mais dois ou três por cento de qualidade. >> Quando um novo modelo é lançado, com que rapidez vocês o implementam? Vocês esperam para ver o que acontece, ou como pensam nisso? >> Normalmente fico sabendo em menos de uma hora, se for um modelo que tenho motivos para acreditar que será bom. Então, sabe, nem todo modelo é interessante, mas

25:47 diria que, para nós, qualquer modelo da Anthropic ou da OpenAI geralmente é interessante quando é lançado. E acho que mencionei que temos todos esses trabalhos diferentes no nosso harness. Para alguns deles, usamos um modelo do nível de Fable ou Astra. Para outros, usamos um modelinho do nível de Haiku ou Gemini Flash. Para alguns, usamos um modelinho básico do nível de GPT Ludon. Então, sempre que aparece um modelo dessa categoria que pode nos ajudar a completar essa fronteira de Pareto, quero testá-lo e ver como se sai. E, em geral, como nosso caso de uso é tão subjetivo, sim, fazemos alguns evals. Mas quero testá-lo com uma amostra de usuários.

26:17 E temos muita sorte de ter uma grande base de usuários: posso iniciar um teste em uma hora e obter dados duas horas depois sobre como ele está se saindo. Então, uma das coisas que aprendi — sou cofundador de uma agência de design chamada LCA e, na verdade, trabalhamos juntos em um projeto no Gamma — foi que vocês fazem muitos experimentos. >> Sim. >> Estou curioso sobre algum experimento… talvez um experimento cujo resultado tenha surpreendido você. >> Uhum. >> Porque vocês simplesmente…

26:48 Parece que vocês estão fazendo muitos, muitos testes ao mesmo tempo. >> Fazemos um número enorme de experimentos. A qualquer momento, provavelmente temos 10 ou 20 rodando. E vamos alternando entre eles. Muitos dos experimentos duram menos de um dia. >> Então, me explica o processo de um experimento, porque acho isso muito, muito interessante. >> Bom, vou explicar um que comecei agora há pouco, durante a corrida de Uber até aqui para conversar com você. Acabei de iniciar oito experimentos diferentes porque o Claude Haiku 5.5 foi lançado ontem. Estávamos muito animados para usá-lo porque, sabe, mencionei que temos muitos

27:19 desses tipos de tarefa que não precisam de um modelo superavançado. São rápidas e baratas, como escolher um template de uma biblioteca ou, às vezes, escrever um esboço com base em alguma coisa. E, sabe, estávamos ansiosos por novos modelos pequenos que pudéssemos usar para testar isso. Então, hoje de manhã, iniciei oito testes diferentes com ele e, assim que terminarmos este podcast, vou conferir os resultados, provavelmente cancelar quatro deles e ver como se saíram. E estamos testando coisas como fazer pequenas edições em um slide ou, sabe, revisar um esboço, seja lá o que for. Quanto aos tipos de coisas que aprendemos com esses testes,

27:52 muitas vezes, o melhor que aprendemos é que podemos usar um modelo que custa metade do preço de outro e obter exatamente os mesmos resultados. Mas, às vezes, descobrimos o contrário. Descobrimos: “Nossa, na verdade, o modelo grande, parrudo e caro é necessário para realizar determinada tarefa.” Às vezes, até descobrimos coisas como a fricção positiva. Por exemplo, acabamos de testar, há alguns dias, um modo rápido do nosso produto. E modo rápido significa simplesmente pular algumas das etapas de que falei antes, como mostrar um esboço da

28:22 sua apresentação ou fazer perguntas logo no início. E a hipótese era, claro, que, se você reduzisse a fricção do processo, as pessoas passariam por ele mais rápido e chegariam mais rapidamente àquele momento de valor quase mágico. Eu estava torcendo muito por esse teste. Queria que desse certo, mas, na verdade, não deu. Acontece que aquelas pausas que tínhamos ao longo do caminho, como ver e revisar o esboço, sabe, escolher o tipo de linha narrativa geral da sua história e responder àquelas perguntas, resultaram em índices de satisfação muito mais altos. Embora o processo fosse mais lento, as pessoas que chegaram ao fim se sentiram

28:52 mais envolvidas com o resultado e fizeram mais. E a taxa de conversão para clientes pagantes foi maior. Mas acho que o legal também é que um teste nunca tem apenas uma resposta ou outra. Dá para investigar um pouco mais a fundo. Então, lançamos uma versão do modo rápido para usuários novos no celular porque, sabe, no celular você não quer ficar digitando um monte de respostas para perguntas. >> Pouco antes disso, publiquei um artigo no X sobre engenheiros de marketing. >> Aham. >> Minha tese é que o marketing mudou. Se você pensar na era de Mad Men, era tipo, sabe, você

29:24 fazia um grande comercial por ano, nas décadas de 50, 60 e 70. Depois, nos anos 90 e 2000, surgiu o profissional de marketing digital, talvez com mais alguns experimentos. Depois veio a era do growth hacker. Alguns experimentos a mais por semana. Acho que, em 2022, eu diria que surgiu o profissional de marketing com assistência de IA, com mais experimentos. E, sabe, acho que agora estamos entrando na era do engenheiro de marketing, em que você, como profissional de marketing, realiza dezenas de experimentos por dia.

29:56 Como você consegue fazer isso? Está usando agents de IA para fazer isso por você. Quero saber sua opinião sobre isso. Você acha que o marketing mudou? E para onde acha que está indo, o que vê pela frente? >> É engraçado, porque antes de trabalhar na Game, trabalhei em uma empresa chamada Optimizely. Foi lá que surgiu meu amor por testes A/B. Oferecíamos testes A/B como serviço. E boa parte da nossa visão era sobre personalização. A ideia era que, sabe, conforme ficasse mais fácil mudar seu site, criaríamos cem pequenas variações dele, e cada pessoa receberia uma versão ligeiramente diferente, o que

30:27 otimizaria as conversões de maneiras interessantes. Para minha surpresa, eu diria que essa visão, em grande parte, não se concretizou na internet. Eu diria que os sites ainda são, em sua maioria, iguais para todo mundo. O mesmo vale para os aplicativos móveis, em geral, com exceção dessas áreas especializadas que são hiperpersonalizadas e estão dando certo. Quando digo áreas especializadas, quero dizer coisas como seu feed do TikTok e os Reels do Instagram. Sabemos que as empresas estão gastando bilhões de dólares para extrair de você até o último dólar nesses espaços.

30:58 >> Ouvi dizer que o McDonald’s está testando preços personalizados. Você ouviu falar disso? >> Nossa, parece que vai dar uma reação negativa. >> Foi por isso que vi. >> É, é. [risos] Mas acho que talvez o exemplo do McDonald’s ilustre por que isso não está acontecendo. Em primeiro lugar, acho que existe uma verdadeira aversão social a esse tipo de coisa. Do mesmo jeito que, se você descobrisse que nós dois compramos a mesma passagem aérea, mas cobraram cinco dólares a mais de mim porque eu estava em San Francisco. >> Bom, acho que, em geral, até mesmo preços dinâmicos… Sinto que, ontem à noite, quando voltei do jantar, me cobraram um preço dinâmico e eu pensei: “É, sabe…”

31:29 Sim. Simplesmente não é uma sensação boa. >> É, é. E, sabe, na verdade acho que, nesta era de marketing de performance hiper eficiente, o que está funcionando são empresas que investem de verdade, com muita determinação, na própria marca. Essa mentalidade da Apple, de proteger a marca a qualquer custo. Então, acho que essa tendência vai contrabalançar um pouco o que você descreveu, de todo mundo sair usando seus agents de marketing sem limites. Dito isso, ainda acredito na tese de que o engenheiro de marketing está em ascensão. E adoro o termo “engenheiro de marketing”, porque parece uma contradição, sabe,

31:59 assim como “engenheiro de GTM” parecia uma contradição. Essas deveriam ser áreas diferentes. Mas adoro ver como as habilidades de todo mundo estão se misturando. Estamos vendo isso na Gamma, na verdade, onde cada vez mais as pessoas usam a Gamma não só para criar uma apresentação aqui e outra ali, mas para criar automações muito legais, como: sempre que uma nova oportunidade de negócio for criada no Salesforce, vamos criar automaticamente um pitch deck com base nas anotações da conversa. >> Como você configura isso? >> Temos desenvolvido alguns conectores para que você possa automatizar mais

32:30 coisas. Assim, você pode simplesmente se conectar ao Salesforce. Mas eu diria que ainda há bastante trabalho de integração. As pessoas talvez usem uma ferramenta como N8N ou Zapier, ou algo do tipo, para juntar tudo e conectar as partes. Esse é um bom exemplo de algo que ainda pertence ao domínio dos especialistas, eu diria. Há pessoas realmente inteligentes ou agências que sabem ajudar uma empresa a conectar tudo. Acho que ainda existe uma oportunidade de negócio em pegar essas práticas, que são usadas pelas 1% ou 2% das empresas que têm muita habilidade técnica, e transformá-las em

33:01 algo super fácil que todo mundo use. Outro exemplo disso, voltando aos agents pessoais, é o que está acontecendo agora com ferramentas como Muse e Instinct. Dá para fazer coisas incríveis com OpenClaw ou Hermes, se você conseguir configurar seu computador Linux no lugar certo e evitar que invadam seu sistema. Eu, pessoalmente, fiquei de fora dessa onda toda. Pensei: “Sou um cara ocupado. Não tenho tempo para configurar meu OpenClaw. Vou esperar alguns meses, até deixarem isso fácil para mim.” E agora o Muse e o Instinct não param de aparecer no meu celular porque facilitaram as coisas para mim. >> Certo. Então você não tem um Mac Mini rodando… >> Nunca comprei meu Mac Mini. Estou com vergonha de

33:31 digamos, como fundador de uma empresa de IA. >> [ofega] >> E sabe, voltando à engenharia de marketing, na sua opinião, como é um engenheiro de marketing do 1% mais bem-sucedido? >> Bem, uma coisa que me vem à cabeça é que essa pessoa é uma espécie de cientista de dados de marketing. Ela é extremamente orientada por dados e se baseia no que está funcionando. E isso ficou mais fácil do que nunca. O Claude é meu cientista de dados. Então, eu diria que agora todo mundo da nossa equipe está sempre equipado com análises muito detalhadas sobre modos de falha

34:02 e oportunidades. Eles analisam o tráfego do nosso site. Encontram lacunas. Sabe, quando olho para a pessoa da nossa equipe que mais se aproxima de um engenheiro de marketing, ela está sempre pensando em novas maneiras de fazer SEO e criar anúncios em uma escala inacreditável para uma só pessoa. Sabe, elas deixaram de ser criativos individuais e passaram a comandar esse exército de agents. E estão nesse papel de supervisão de alto nível. >> Sim, eu… É basicamente um departamento. >> É um departamento, sim.

34:32 >> É como se estivéssemos chegando a um ponto em que, se você é um engenheiro de marketing do 1% mais bem-sucedido, o escopo do seu trabalho não se limita a… Bem, ele é enorme. Você cuida de SEO, GEO, conteúdo para redes sociais, anúncios pagos, praticamente toda a criação e a marca, sabe. >> Com certeza. >> Acho que é isso que me parece interessante, porque as pessoas que descobrirem como se tornar engenheiros de marketing do 1% mais bem-sucedido

35:04 terão uma vantagem injusta para fazer com que seu produto seja visto. >> E os outros 98% estão virando dinossauros rapidamente. Se você não consegue acompanhar >> [risos] >> quem no mercado está fazendo isso… Tenho uma ideia de que todos nós, nos últimos talvez um ou dois anos — pelo menos todos nós que usamos essas ferramentas —, passamos por uma rápida sequência de promoções. Fomos de colaboradores individuais a gerentes, depois diretores e, então, vice-presidentes. Agora, todos temos várias camadas de agents abaixo de nós, formando uma pirâmide. E

35:34 descobrimos que esse trabalho é, na verdade, bem difícil. Há um motivo para poucas pessoas fazerem isso: você é constantemente bombardeado por informações. Precisa tomar muitas decisões. Acaba ficando sobrecarregado e confuso com tudo isso. Precisa de ferramentas para conseguir entender tudo. Também precisa de pessoas que ajudem você a entender tudo. Você precisa de um assistente, de um chefe de gabinete e de todas essas coisas. Então, todos nós precisamos desenvolver nossas habilidades rapidamente para, essencialmente, aprender a gerenciar mil pessoas. E desenvolver

36:04 essa habilidade é uma das coisas mais importantes que todos podemos fazer. Também acho que ainda não se explorou o suficiente a criação de ferramentas para ajudar uma pessoa comum a se tornar vice-presidente da própria vida. Voltando à minha ideia sobre o Slack. >> Também acho que, sabe, experimentação em geral… Parece que, hoje, criar uma startup ou um negócio em geral é… Parece um pouco mais ciência do que arte. >> Sim. >> No sentido de que quem

36:34 vai vencer são as pessoas que têm o hábito de experimentar e simplesmente testar várias coisas diferentes. É por isso que adoro conversar com você, porque parece que esse hábito de experimentar é… quer dizer, isso é a sua marca. Qual foi uma coisa que você aprendeu na Optimizely que todo fundador de IA deveria saber, algo que seria bom saber? >> Hum, essa é ótima. Sabe, uma coisa que me vem à cabeça

37:05 é que, depois de anos ajudando outras empresas a fazer experimentos, percebi que muita coisa se resume à quantidade de testes A/B que você faz. É tudo meio que um jogo de números, como vendas, encontros ou quase qualquer outra coisa na vida. Você precisa realmente experimentar muitas coisas diferentes, em vez de esperar fazer um grande teste que, magicamente, vai destravar seu negócio. Gostei de como você chamou isso de hábito, porque acho mesmo que é. Primeiro, porque dá para treinar, sabe? Sim, talvez algumas pessoas nasçam com mais facilidade do que outras, mas, se você se dedicar,

37:36 esse hábito vai se fortalecer. >> Também acho que seu primeiro experimento não vai funcionar. >> Com certeza. >> É como quando você tenta entrar em forma e ganhar músculos. >> Sim. >> Você só precisa ir à academia todos os dias e se esforçar. Aí, dois meses depois, talvez apareça um tanquinho, certo? Mas não dá para esperar isso no primeiro dia. Acho que a parte difícil de fazer experimentos é que existe um vale do sofrimento pelo qual você precisa passar. E acho que muita gente acaba

38:06 pensando: “Sabe de uma coisa? Vou seguir minha intuição.” >> Com certeza. >> E… >> Aliás, o mesmo vale para coisas como publicar nas redes sociais, escrever um blog ou enviar e-mails de prospecção. Existe um vale do sofrimento em tudo isso, e acho que todo sucesso na vida vem de atravessar algum tipo de samsara. >> [suspiros e ofegos] >> O que é algo que está recebendo pouca atenção agora, algo sobre o qual você pensa: “As pessoas simplesmente não estão falando o bastante disso”? Eu estava conversando com um amigo meu sobre IA de voz. Isso me pareceu pouco comentado. >> Sim, sim. >> Agora as pessoas estão falando muito sobre agents pessoais. Algo vem à sua cabeça? >> Talvez seja uma resposta meio sem graça, mas acho que os modelos de imagem de IA estão recebendo pouca atenção. É uma resposta sem graça porque falamos de modelos de imagem há anos. Desde que o stable diffusion surgiu, em 2022, as pessoas vêm criando coisas legais. Mas, ironicamente, acho que as pessoas pararam de falar deles quando ficaram bons. Quando deixaram de errar tanto e simplesmente se tornaram parte do

38:37 cotidiano, meio que esquecemos que temos essa tecnologia incrível, capaz de criar qualquer coisa. E acho que, se você observar como as pessoas estão usando as imagens do ChatGPT e algumas outras ferramentas, verá que são sempre os mesmos três ou quatro casos de uso. Sabe, elas criam talvez o cardápio do próprio pequeno negócio. Criam um logo para o projeto paralelo do pai. Há um punhado de coisas que fazem. Mas esses modelos são capazes de muito mais. E temos uma

39:08 perspectiva muito interessante disso na Gamma. Não falamos tanto sobre imagens, mas também usamos provavelmente uns dez modelos de imagem diferentes para tarefas distintas. O ritmo da inovação nessa área tem sido enorme. E há muitas capacidades ainda não exploradas. Para nós, são coisas como criar diagramas bonitos ou infográficos para incluir em uma apresentação. Criar texturas legais que possam servir de fundo para uma apresentação. Criar ícones personalizados. Todas essas coisas agora são possíveis. E a maioria das pessoas simplesmente não percebe que isso está ao alcance. E acho que você pode prestar atenção

39:39 a praticamente qualquer área criativa e encontrar maneiras de usar essas ferramentas. E a pessoa comum, em especial, simplesmente não faz ideia. Sabe, uma coisa que muitas pessoas nativas em IA provavelmente já fazem, mas a maioria não percebe que é possível, é usar modelos de imagem de IA para roupas e decoração de interiores. Sabe, se você encontrou um sofá novo que quer comprar na Amazon, pode simplesmente perguntar ao ChatGPT como ele ficaria na sua casa e depois pedir: “Encontre mais alguns para mim e visualize esses também.” Tantas dessas possibilidades estão só esperando para

40:10 em praticamente qualquer área criativa e encontrar maneiras de usar essas ferramentas. E, principalmente, a pessoa comum simplesmente não faz ideia. Sabe, até uma coisa que acho que provavelmente muitos nativos de IA estão fazendo, mas que a maioria das pessoas não percebe que pode fazer, é usar modelos de imagem de IA para roupas e decoração de interiores. Sabe, por exemplo, você encontrou um sofá novo que quer comprar na Amazon; pode simplesmente perguntar ao ChatGPT como ele ficaria na minha casa e depois dizer: encontre mais alguns para mim e visualize esses também. Tantas dessas coisas estão só esperando para

40:40 ser mais profundamente transformado em produto. >> Você acha que existe uma oportunidade de criar produtos verticais aí? Tipo, focados, sabe, em design de interiores, por exemplo, ou você acha que as grandes empresas de modelos vão simplesmente dominar esse caso de uso, então nem vale a pena tentar? >> Acho que há muito espaço para esses casos de uso verticais, e tudo depende de entender as necessidades específicas das pessoas que trabalham com eles. Vamos pegar esse caso dos móveis, por exemplo. Na verdade, comprei um sofá recentemente, então eu

41:11 >> Parabéns. >> Obrigado. >> [risos] >> Ele é bem confortável. E passei por esse processo, e foi muito interessante tentar fazer isso. Acontece que os modelos de imagem de IA são incríveis para me mostrar como o sofá vai ficar, mas não estão mostrando exatamente quais vão ser as medidas, certo? E existe uma enorme diferença entre, digamos, um sofá de 68 polegadas e um de 58 polegadas, se a sua parede tem um determinado tamanho. Então, será que você poderia mostrar as medidas na tela? Esse é um ótimo exemplo de um harness, certo? Os modelos são capazes de fazer muitas dessas coisas. Uma forma de serem capazes é imaginar que você poderia fazer algo em que

41:41 renderiza o sofá na minha sala, mas depois usa uma programação à moda antiga para desenhar uma linha em pixels e medir quanto ela tem, ver se o resultado ficou no tamanho certo e dar um prompt ao modelo para ajustá-lo até ficar exatamente certo. Não vejo os laboratórios fazendo isso tão cedo. >> Ou dar um prompt: “Olha, esse sofá não é o ideal para você.” >> Sim, com certeza. >> Mas aqui está outro sofá da Restoration Hardware que acho que seria perfeito, por estes motivos. >> Com certeza. E, cara, o que aprendi sobre comprar sofás é que existem centenas de sites que vendem sofás, e você

42:12 tem que clicar em vários botõezinhos em todos eles. Acabei no Google Shopping. Não foi uma experiência agradável. Talvez alguém já tenha criado um ótimo produto para isso e eu não tenha encontrado, mas ainda não vi nenhum. >> Acho que já houve alguns exemplos. Acho que o levels.io tem um… >> Sim, ele tem um de interiores, acho que é assim que se chama. >> Sim. Sim. Sim. >> Mas acho que ainda há espaço. Sabe o que quero dizer? Acho que, especialmente à medida que os modelos melhoram, os modelos de imagem também melhoram. O conceito de harness está ficando cada vez mais maduro. Ainda tem muita coisa aí. Acho que…

42:46 Acho que é seguro dizer que a experiência do consumidor hoje ao comprar sofás ou móveis também não é otimizada. >> Com certeza. >> E o que é legal nesse caso de uso específico é que envolve compras de alto valor. >> Com certeza. >> E há margem, certo? Por exemplo, não acho absurdo fechar um acordo com a Restoration Hardware em que eles digam: “Vamos dar 5% de comissão se você recomendar nosso produto.” >> Sofás, sim. Com certeza. Acho que a outra versão disso, quando

43:16 você pensa no que vai resistir à concorrência das empresas de modelos, e essa é uma questão que enfrentamos constantemente na Gamma, existe a versão puramente voltada ao consumidor que, usando a analogia do sofá, seria: me ajude a comprar um sofá. Mas também existe a versão para prossumidores, que seria: olha, sou designer de interiores. Talvez eu trabalhe como designer de interiores meio período, mas também tenho dois filhos em casa e é isso que faço, só que trabalho por hora. Essas pessoas precisam de uma ferramenta e vão procurar a melhor. E, se ela as ajudar a fazer melhor o trabalho, elas

43:47 ficarão felizes em pagar uma assinatura por ela. E também existem os verdadeiros profissionais. A própria Restoration Hardware tem funcionários. Que ferramenta eles usam? Aposto que não é só o ChatGPT para fazer tudo isso. Acho que há, de fato, uma oportunidade de criar empresas para esse público. E suspeito que o nível mais alto dos profissionais, as empresas maiores, é onde dá para construir algo realmente duradouro. >> Sim, e sinto que essa área ainda é pouco explorada. >> Sim, é. >> Porque acho que a narrativa é que não há tanta oportunidade em criar SaaS vertical ou

44:17 produtos verticais de IA. >> Sim. >> O que é uma pena, porque acho que há, sim. >> E o mundo é grande, >> [fungada] >> sabe? Essa talvez seja outra coisa que aprendemos com a trajetória da Gamma. Nossa base de usuários é muito ampla, porque, se você pensar em quantas pessoas no mundo fazem apresentações, há muitos tipos diferentes de pessoas. Para nós, menos de um quarto da receita vem dos Estados Unidos. Ela se distribui por muitas profissões diferentes: de consultores a professores, profissionais de marketing, vendedores e advogados. Eu

44:48 não sabia que advogados faziam apresentações. Acontece que fazem. >> Uhum. >> E, sabe, quanto mais você consegue alcançar esses pequenos nichos, sabe, de muitas maneiras, uma grande empresa é apenas mil pequenos nichos empilhados uns sobre os outros. Então, se você conseguir encontrar algo que atravesse esses nichos, não precisa começar de forma ampla: pode começar com apenas um e depois procurar áreas adjacentes que possa atender. >> Com certeza. E você realmente não sabe aonde isso vai levar, certo? Você não percebeu, tipo: “Olha, advogados estão usando… estão criando apresentações.” E aí, quem sabe, acaba criando algo específico para advogados. E então

45:19 de repente, isso se torna uma parte enorme do seu negócio. É por isso que estou sempre dizendo: comece. Coloque alguma coisa no ar. Coloque alguma coisa no ar. Você precisa descobrir. Isso nos leva de volta à experimentação. Experimentação não significa apenas fazer um teste A/B com 10 mil usuários em cada grupo. Geralmente, significa simplesmente publicar uma página de destino, disponibilizar um produto que alguém possa experimentar, algo que nunca foi tão fácil. >> Sei que você não vai sair da Gamma, mas, digamos que saísse amanhã: que empresa você começaria a criar? >> Ah, que boa pergunta, cara. Você

45:50 sabe, eu adoro ficar explorando o espaço de ferramentas que ampliam a criatividade das pessoas. Mas existem outros tipos de criatividade que me intrigam. Mesmo com o espaço tão concorrido, fico muito intrigado com vibe coding enquanto pratico e com a experiência que tive, talvez por conhecer muitas outras pessoas de tecnologia e morar em San Francisco, no começo deste ano. Toda vez que encontrava um amigo que não via havia três ou quatro meses, eu perguntava: “O que você tem feito?”, e ele dizia: “Olha o aplicativo que eu criei.”

46:21 >> [risos] >> De certa forma, isso tomou o mundo de assalto. Quero saber qual será talvez o próximo vibe coding ou a próxima fronteira do vibe coding. Agora que as pessoas podem criar qualquer coisa, aonde isso vai levá-las? Nesse contexto, certamente me intriga o fato de os modelos de vídeo finalmente estarem ficando bons. Também me intriga ver os modelos de voz melhorando. Qual seria a versão de algum tipo de coisa para a qual você pudesse ligar e que faria algo por você? Jogos me interessam muito. Acho que a indústria de videogames está pronta para algum tipo de ruptura.

46:52 Mas ainda não descobri como. Não sei. >> No caso do vídeo, parece mesmo que estamos chegando ao momento do vibe coding para vídeo. >> Sim. >> O Opus 5.5 tem, obviamente… >> Algumas coisas legais. >> Cria coisas legais. É, então acho que a questão é: num mundo em que qualquer pessoa pode criar vídeos, que tipos de vídeos ela pode criar? E também me interessa pensar, como fundador: certo, num mundo em que qualquer pessoa pode criar vídeos, que ideias de startup eu poderia criar >> Com certeza. >> em cima disso. E isso nos leva de volta aos agent harnesses. >> Sim, com certeza.

47:23 >> Tudo volta para agent. >> Tudo volta para o harness, cara. >> Cara, muito obrigado por participar do podcast. Tem alguma coisa que você gostaria de deixar para as pessoas? Uma coisa? >> Eu sempre incentivaria quem está pensando em abrir um negócio a entender que é uma jornada longa e, às vezes, solitária. Por isso, você realmente precisa amar aquilo em que está trabalhando. Uma das minhas regras pessoais antes de começarmos a Gamma — e que eu manteria se algum dia abrisse outra startup — era que precisava ser algo que eu mesmo pudesse usar,

47:56 que eu pudesse ser usuário e em que pudesse acreditar. E, para ser sincero, isso acaba descartando um monte de negócios entediantes, mas foi bom para a minha alma. Eu só precisava ter algo em que quisesse passar horas todos os dias. Então, sempre incentivo as pessoas a refletirem profundamente e pensarem: qual é a sua paixão? Qual é aquela coisa que só você sabe, aquela em que você quer passar oito horas por dia, mas, quando olha ao redor, seus amigos não querem passar oito horas por dia? Foque nisso como sua estrela-guia. >> Esse também é o ponto importante: aquilo em que você quer passar

48:26 oito horas por dia, mas as outras pessoas não. >> Com certeza. >> Você pode gostar muito de esportes, por exemplo, mas muitas outras pessoas também gostam, e isso pode ser muito competitivo. Acho que, se você está escolhendo uma ideia para uma startup ou um negócio, eu sempre digo: case com o nicho, namore o produto. >> Adorei. >> Apaixone-se pelas pessoas que você quer atender. >> Sim, sim. >> E, como vivemos numa época em que você vai iterar o produto muitas e muitas vezes, e ele vai mudar bastante, se você ama o nicho,

48:57 é por isso que sempre incentivo as pessoas a criar mídia e formar um público nesse nicho, porque assim você pode vender a elas vários produtos diferentes. >> Um público. Acho que isso está totalmente certo. Sabe, Jeff Bezos tem uma frase muito parecida: “Seja inflexível quanto à visão e flexível quanto aos detalhes.” >> Uhum. Bom, fico feliz de estar em boa companhia com Jeff Bezos. >> Está mesmo. >> [risos] >> Obrigado. Agradeço muito a você e… >> Obrigado por me receber. Foi ótimo. >> Foi incrível.

Transcrição original

[00:00] Today we’re talking with John Noronha, co-founder and chief product officer of Gamma, and we’re going to talk about agent harnesses, all the opportunities around it, vertical agent harnesses. I can’t wait to dive in, and I want to give a special shout-out and thank you to Anthropic, the team behind Claude, for sponsoring today’s episode. >> [music] >> John, thank you so much for coming on the podcast. By the end of this episode,

[00:31] what are people going to learn? >> Thanks for having me, Greg. I’m really excited to be here. Today we’re going to dive deep on what it means to actually build an agent in practice, including demystifying what is an agent harness, and what that looks like for us at Gamma, which is a creative agent harness, an agent for visual communication. >> And not just you’re being humble. Gamma’s, I mean, it’s it’s grown extremely quick. I think it’s hit 100 million ARR. You’ve just relaunched the platform, huge huge release, and there’s a lot you’re learning. And what I hope to get out of this podcast is really just

[01:03] little insights around opportunities in agent harnesses, what you’re learning in real time, and other opportunities that exist, startup ideas, and stuff like that. So, John, can you commit that by the end of this episode I’m going to learn some of those things? >> I’m in. Let’s do it. Let’s make it happen. >> So, I want to start off by, like, back here you can see, what is an agent harness? Cuz I think a lot of people, you know, scroll X, they see agent harness, but they don’t really understand what it is. So, can you clearly explain what it is?

[01:34] >> Absolutely. Let’s break it down to the two words, agent and harness, and I’ll use maybe Gamma’s journey to illustrate both. So, for everyone’s context, Gamma is a tool primarily for making presentations, also documents, websites, social graphics, that sort of thing. We’ve actually been around for several years, long before agents were ever a thing. We started the company in 2020, really took off in 2023, and early on we were just making these one-off LLM calls to do things like write a single slide or make the outline for a deck. And we very manually strung them together into these preset workflows to do things like

[02:04] generate a presentation with 10 slides. The big revolution that’s happened in the last year or two is this agent revolution where the most powerful AI products now are not stringing together these individual LLM calls by hand, but they’re actually having one higher-level loop of an LLM run that will do some kind of work, inspect it, use tools, and then turn that into something over a whole series of executed calls. And so we actually went through this whole journey over the course of this year of rebuilding our product to be an agent. And building your product to be an agent

[02:36] involves building a harness. So the harness is all the tools that agent uses to execute things in its environment, inspect its own work, and deliver something finished to the user, including soliciting from the user what their actual preferences are. So probably the most famous agent harness is something like Claude Code. Claude Code is a harness for programming. So Claude Code teaches the agent how to go through all the files on your system and see what’s there, teaches it how to like run tests, um and even prompts it with certain uh rules like go into plan mode

[03:06] in certain cases, or run these tests after completing execution, or do this stuff on GitHub. In our case, Gamma is not a coding agent, it’s a creative agent. So it needs to do things like understand your art style and creative preferences, help you craft a story, and we care a lot about visual design. We’re doing things like generating images and laying them out, so we need to know how they look and make sure they look right. So our harness takes all of those things and turns them into tools that an agent can use. And I can talk through what that looks like. >> Yeah, I mean, please do. And I think uh

[03:36] also I’m I’m curious if you agree or disagree with me. I’ve been saying agent harnesses are the new GPT wrappers or new wrappers, right? [laughter] Um is that is that just a good tweet or is it uh is there some truth to it? >> I I there’s truth to it, although I always uh disputed this concept of the GPT wrapper originally because it sort of implies that 90% of the work is the LLM, and then there’s just this thin layer on top, which is the wrapping back and forth. I think maybe what harnesses illustrate is that actually the wrapping is most of the work. Um

[04:07] the you actually have all these LLMs, which are quite similar in their core capabilities, not to say they don’t have some variation, but generally all the magic of turning them into a product is building the harness around them. And even the model companies like OpenAI and Anthropic are putting so much of their work into harness development as well. So they are themselves doing wrapping of these things to achieve different capabilities. >> Could you walk me through what happens like in 30 seconds after someone types a prompt on Gamma? Like how many models does it touch like realistically, you know, cuz I think a lot of people are

[04:37] are are not sure how how that how that actually works. >> Let me walk you through it. Let’s go through a sample prompt. So very typical use case for Gamma, someone will paste in a bunch of messy notes or a document or PDF and say help me turn this into a 20-slide presentation. So the moment you put that prompt in, um a whole bunch of things actually happen under the hood. The first thing is we actually spin up an entire computer in the cloud. This is what they call an agent sandbox. This is what the OpenAI ones broke out of famously in the last few months. So we actually spin up this entire sandbox where the agent gets all these files representing the user’s

[05:08] prompt, the file they brought in, also other context about them. Um we then prompt the agent to go look through all that file and their prompt and run certain tasks. And for us actually one of the first tasks is usually to figure out what other information we need from the user. Um and so typically we will actually pop up a form and ask a few questions. Uh questions like who’s this actually for? You know, is this like an educational presentation for school? Is this for uh adults? Is this for your work thing? We will actually call out often to different connectors. So we’ve built integrations into tools like Notion or

[05:38] Slack or Linear where we can actually pull in all this relevant context. Just already in that first maybe 10 seconds, we’ve now made calls using probably three or four different models, including expensive and cheap ones. We’ll talk about actually how we manage costs, as well. Just to sort of source information and ask a few questions. We’ve run it through UI around it with some generative UI to actually show you what those choices are. Then we’re going to actually write an outline for your deck. That’s usually several more LLM calls, and we will style a template for you. So we have a

[06:10] library of templates with different visual styles. We’re going to use vision models to try to figure out which one’s a good fit for you. We’re going to do some cool search embedding things to sort of look at the space of thousands of templates and find the right one, and even customize it if you said, “Yeah, but I want it red or blue.” or whatever it is. Then we’re going to once again show that to you and let you edit it and inspect it. We haven’t even started making the deck yet, and already we’ve probably made something like 30 or 40 different LLM calls to maybe four or five different models doing different tasks. Now you’re

[06:40] going to hit that generate button, and we are going to build up a presentation for you before your eyes. And there’s actually a lot of pieces involved in doing that. We have to write the words on the slide. We have to lay out all the things. In our case, we generate a lot of imagery as well, whether decorative or more substantive. We’re often making diagrams or infographics or charts. So actually all of those are now more calls that are going out to different models, often in parallel. There’s a huge performance consideration because if we did these one by one, it’s going to be quite slow and you’re going to basically leave before we ever finish. So we do a

[07:12] lot of work to make it all pretty speedy. And then in the space of about a minute, you’re going to actually see that whole presentation streaming in front of you and generate. And now we’ve made probably close to 100 different model calls, and I would say probably 10 to 15 different AI models have been used somewhere along the way. And we’re still not done because you probably won’t stick with the first draft. In fact, we don’t stick with the first draft. After we generate that first presentation, we’re now going to have a AI vision model look at every single slide and look for problems that

[07:42] I can find. Misaligned text, the person’s head got cut off in the image, there’s weird contrast, something’s not padded right. It’s actually amazing how many things can go wrong in something like a simple presentation that a human eye can detect right away. Or sometimes the human eye can’t detect because it takes a designer’s eye. So, not everyone can, but we can train models that can catch that. So, we go through this whole round of visual QA. We actually will do multiple rounds of fixing things based on what we find in that QA and then redo them. Um and then after all those rounds of fixing, we will finally serve it up to

[08:13] you. And now at this point, we’ve probably used 20 different models making like >> [snorts] >> maybe 200 different calls along the way to deliver what looks to you like one finished output. >> So, what you’ve just described to me is like a workflow in a particular niche. In this case, it’s, you know, creative output. >> Totally. >> You started with presentations. You’ve now moved, you know, it’s essentially a creative suite. >> Yep. >> You know, where do you see opportunities to create agent harnesses outside, you know, if

[08:45] you were starting a company tomorrow? Where do you see an opportunity to create a vertical agent harness? What’s a What’s an example of a niche that, you know, you see under explored? >> That’s an interesting one. I mean, you know, just leaning on my experience, I think where we see a lot of value of making our own distinct agent harness is when that problem looks very different from just plain old coding. In our case, what makes it different is that it’s very subjective. There’s a lot of judgment calls to make along the way where two different people will disagree about what good looks like, which means you want to have the human in the loop.

[09:17] And also where the person using it actually really cares about the specifics of the output. And so, I would think about maybe those two traits as something that go into like, wow, these are a good case for making your own agent harness. So, just thinking aloud, some examples are like, I know a lot of people are making games with Cloud Code. And I’m really bullish on this idea of like the personal video game where you almost like five coded it yourself. Um coding agents are already really good at making video games, but I think they’re often not good at actually sourcing the

[09:47] players’ opinions on where it should go and where it should evolve. And if you think about, you know, things like Roblox or Minecraft, there’s all these things where people are actually shaping the world for themselves. And usually it’s like non-technical people who are not coders themselves. I wonder if there’s a harness to be built there uh where in fact the whole harness runs in like a 3D world or something. >> Mhm. >> I think people should really think broadly and try to, you know, in general my philosophy of business is try to be different. Try to do something that looks nothing like what everyone else is making. And for us that’s been a challenge because we try to be

[10:18] different, but then others, you know, copy us or do the same thing and we have to keep looking for more and more different. >> I think that’s, you know, it’s not even just for you guys. It’s anyone who’s building anything in software today. As soon as you catch lightning in a bottle, >> Totally. >> uh people are copying you, but I think the thing that people I think the reality is they’re copying where you were six, you know, three months ago, six months ago, right? So you you as the founder have to be like, okay, where do I what’s my strong point of view? What’s my thesis

[10:50] on where the world is going? >> Yeah. >> And how do I essentially create like a a product studio where, um you know, every two weeks, you know, I’m building a feature zero to one, exploring a you know, uh a new piece of this puzzle. >> I think that’s totally right. And I think for anyone thinking about building their own agent harness, the really important question to ask is what’s my edge going to be? And there’s a couple different types of edge you can have. One type of edge is what you just said, which is you have a distinct vision of

[11:21] the world and you are just moving faster towards it and it’s not the one that others are focused on. Um I think another edge is you have some kind of proprietary data. You’ve got some information that other people don’t. Maybe because you already have a successful platform or something. I think I’d totally different edge too is that it’s not just software because software is getting very crowded and it’s a scary market to be in. But, you know, there’s there’s hardware, there’s like physical services, there’s all sorts of real life businesses to be made that incorporate AI in interesting ways. >> How how do you, you know, physical services? Like, can you elaborate on on

[11:54] what you mean? >> Yeah, I mean, to be clear, I’m a software guy, so I don’t know anything about this. But, if I were not a software guy, I’d be thinking a lot about how can I integrate AI into some kind of real life experience that people are having where there’s actual some kind of human exchange of value. Whether it’s like, you know, a person giving you a massage or a restaurant that’s serving you a meal or whatever it is. I think there’s so many times of like real businesses that are not quite reinvented with AI yet. Um, I don’t know that they all need their own harness, although

[12:25] perhaps some of them do. Like, another category where I’m seeing a lot of harness going on is like legal tech, for example. I suspect medical tech is like a big one that has a lot of interesting like data lock-in and regulatory stuff going on. >> Yeah, I think legal was one of those where it was like, obviously this makes sense. >> Yeah, yeah. >> Um, accounting obviously makes sense. I think uh, the thing I would be thinking about is like would I be building a legal tech AI AI agent harness today? Probably not. >> Yeah.

[12:55] >> Um, just because it feels so crowded. >> Totally. >> So, I like what, you know, when you’re talking about service businesses, even boring businesses in general, like agent harnesses for HVAC companies or, you know, um, if someone wants to build an agent harness startup, how um, in a niche, how do they approach uh, designing designing it in the sense of like you need the key insight, you need the niche. >> One really simple answer about what an agent harness is is an agent harness is

[13:26] just a bunch of tools that an agent uses to complete a task. And so, I think the question to ask is what are the unique tools that either I already have or I can build that are not already out there. And ideally, I think as a founder you should always ask the question of what am I uniquely suited to do based on my life experience, where I am in the world, the people I know, that sort of thing. Um >> And how how do you think about AI smell? >> Yeah, totally. >> Uh you know, cuz I think a good a good agent harness is going to

[13:57] kill that smell as much as possible, and I know you have a strong opinion on that. >> I do. It’s I’ve been using this term AI smell um all year. I’ve been talking about deodorizing, spraying it off, all that sort of thing. Maybe some people don’t just don’t know the term. AI smell is what we use to refer to this fact that when people make work with AI, you can often tell they used AI. I think it shows up most in writing, where when someone writes you an email made with Claude, you’re just like, you don’t normally use that word. That’s not what you sound like. Um and and I notice it a lot with AI images now, where I just like walk around in San

[14:28] Francisco and every cafe, every restaurant has a poster where I can just smell like that’s Nano Banana, that’s GPT image. I do this stuff all day, so I can like spot them a mile away. And um I think more and more people are starting to recognize that AI smell as it diffuses just through the economy and normal people. So, for us at Gamma, it was actually a huge goal of this launch. We had kind of been a victim of our own success as one of the early AI tools, where when nobody used Gamma, if you used it, your stuff would look really cool and stand out. But once everybody started using it, everything started to

[14:59] look like Gamma, and people didn’t want to be recognized as using AI. And so, kind of our whole goal of this launch we just pulled off was we need to rapidly expand our sort of uh creative landscape. Um The truth is there’s still going to be AI smells, but there can be a thousand AI smells instead of one monolithic one, and we can help people jump to different little pockets. And we needed This is another form of a harness, by the way. We needed to create our own automated system for constantly cycling through different creative looks. We actually use the analogy of fashion. Fashion has a smell, too.

[15:30] You’re like, I know that H&M shirt you’re wearing. Like, I have the same one. Uh and you know, with fashion, there’s kind of this dynamic where people are cycling through different looks. You know, right now we’re into like really big wide jeans, but soon it’s going to be skinny jeans again. And so, we realized we had to actually ride that cycle and give people the tools to adapt to it. >> So, is there an eval for this looks generic? >> You know, uh eval’s such an interesting topic because I think eval’s work really well for things that are objective. >> Actually, break if you don’t mind, break down what an eval is.

[16:02] >> Yeah, totally. So, um an eval just means a You could think of it almost like a software test. It’s a hard-coded question that you ask in a way of judging it. So, a simple example in our world of Gamma is we often want the agent to ask questions when you do something ambiguous. So, we’ll give it an eval like, um when the user says, “Make a deck about tigers,” the agent should ask something like, “Is this for kids or for adults?” Because there’s very different kinds of tiger presentations you could make about that. Um and so, we typically use evals to

[16:34] test out new props or new models. And usually you score them. And you can put a bunch of evals together into a benchmark where you say, “Oh, it turns out model B scores 3% higher than model A.” Every time the labs come out with a new model, they’re like, “Oh, Opus 7 crushes like these 15 evals.” The problem for us in a very creative domain is that evals have always been hard for various subjective taste-oriented things, like, “Does this look cool?” And even more so, very personal ones, like, “Is this me? Does this sound like something I would say?” There’s no one objective eval for this.

[17:05] And so, you know, we’ve tried to create some evals that are proxies for this, like, “Does it follow instructions? Does it For example, if you provide your brand guideline, does it stick to it?” That’s an objective question that we do test ourselves on. But we’ve never limited ourselves to just evals. And I think this is actually an interesting insight too of how you can compete in this world. Ultimately, what founders can bring to their domain is taste. They have their own sense of what looks good. They’re actually talking to their users and those users have one. And the less verifiable a domain you’re in, like say fashion, the

[17:36] more I think there’s room for these unique perspectives. I think when it comes to clothing design, there should be 100 different harnesses. I think, you know, Nike should have a different one than like Adidas because they have a different perspective on taste. Also, for us, because we have a super diverse user base who are all different, we actually rely a lot more on AB testing. We will actually run two models or two prompts at very big scale and measure across that wide user base what’s actually performing better because that captures subjectivity. >> And what’s what’s the metric that matters most there? >> You know, we have a bunch of different

[18:06] ones. To give you a few examples, we look at things like after you generate, how much time do you spend editing what you made? Do you end up sharing it or exporting it? Are there signals that show you’re investing time? We also have a freemium product, so people will use our product for free and then if they like it, they’ll upgrade to paying. That’s kind of my favorite signal cuz it’s hard to fake. Generally, people only pay if they’re really seeing value out of a tool. So, we use that one as like a north star. Sometimes we’ll even look at like downstream retention. Like are people still coming back to the product a week later or a month later? It’s

[18:37] obviously slower to measure, but it’s also one of those hard to fake signals. >> The chart that’s going viral this week is I think an A16Z chart that says I think only 2% >> of people are spending on AI tools. What’s your opinion on that? >> Yeah, it doesn’t surprise me. I think in general subscriptions are always a bit of a niche thing towards people that are doing some kind of valuable work. I don’t think consumers like subscription. I as consumers don’t like subscribing for things, you know, I’m still always looking to jump on somebody’s Netflix

[19:07] account or whatever it is. Um >> No, I will not share my password with you. >> Are you sure? What if I had to explain what an agent harness is. Uh but I think it’s different for work. I think for work it’s a totally different story where, you know, work subscriptions are what has driven essentially the entire SaaS boom of the last like 10 to 15 years in software industry. And those things will keep being successful. And I think that same chart says that when you actually zoom in to professionals, the numbers are rising like crazy in terms of who’s paying for AI. So, that’s certainly our main focus and I think most people’s main focus in AI is how to find those

[19:38] those prosumers, the professional consumers, and how to break into B2B where there’s a totally different kind of spending going on. >> If someone wanted to build the Gamma for X, what would what would you pick? Like if someone listening to this is like, “Wow, like you know, I’m inspired by what Gamma is building. >> Yeah. >> Um but I I think that like that, you know, basically what you just described, but like for a different niche. Any come to mind? >> It’s such a personal thing because if, you know, if it was my thing, I’d be

[20:09] building it already. I think you need to do the thing that I don’t know anything about, whether it’s like Pokémon cards or fashion or sneakers or whatever it is. Like find your domain where you know what’s going on and build it. >> And and you personally, is there like a harness that you wish existed that doesn’t exist that you’d use tomorrow if it if it came out? >> You know, um I’m really intrigued by this whole sort of like personal agent space. And I haven’t gotten to use all the latest ones, but what I feel uh nobody’s totally cracked is like work

[20:39] collaboration. I think if I could build a harness for anything, it would be Slack. Um and I’m a little disappointed that Slack themselves have not built the harness for Slack. >> What would that look like in your mind? >> So, there’s just this absolute flood of communication for anybody whose company uses Slack or Microsoft Teams, of course. Um there’s so many messages going through. Um you’re constantly trying to stay on top of like, “Well, which ones do I actually have to do something about?” Um I’ve seen them nibbling around the edges of this of like you can sum summarize 30 Slack messages into one. But I want something that just like runs it all

[21:10] truly for me and it learns me. It learns how I would reply before I reply. I want to be able to open any Slack thread someone’s pinged me on and have the first draft drafted for me. >> And it learns you not by answering like a quiz or onboarding it by actually like your actions. >> By observing me. >> Yeah, by observing. >> I have sent approximately a billion Slack messages. That should be all you need to know how I’m going to reply. >> Right. >> Even in emails doesn’t feel totally cracked. I’ve seen Gmail has the little things that are like, “Oh, you know, like yes, I’d love to go to the dentist on Thursday.” Which is not how I’d ever

[21:40] reply in my life. But uh I think there is so much more to just like represent me in a professional setting authentically to me. Like maybe that’s what I’m really craving and it’s a little bit of what Gamma does is I want an agent that can learn my voice. >> Mhm. >> And of course that’s hard because it’s personal and this is why the agents haven’t done it. It’s really hard to make agents personal. >> So, you know, at Gamma and you know, you’re you’re building something on top of other people’s models. Mhm. Um what’s your advice for founders building

[22:11] on other people’s models in general? >> I think there’s no shame in building on other people’s models. We, you know, we have done this from the very start often bouncing between Anthropic, OpenAI, Google models. And so much of the discourse has always been like, “No, you got to train your own stuff. You got to fine-tune it because you need the moat.” I have always felt that that’s um unrealistic for early-stage startups in particular. I mean, first of all, the money involved in training your own models is really hard. But also, the models out there keep on getting better. Uh I rarely would want to be competing against the

[22:41] models that are out there. I think though it does change as you get further along in the journey because you start to amass real usage. And I mean, let’s be honest, just amassing real usage is the main battle people should be focusing on. By all means, use the models that are out there to get that usage in the first place. Once you do though, you can start to do really interesting stuff. We’ve actually had great success fine-tuning models to bring our costs down and in some cases even to start to do more personalization for people. We also have started to identify specialized tasks that, you know, the big models are bad at. Like I mentioned earlier, this whole process of

[23:12] QAing a slide and telling if it’s good. We’ve actually not had great results using any of the models out there for it. So, we are actually doing some of our own research to build models for those specialized tasks. I think people should absolutely aspire to that, but by all means use the great models that are out there. >> what about thought, you know, current What are your What are your What are your thoughts on frontier models or cloud models versus open source local? >> Yeah. Um I think, you know, cloud models are underrated. Again, I think open source gets a lot of hype and excitement, but follow the money. It’s

[23:43] all going to the closed source models because they’re really darn good. So much work has been done for you. And the great thing for all of us is there is intense competition in the world of closed models. I think in a world where, you know, like Anthropic could just purely run away with it, this would be actually a different story because we wouldn’t be able to choose between like great OpenAI models, great Gemini models, but I I feel like all these companies are just a few months behind each other and for us in the application layer, that’s the best thing ever. It keeps the heat on them to keep doing better and better. >> You’ve once said that

[24:14] you you were surprised with how shallow your AI stack was. Is that still true today? >> You know, I would say that our AI stack is broad but shallow. What I mean by that is we actually use a ton of different models, but we often use them in fairly simple ways. Like we get so far with prompt engineering, with providing and maybe your listeners have heard the term context engineering increasingly of just like providing the right context to the models. I really view that as kind of the whole game here of just it comes back to harness

[24:45] building. Can you get the right context from the user? Can you express the AI’s output to the user in the right way? And can you distill all that into things that make the LLM’s job really easy? When you make the LLM’s job really easy, you can use any off-the-shelf model and get good results. >> There’s a big debate prompts or fine-tuning. You have a a strong opinion there? >> Yeah, I think for us it’s 98% prompts is where we get the value out of. Cuz prompting is easy and it’s portable. So like and by the way, nobody’s writing prompts by hand anymore. Like Claude’s writing your prompt for you and so it’s

[25:15] really easy. And so I think most problems can be solved with a prompt including breaking up a prompt into different pieces. And fine-tuning to me is more of an optimization on top when you want to do things like control costs or eke out that extra two or three percent of quality. >> When a new model drops, how quickly are you implementing it? Are you kind of like waiting and seeing or how how do you think about it? >> I know usually within the hour. If it’s if if it’s a model that I have reason to believe is going to be good. So you know, not every model’s interesting, but

[25:47] I would say for us like any model from Anthropic or OpenAI is interesting generally if they’re dropping it. And I think I mentioned we have all these different jobs in our harness. Some of those jobs we use a like you know, Fable or Astra level model for. Some of those jobs we use a little Haiku Gemini Flash level model for. Some we use a little baby GPT Ludon model for. And so anytime any model comes in this class that can help us fill out that sort of Pareto frontier, I want to try it and see how it does. And generally because our use case is so subjective, yes we’ll run

[26:17] some evals. But I just want to run it on a sample of users. And we’re very lucky to have a big user base where I can start a test in an hour and get data two hours later on how it’s >> doing. Um so one of the things I learned cuz I’m a co-founder of a design agency called LCA and we actually worked on a project together at Gamma. And one of the things I learned working with you guys was you guys run a lot of experiments. >> Yeah. >> I’m curious about um experiment you maybe one experiment that the result surprised you. >> Mhm. >> Um because you guys are just

[26:48] it feels like you guys are running a lot a lot at a time. >> We run a huge number of experiments. Any given time we probably have 10 or 20 running. Um and we’re cycling through Many of the experiments last less than a day. >> So walk me through like the process of an experiment cuz I think it’s really really interesting. >> Well, I’ll walk you through one that I just started in the Uber ride over to talk to you. I just fired off eight different experiments because uh Claude Haiku 5.5 came out yesterday. We were really excited to get to use it because you know, I mentioned that we have a lot

[27:19] of these tasks that don’t need that like super fable level model. They’re quick and cheap like picking a template from a library or sometimes like writing an outline based on something. And you know, we’ve been looking forward to new small models we could use to test this. So uh this morning I fired off eight different tests for it and right after we got off this podcast, I’m going to check the results and probably cancel four of them and see how they did. Um and we’re testing it for things like making micro edits on a slide or you know, like revising an outline, whatever it is. In terms of the kinds of things we learn from these tests, um

[27:52] often the great thing that we learn is that we can use a model that is half the cost of another model and get the exact same results. But sometimes we actually get uh the opposite finding. We find like, “Wow, actually the big beefy expensive model is necessary to achieve a certain task.” Um sometimes we even discover things like good friction. Like we actually just ran an experiment a few days ago of a fast mode of our product. Um and fast mode just means skip through some of those steps that I told you about earlier. Like showing you an outline of

[28:22] your presentation or asking you questions up front. And the hypothesis was of course if you remove friction in the process, then people will get through it faster and get to that sort of magical value moment more quickly. I was I was really rooting for this test. I wanted to see it win, but it did not win for us actually. Um it turns out those speed bumps we had along the way, like seeing your outline and reviewing it, you know, choosing uh the kind of high-level arc of your story, answering those questions led to much higher satisfaction ratings. Even though it was slower, the people that got through felt

[28:52] more invested in their output and did more. And they actually converted to paying at a higher rate. Um But I think what’s also cool is a test is never just one answer or another. You can like dig a little bit deeper. So, we actually shipped a version of fast mode for brand new users on mobile because, you know, on mobile you don’t want to be typing a bunch of answers to a question. >> I just right before this I posted an X article about marketing engineers. >> Mhm. >> Um my thesis is that uh marketing’s changed. If you think about the Mad Men Mad Men era, it was like, you know, you

[29:24] did one big commercial a year and in the ’50s and ’60s and ’70s. Then it became um in the ’90s and 2000s the digital marketer, maybe a few more uh experiments. Then we had um the growth hacker era. A few more experiments per week. Um I think in 2022 I would say AI-assisted marketer, uh more experiments. And you know, I think we’re now entering the age of the marketing engineer where you’re you’re you know, as a marketer you’re running dozens of experiments per day.

[29:56] How are you able to do that? You’re using AI agents to go and do that for you. I’m curious your P POV on that. Do you think that marketing has changed and like where do you think it where do you see it going? >> It’s funny because before I worked at Game, I worked at a company called Optimizely. This is where my love of AB testing came from. We were AB testing as a service. And a lot of our vision was about personalization. This is idea that, you know, as it gets easier to change your website, we are going to create a hundred little micro variations of it and everyone will get served a slightly different version and that will

[30:27] optimize conversions in all these interesting ways. Surprisingly to me, that vision I would say largely has not come true out on the internet. Um I would say websites are still mostly one size fits all. Uh so are mobile apps by and large, um, except for these like specialized areas which are like hyper personalized and succeeding. When I say specialized areas, I mean things like your TikTok feed, your Instagram reels. Like we know that companies are spending billions of dollars to eke out every last, you know, dollar from you in those surfaces.

[30:58] >> heard that McDonald’s is testing personalized pricing. You hear about this? >> Wow, that sounds like a backlash waiting to happen. >> That’s why I saw it. >> Yeah, yeah. [laughter] Um, but I think maybe that McDonald’s example illustrates why this isn’t happening. First of all, I think there’s a real societal allergy to this kind of thing. In the same way that if you found out that we both bought the same airline ticket, but they charged me five bucks more cuz I was in San Francisco. >> Well, I think in general like even surge pricing like I feel like when I I had surge pricing last night uh, coming home from dinner and I was like I I was like uh, you know, like

[31:29] yeah. It just it’s not a good feeling. >> Yeah, yeah. And, you know, I actually think in this age of hyper-efficient, you know, like performance marketing, actually what’s working is companies that really doggedly invest in their brand. This like Apple mindset of like just protect the brand at all costs. And so I think that trend is going to counter some of what you’re describing of everybody just going wild with their marketing agents. That said, I still buy the thesis that like the marketing engineer is rising. And I just love that term marketing engineer because it sounds like a contradiction, you know,

[31:59] much like GTM engineer sounded like a contradiction. These are supposed to be different departments. But I have loved seeing how everybody’s skill sets are just blending. Uh, we’re seeing this with Gamma actually where people are more and more using Gamma not to just make one presentation here or there, but creating these really cool automations where they’re doing things like every time a new deal opportunity is created in Salesforce, let’s automatically create a pitch deck based on the call notes that have happened. >> How do you set that up? >> We’ve actually been building kind of connectors where you can automate more

[32:30] of it. Um, so you can just like plug into Salesforce. But I would say there’s still a fair amount of plumbing going on. Like people are using maybe a tool N8N or Zapier or something to trigger it all together and wire it. Um that is a good example of a thing where it’s still the domain of specialists, I would say. There’s like these really smart people or agencies that know how to help a business like wire things up. I think there is still a business opportunity in taking these practices that are done by the top 1 or 2% of companies who are really savvy about engineering it and just turning it into

[33:01] a super easy thing that everyone does. Another example of this, to go back to the personal agents, is like what’s happening now with tools like Muse and Instinct. You could do some amazing stuff with OpenClaw or Hermes if you could get your Linux box set up in the right place and avoid getting hacked. Personally, I skipped out on that whole trend. I was like, “I’m a busy dude. I don’t have time to set up my OpenClaw. I’m going to wait a few months for them to just make it easy for me.” And now I got Muse and Instinct blowing up my phone because they made it easy for me. >> Right. So, you don’t have a Mac Mini running uh >> I never got my Mac Mini. I’m ashamed to

[33:31] say as an AI founder. >> [gasps] >> And you know, going back to marketing engineering, in your mind, what does a top 1% marketing engineer look like? >> Um well, one thing that comes to mind is they’re really a marketing engineer data scientist. So, they are like ultra data-driven and grounded in what’s performing. And this is something that’s gotten easier than ever. Like absolutely Clod is my data scientist. And so, like I would say now everybody on our team is constantly armed with like very fine-grained analysis of like failure

[34:02] modes and opportunities. They’re looking at traffic on our site. They’re finding gaps. They’re you know, like I look at our you know, the person we have on our team who’s closest to a marketing engineer and he is just constantly thinking of new ways to do SEO, ad creative at just an unbelievable scale for one person. You know, they’re like they they’ve gone from being like individual creatives to people who are running this army of agents. Um and they are just in this high-level supervisory role. >> Yeah, I I it’s basically a department. >> It’s a department, yeah.

[34:32] >> it’s like we’re we’re getting to the place that if you’re a top 1% marketing engineer, your surface area of what you’re working on isn’t just uh well, the surface area is huge. You’re looking at SEO, GEO, you’re looking at uh social content, you’re looking at paid ads, you’re looking at um pretty much like all creative brand, you know. >> Absolutely. >> It’s I think that’s what’s interesting to me because I think that the people that figure out how to become a top 1% marketing

[35:04] engineer have an unfair advantage around getting their product seen. >> Well, and the other 98% are quickly becoming dinosaurs. If you can’t keep up with >> [laughter] >> the people in the market that are doing this. I’ve kind of had this idea that all of us over the last maybe like year or two, at least all of us who are using these tools kind of got this rapid series of promotions. We went from individual contributor to manager to director to like VP. We now all have these like layers and layers of agents under us in a pyramid. And

[35:34] it turns out that job’s actually kind of hard. Like um uh there’s a reason that like few people do it because you are sort of constantly barraged by information. You’re having to make so many decisions. Uh you kind of are like overwhelmed and confused by all of it. You need tools to even make sense of it all. You also need people to help you make sense of it all. You kind of need your your assistant and you need your chief of staff and you need all of these things. And so all of us are having to rapidly upskill to essentially like how to manage a thousand people. And building

[36:04] that skill is one of the most important things we can all do. Also, I think building tools to help the average person become a like VP of their own life is still under explored. Going back to my Slack idea. >> I also think uh you know, I I I experiments in general, it feels like building a startup today is or building a business in general is it’s like you have it’s more it feels like almost a little more science than art. >> Yeah. >> Now in the sense like your the ones who

[36:34] are going to win are the ones that have the experimentation muscle and just trying a bunch of different things. That’s why like I love talking to you because it it feels like that experimentation muscle is I mean that’s your like your thing. Um what’s one thing at Optimizely that you learned that every AI founder should should know you know would be good for them to know. >> Mm that’s a great one. You know one thing that comes to mind

[37:05] for me I think from years of like helping other companies do experimentation was that so much of it just comes to like how many app bats you have. Um uh it’s all just sort of a numbers game just like sales just like dating just like kind of anything else in life. You got to really try a lot of different stuff versus expecting that you’ll run one big you know test that magically unlocks your business. Um I like how you called it a muscle because I do think it is. First of all because it’s trainable you know. Yeah maybe some people are born with more muscle than others but if you put in the

[37:36] work that muscle’s going to grow. >> I also think like your first experiment’s not going to work. >> Totally. >> Just like if you’re trying to get fit and you’re trying to build muscle >> Yeah. >> you have to just show up to the gym every day and you have to put in the work and then two months later then then you might see a six pack right but you can’t expect it on day one. I think uh that’s the hard part about being uh an experimenter is like there’s like a trough of sorrow that you have to go through. Um and I think what a lot of people end up

[38:06] doing is they’re like you know what I’m just going to go with my gut. >> Absolutely. >> Um and >> By the way the same is true of things like posting on social media writing a blog sending cold email outbound. There’s a trough of sorrow in all of it and I think all success in life comes from swimming through some kind of rasa sara. >> [sighs and gasps] >> What’s What’s something that’s under hyped right now that you’re like, you know what, people are just not talking enough about this. I was talking with um

[38:37] a friend of mine about voice AI. Um that felt like under hyped. >> Yeah, yeah. >> Um right now people are talking about personal agents a lot. Anything that comes to mind? >> Maybe it’s a lame answer, but I actually think AI image models are under hyped. It’s a lame answer because we’ve been talking about image models for years. Ever since like stable diffusion came out in 2022, people have been making like cool stuff. But I think um ironically, as they got good, people stopped talking about them. As they stopped messing up in so many ways and just became sort of like part of the

[39:08] fabric, we sort of like forgot that we have this unbelievable technology that can make anything. And I think if you look at the way people are using like chat GPT images and a few other it’s kind of just the same three or four use cases over and over. You know, they’re they’re making like maybe the the menu for their small business. They’re making like a logo for their dad’s side project. There’s like a handful of things they’re doing. But these models are capable of so much. And we have a

[39:39] really cool vantage point to this at Gamma. We didn’t talk as much about images, but we use probably like 10 different image models as well for different tasks. And the pace of innovation there has been so much. And just the sort of like unexplored capabilities. For us it’s things like making beautiful diagrams or infographics to go in a presentation. Making cool little textures that can be the background of a presentation. Making custom icons. Like all these things are possible now. And most people just don’t realize it’s there. And I think you can pay attention

[40:10] to almost like any domain that’s creative and find ways that you could be using these things. And especially the average person just has no idea. You know, even one that I think is like probably many AI native people are doing, but most people don’t realize you can do is using AI image models for like clothing and like home decor. You know, like you you found a new couch you want to buy on Amazon, you can actually just chat GPT to say what would that look like in my house um and then say like go find me a few others and visualize those, too. Like so many of these things are just waiting to

[40:40] be more deeply productized. >> Do you think there’s an opportunity to build vertical products there? Like just focused on you know, interior design, for example, um or do you think the the big model companies are just going to own that use case, so it’s not even worth trying? >> I think there is so much room for these vertical use cases and it’s all about understanding the specific needs of the people that do them. Like let’s just take this furniture one, for example. I actually just bought a couch recently, so I

[41:11] >> Congratulations. >> Thank you. >> [laughter] >> It’s really comfy. And I went through this and it was so interesting um like trying to do this. And it turns out the AI image models are amazing at showing me what the couch will look like, but they’re not actually showing me exactly how it’s going to measure, right? And there’s a huge difference between, let’s say, a 68-in couch and a 58-in couch if your wall’s a certain size. So like could you actually show me the units in the display? That’s a great example of a harness, right? Um the models are actually capable of a lot of these things. One way they’re capable is you could imagine doing a thing where you

[41:41] render the couch in my room, but then you use some good old-fashioned programming to draw a line across in pixels and measure how long it is and see if it actually came out of the right size and prompt the model to tweak it to get exactly right. I don’t see the labs doing that anytime soon. >> Or prompt, “Hey, like this couch isn’t the right couch for you.” >> Yeah, totally. >> hey, but here’s uh another couch uh from Restoration Hardware that I think would be perfect for these reasons. >> Totally. And dude, what I learned about couch shopping is there’s hundreds of websites that sell couches and you have

[42:12] to click through a lot of little buttons on all of them. I ended up on Google Shopping. It was not a pleasant experience. Maybe somebody’s already built a great product for this and I missed it, but I haven’t seen it yet. >> I think there’s been examples. I think levels.io has like a >> Yeah, he has like an interior, I think it’s called. >> Yeah. Yeah. Yeah. >> But I think there’s still room. You know what I mean? Like I think uh especially as the models are getting better, the image models are getting better. Um the the concept of a harness is getting more and more mature. There’s just there’s more here. I think uh

[42:46] I think it’s safe to say that the also the consumer experience today around couch shopping or furniture shopping isn’t optimized. >> Totally. >> Um and what’s cool about that specific use case is it’s high ticket. >> Totally. >> Um so uh and there’s margin, right? Like if if for example, like I don’t think it’s crazy to do a deal with Restoration Hardware where they’re like, “We’ll give you 5% commission if you recommend our product.” >> couches, yeah. Absolutely. I think the other version of this, when

[43:16] you think about like what will survive competition with the model companies, um and we’re certainly facing this question constantly at Gamma. There is the pure consumer version, which to use the couch analogy is like help me buy a couch. Um but then there’s the like prosumer version, which is um hey, I am an interior designer. Maybe I’m a part-time interior designer, but I also have like two kids at home and that’s what I do, but I I you know, I I do it by the hour. Those people need a tool and they will seek out the best. And if it helps them do their job better, they

[43:47] will happily pay a subscription for it. Then there’s also the true pros. There’s Restoration Hardware itself has people who work there. What tool are they using? I bet it’s not just ChatGPT to do all of this. I think there is actually an opportunity to build companies for those. And I do suspect that highest tier of professional, the the bigger companies, is where you can really build something durable. >> Yeah, and I I feel like it’s under explored. >> Yeah, it is. >> cuz the the narrative I think is there’s there’s not that much opportunity um creating vertical vertical SaaS or

[44:17] vertical AI products. >> Yeah. >> Um which is unfortunate cuz I think that um there is. >> And it’s a big world out there, >> [snorts] >> you know. That’s maybe one other thing we’ve learned from the Gamma journey. Um our user base is very broad cuz if you just think about how many people on Earth make presentations, it’s a lot of different kinds of uh people. Um for us uh less than a quarter of our revenue is in the United States. Um it’s spread across many different job roles from like consultants to teachers to marketers to sales people to lawyers. I

[44:48] didn’t know lawyers make presentations. Turns out they do. >> Mhm. >> And you know, the more you can tap into with little niches, you know, like in many ways a big company is just a thousand little niches piled on top of each other. So, if you can find something that cuts across, and you don’t have to start broad, you can start with just one, but then look for the adjacencies you can tackle. >> 100% and you actually don’t know where you’re going to where it’s going to lead, right? Like you didn’t realize like, “Hey, lawyers are using are creating presentations.” and then you end up who knows, you end up creating something specific for lawyers. And then

[45:19] all of a sudden that becomes a huge part of your business. And that’s why I’m always like get started. Like put something out there. Like put something out there. You got to just find [clears throat] out. That goes back to experimentation. Experimentation doesn’t just mean run an AB test with like 10,000 users in each arm. It usually just means put up a landing page, get a product someone can try, which has never been easier. >> If you I know you’re not leaving Gamma, but like let’s say you were to leave Gamma tomorrow, what what’s something what what what’s a company you would start to build? >> Oh, that’s a good question, man. You

[45:50] know, it’s I I just love circling the space of like enabling people’s creativity. I think there’s other kinds of like creativity that like intrigue me though. Like um as crowded as the space is, I’m so intrigued by just like vibe coding as I practice and just the way I had this experience maybe as somebody who knows a lot of other tech people and lives in San Francisco earlier this year where every time I would catch up with a friend I hadn’t seen in three or four months, I’d be like what are you up to and they’d be like check out my app I made.

[46:21] >> [laughter] >> It sort of took the world by storm. I want to know maybe what’s the next vibe coding or what’s the next frontier of vibe coding. As people can make anything, um where will that take them? And so like within that I’m I’m certainly intrigued by video models finally getting good. I’m intrigued by voice models getting good. Like what’s the version of uh some kind of thing you could call and it would do something for you. Games are so interesting to me. I just think like the video game industry is ripe for some kind of disruption.

[46:52] But I haven’t cracked it yet. I don’t know. >> I think on the video side it does feel like we’re hitting like the vibe coding moment for video. >> Yeah. >> Uh Opus 5.5 has is obviously >> some cool stuff. >> Makes some cool stuff. The yeah, so I think the question is in a world where anyone can create video, what are the types of videos they can create? And then I’m also interested it’s like as a founder I’m like, okay, in a world where anyone can create video, what are some startup ideas that I can create >> Totally. >> on top of that. And that goes back to agent harnesses. >> Yeah, absolutely.

[47:23] >> Everything goes back to agent >> Everything goes back to the harness, baby. >> Um dude, thank you so much for coming on the podcast. Is there anything you want to leave people with? One thing? >> Uh I would just always encourage people who are thinking of starting a business to know that it is a long and sometimes lonely journey. And because of that, you really have to love the thing you’re working on. Um one of my kind of rules for myself before we started Gamma and it would stick around if I ever did another startup is it has to be something that I could dog food,

[47:56] that I could be a user of and that I could believe in. And to be honest, that actually rules out a whole lot of boring businesses, but it was good for my soul. I just needed to have something that I wanted to spend hours every day in. And so, I always encourage people to dig deep and think about like what is your passion and the thing that um only you know, the thing that you want to spend eight hours a day on that when you look around your friends don’t want to spend eight hours a day on and zero in on that as your North Star. >> that’s the important point too around like the thing that you want to spend

[48:26] eight hours a day on that other people don’t. >> Totally. >> you might be really into sports or something, but a lot of other people are into sports and that might be very competitive. I think like if you’re if you’re choosing a startup idea or choosing a business, I always say like um marry the niche, date the product. >> I love that. >> Like fall in love with who you’re trying to serve. >> Yeah, yeah. >> And because we live in an age where you you know, you’re going to be iterating on the product so many times and it’s going to look so different, but if you love the the niche,

[48:57] um and that’s why I always encourage people to uh build media, build a following in that niche cuz then you can sell them a bunch of different products. >> an audience. I think that’s totally right. You know, Jeff Bezos has a very similar quote where he says, “Be stubborn on the vision, flexible on the details.” >> Mhm. Well, I’m glad I’m in good company with Jeff Bezos. >> are. >> [laughter] >> Thank you. I appreciate you and I >> Thanks for having me. This is great. >> It was awesome.