Passei dois anos construindo o mediano — Hariprasad Sudharshan

Ver no idioma original →

Autoria: AI Engineer · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: I Spent Two Years Building the Median — Hariprasad Sudharshan · Canal: AI Engineer · 35:46 · Assistir no YouTube

Tópicos: Agentes de IA, Aplicações empresariais de IA, Engenharia de software com IA, Infraestrutura e hardware de IA, Modelos locais e open source

Resumo

Hariprasad Sudharshan argumenta que, embora a IA torne o desenvolvimento de software muito mais rápido, o mundo continuará dependendo de software determinístico e confiável. Como modelos e harnesses estão amplamente disponíveis, produtos criados apenas com práticas comuns tendem a convergir para soluções medianas, úteis, mas pouco diferenciadas. Para competir, desenvolvedores e equipes precisam buscar novidade, aproveitar soluções existentes e avaliar quem já resolveu o problema, qual é a vantagem própria e onde o produto será distribuído. O palestrante ilustra esse aprendizado com seus projetos e com uma calculadora que compara o custo de executar modelos com pesos abertos na empresa ao de consumir tokens na nuvem.

Pontos-chave

• O software determinístico continua sendo a base de serviços essenciais e da economia, mesmo com a expansão da IA.
• Modelos e harnesses alugados oferecem capacidades semelhantes a muitas equipes, reduzindo a diferenciação baseada apenas em ferramentas.
• Resultados de rankings como Elo são relativos ao ambiente de avaliação e não representam uma medida absoluta de inteligência.
• Produtos desenvolvidos a partir de práticas comuns podem ser úteis, mas tendem a convergir para o que o palestrante chama de mediano.
• O reflexo de começar construindo pode levar à recriação de problemas já resolvidos por projetos maduros e open source.
• Uma novidade clara deve ser tratada como parte do planejamento e do orçamento do projeto; sem ela, o trabalho pode ser entendido como exercício de aprendizado.
• O palestrante recomenda ser altamente opinativo, começar o trabalho quando o coding agent diz que terminou e usar esse resultado como ponto de partida.
• Para avaliar uma ideia, pergunte quem já resolveu o problema, o que a equipe tem de diferente e onde a aplicação será distribuída.
• Pesos abertos não equivalem a inference aberta e gratuita: executar modelos exige lidar com camadas de infraestrutura e custos operacionais.
• Produtos medianos podem prosperar em contextos internos ou com distribuição forte, mas têm pouca durabilidade quando enfrentam concorrência aberta.

Capítulos

Início	Capítulo	Resumo
00:01	O mundo depende de software determinístico	O palestrante apresenta cenários de falha em uma cidade para destacar o papel do software confiável na vida moderna.
03:38	O que a IA muda — e o que permanece igual	Modelos podem acelerar o desenvolvimento, mas os produtos finais continuam precisando executar tarefas de maneira confiável.
06:15	Comparar modelos sem confundir modelo e harness	Com exemplos de atletas e rankings, o palestrante explica que pequenas diferenças de pontuação não devem determinar uma estratégia de produto.
11:23	A convergência para o mediano	Acesso compartilhado a modelos e práticas semelhantes faz equipes diferentes produzirem soluções parecidas.
17:38	O reflexo de construir antes de pesquisar	O palestrante relata como o impulso de criar primeiro pode levar à reconstrução de sistemas já disponíveis e maduros.
23:20	Reservar um orçamento para a novidade	Após encontrar muitos produtos semelhantes, o palestrante propõe identificar e planejar uma novidade concreta desde o início.
26:26	Quatro regras para superar o mediano	As recomendações incluem ser opinativo, reconhecer os limites do caminho de prompt à produção e começar a inovar quando o agente termina.
28:29	Perguntas para líderes e equipes	O palestrante sugere investigar soluções existentes, vantagens próprias e canais de distribuição antes de apostar em uma aplicação.
31:03	O custo de executar modelos com pesos abertos	Uma calculadora compara a execução de modelos dentro da empresa com o consumo de tokens na nuvem, considerando os desafios de infraestrutura.
33:37	A novidade como escolha estratégica	Na conclusão, o palestrante defende que a IA acelera a construção de software, mas que a diferenciação depende de perseguir uma solução realmente nova.

Citações

No fim das contas, o mundo precisa de software que faça a mesma coisa de forma confiável todas as vezes. — 05:13

É bom o bastante para lançar, mas é difícil distinguir o que você lançou daquilo que outra pessoa vai lançar. — 12:24

Antes de começar a gastar, dê nome à única coisa que é nova. — 25:24

Quando a IA diz ‘pronto’, para mim isso significa que ela entregou seu produto mediano. É aí que eu tenho que começar a trabalhar. — 27:26

A novidade é escassa, e o mediano é grátis. A escolha é sua. — 35:46

Conceitos e entidades

• Hariprasad Sudharshan (pessoa): Palestrante e profissional de produto que relata seus dois anos construindo aplicações com assistência de IA.
• AI Engineer (empresa): Canal que publicou a palestra.
• software determinístico (conceito): Software baseado em regras que deve produzir resultados confiáveis e consistentes.
• median (conceito): Termo usado pelo palestrante para descrever soluções comuns às quais diferentes equipes chegam usando modelos e práticas semelhantes.
• novelty budget (conceito): A proposta de reservar atenção e recursos do projeto para uma característica realmente nova e diferenciadora.
• build first reflex (conceito): Tendência de começar a construir com um coding agent antes de pesquisar soluções existentes ou avaliar o problema.
• Claude Code (ferramenta): Ferramenta citada como exemplo de workflow de desenvolvimento assistido por IA.
• Cursor (ferramenta): Produto citado na comparação entre harnesses, não como modelo isolado.
• Codex (ferramenta): Produto mencionado na comparação entre soluções de desenvolvimento assistido.
• LlamaIndex (repo): Projeto para o qual o palestrante diz ter contribuído.

Tradução completa (pt-BR)

00:01 Se eu disser que Nova York para de funcionar de repente esta noite, você me diz quais poderiam ser as razões para não haver voos partindo do JFK. O metrô para de repente na próxima estação e fica lá. Nenhum dos seus pagamentos por aproximação funciona. Os elevadores em que você entra não sabem em que andar estão. Os telefones não tocam. Wall Street e o mundo inteiro ficam paralisados.

00:33 Qual poderia ser a razão? Software. A não ser que haja alguma outra coisa, é um problema de software que afeta o mundo inteiro. Não há nada que possa parar este mundo moderno. É o quanto a cidade de Nova York e todo o nosso planeta são, de fato, movidos por software invisível. Não o tipo de software de IA de que falamos principalmente. É o software tradicional, determinístico e baseado em regras,

01:05 confiável, que trouxe o mundo moderno até nós. Há mais de 70 anos, ele é feito artesanalmente por seres humanos. Eu sou o Hari. Sou o profissional de produto que vem criando software há quase duas décadas. E tenho uma teoria que considero muito genuína. Se existe uma nova indústria na história da humanidade, ela só pode ser a indústria de software.

01:35 Porque, quando pensamos em navegação, agricultura, construção e até astronomia, já tínhamos tudo isso em diferentes formas e configurações. Agora pode ser mais sofisticado, mas não é nada novo para nós. Hoje, desde ir para o trabalho até assistir a este vídeo, dos reatores nucleares às estações espaciais, o fator em comum que move a economia de 125 trilhões de dólares é o software.

02:05 Então, seria catastrófico se, por algum motivo, o software parasse, como no Y2K. E nosso mundo moderno deve muito a esse tipo de software: o determinístico, em que você confia para o seu marca-passo e quando voa em um 747. Então, se olharmos para o produto aqui à esquerda, temos os engenheiros.

02:36 Os engenheiros são contratados e são a fonte de julgamento de cada produto, com seu gosto único. E vou além e digo que seus sistemas de crenças e valores se refletem no software que lançam. A cadeia de ferramentas foi toda construída com regras determinísticas. O software que move o mundo e as cadeias de ferramentas ao seu lado, em um

03:06 ciclo de feedback cruzado em que os assemblers criaram C, C criou Unix, Unix criou tudo e, depois, criamos Kafka, Zookeeper, até chegar ao Kubernetes, que move o mundo hoje. O único julgamento nesta imagem é o julgamento humano. E todos sabemos como somos diversos. E é dessa variação que surgem as vantagens de cada produto. O bloco aqui

03:38 é uma representação de alto nível de toda a indústria de software e da economia mundial. Quem detém a propriedade intelectual? Onde está o ciclo contínuo? E como esse ciclo, em que cada peça da cadeia de ferramentas nos ajuda a alcançar novos patamares? Se o software é determinístico ou probabilístico, essa é uma questão. E guardem esta imagem. Vamos ver uma peça mudar. Ou seja, sim, na era da IA, hoje os engenheiros são assistidos ou

04:09 movidos por modelos que eu chamaria de alugados — às vezes, alegam que são completamente autônomos. O lado bom é que isso cria condições equitativas, com todos tendo igual acesso aos modelos e harnesses de ponta. Equipes que antes não podiam pagar pelo acesso aos grupos de talentos do Google e da Meta, que criaram artesanalmente este software moderno, agora podem pagar por inteligência através de APIs

04:41 que alegam ter resolvido o problema do software. Vamos ver se realmente resolveram ou o que está acontecendo. Se você prestar atenção e olhar por baixo do capô, tudo ao redor do modelo — o harness, os agents, as ferramentas, o MCP — continua sendo o mesmo software determinístico de sempre. Quem está criando isso certamente sabe que esses não são produtos de IA. São o mesmo software determinístico de sempre, construído com a ajuda de

05:13 talvez dos modelos. E o que não mudou, o que permaneceu igual, é o resultado? No fim das contas, o mundo precisa de um software que faça a mesma coisa de forma confiável todas as vezes. Portanto, o artefato final é um software determinístico que move a economia mundial como a conhecemos. Se esse é o caso, então qual é o papel da IA aqui?

05:45 O papel dela é, primeiro, acelerar o desenvolvimento de software determinístico ao menor custo possível. E escrever software determinístico que nunca existiu antes porque faltava orçamento — para problemas interessantes, problemas difíceis. Então, esses são os dois casos de uso que vejo se concretizando nos próximos 5 a 10 anos. Portanto, a conclusão é

06:15 que vamos usar uma engrenagem probabilística para produzir software determinístico confiável, ampliando — ou, como alguns diriam, substituindo — o julgamento humano. Isso é possível? Onde estamos hoje? Vamos ver nesta palestra. Quem conhece esta pessoa? Sou muito fã dele. Ele é um

06:45 super-humano, assim como os amigos dele. Certo, agora vejo que vocês vão ligar os pontos, porque conhecem alguns desses homens e sabem que ele faz parte do clube de elite dos menos de 10 segundos. Dois deles são relativamente conhecidos, mas os três são super-humanos. Não são? Então, em 2015, nove competidores

07:15 competiram, e a diferença entre eles foi de apenas 27 centésimos de segundo. E Gatlin perdeu o ouro por um centésimo de segundo. Dá para acreditar? A mente humana não consegue compreender isso. As medições científicas mostraram que foi assim que Usain Bolt venceu Gatlin naquela noite. Em outra noite, a ordem poderia ser completamente diferente. Eu ainda corro esses 100 metros e levo 10,13 segundos, não 10.

07:46 E você? Essa é a diferença entre nós e esses atletas extraordinários que competem no limite da capacidade humana. Mas, como fã, vou defender meus favoritos, como acabei de fazer. Mas também converso com profissionais desse esporte. E, na opinião deles, a diferença é tão pequena que o melhor anterior ou quem detém o recorde mundial não importa quando eles entram em campo.

08:17 Em um determinado dia, qualquer um pode vencer qualquer outro. Vou aplicar a mesma medida aos modelos para defender alguns pontos. Seis laboratórios; saiu recentemente um estudo de Stanford; algumas dezenas de pontos Elo para cá e para lá. E a tabela de classificação muda a cada ciclo de lançamentos. E a pergunta popular desta semana é: qual modelo você está usando e o quanto

08:47 mais inteligente você se sentiu usando esse modelo? Não é esse o grande tema das conversas à mesa de jantar hoje em dia? Mas posso dizer uma coisa: não é necessariamente um bom argumento para uma reunião de diretoria. Por quê? Porque, muitas vezes, nosso lado emocional, como aquele momento de fã, aparece nas salas de reunião. Afinal, somos todos humanos. Não estou dizendo para não comparar modelos. Só estou dizendo para não transformar uma pequena diferença, que muda o tempo todo, na fronteira do desempenho em uma vantagem para o seu roadmap de produto.

09:19 Vamos nos aprofundar um pouco aqui, porque há alguns números a analisar. Anthropic: 1503; Mistral: 1460; 87 pontos para cá e para lá. Isso não significa que a Anthropic seja 87 pontos mais inteligente que a Mistral. Na verdade, devemos interpretar as pontuações como uma classificação relativa derivada da comparação entre modelos. Ela nos diz como esses modelos se classificam em relação uns aos

09:50 outros naquele ambiente de avaliação. Não é uma escala absoluta de inteligência. Mas há um elefante na sala. Em todas essas conversas entre várias equipes, vi várias organizações que, embora pensem estar comparando modelos, na verdade, muitas vezes nem estão comparando modelos. Por engano, comparamos o harness ou o produto dos modelos. Claude Code versus Cursor ou Codex

10:20 não é uma comparação entre modelos. É mais parecido com comparar a Jamaica com os EUA. Você está comparando um atleta e o sistema de treinamento em torno dele. Então, o modelo é o atleta ou o motor. Ele fornece a capacidade subjacente. O harness determina como esse motor é usado. As ferramentas, o contexto, as instruções, a orquestração, a memória, os workflows, as chamadas de ferramentas MCP: isso é o harness ao redor dele.

10:51 O produto determina por que alguém deveria se importar, porque é o produto final. Hoje, você e eu podemos alugar o motor e praticamente todos os harnesses que vêm com ele. Alguns vêm fortemente integrados; outros, pouco integrados. Então, se todos têm a mesma fonte, como vimos na imagem anterior, onde está a diferenciação? O que costumava surgir e fazia essas diferentes empresas

11:23 prosperarem em diferentes áreas — a fonte, ou os primeiros princípios disso — vem da diversidade e da variação nas mentes dos engenheiros delas. Como o modelo é alugado, o que vemos cada vez mais é que, quando a capacidade fica disponível para todos, o que temos diante de nós? O modelo e o harness não se importam com quem está digitando nem de que parte do mundo essa pessoa é. Ou

11:53 seja você um engenheiro E6, E7 ou E1. Diante do mesmo problema, com as mesmas ferramentas, a próxima pessoa recebe o que você recebeu. E quero chamar essa resposta de mediana. E essa mediana continua mudando a cada ciclo de lançamento, como vimos naquele diagrama. Os problemas resolvidos anteriormente entram nesses LLMs e, então, de forma incremental, é assim que esses lançamentos chegam um após o outro.

12:24 Assim como o ciclo de desenvolvimento de software. Estou simplificando bastante, mas, em poucas palavras, é isso que faz a mediana avançar, o que é bom. Ao mesmo tempo, também é uma espécie de armadilha. Porque é bom o suficiente para lançar, mas é difícil distinguir o que a próxima pessoa vai lançar. Porque a próxima pessoa ou o concorrente também pode ter lançado

12:55 algo parecido ou exatamente igual. Isso não poderia ter acontecido antes de 2023. O produto mediano era caro. Você precisava de uma equipe, tempo e uma stack. Hoje, esse problema resolvido é gratuito. E o problema que é gratuito é gratuito para todos. E você vai até o cliente como

13:25 todo mundo vai. E, com tantos produtos parecidos inundando o mercado, a distribuição se torna o diferencial, não o seu produto. Então, qual diferencial você pode criar nesse novo ambiente? Vou passar rapidamente pelos próprios números do GitHub para reforçar o argumento de que esses harnesses de modelos estão produzindo uma quantidade enorme de

13:56 software novo. E, para mim, esse software é realmente bom. Mas os resultados são parecidos. Isso não é uma multidão de imitadores. Definitivamente, não. É uma multidão de pessoas que chegou à mesma resposta porque a fonte, ou o molde, é o mesmo. E o termo que a nossa indústria escolheu para o que elas construíram é “AI slop”. Software “AI slop”. Quero tirar esse termo de vocês

14:28 e dar a ele um novo significado. Mas, primeiro, quero ser justo. Se você desenvolve há muito tempo e se deparou com o desenvolvimento assistido por IA, pareceu mágica, não é? Porque pegávamos uma caixa-preta e apontávamos algo para ela. Em algum momento, você com certeza pensou: “Nossa, isso funcionou muito bem.” Há duas semanas, lancei um app para iOS. Sou desenvolvedor, mas nunca sonhei em desenvolver um app, porque lembre-se: tínhamos áreas distintas, como desenvolvedor de sistemas embarcados e desenvolvedor de apps.

15:00 Hoje, a IA está transformando todo mundo em desenvolvedor. Para mim, isso é bom, e falo sério. A palavra “slop” é negativa. E a usam sem nenhuma análise empírica. Eis por que sinto que esses 100 mil repos e a proliferação do desenvolvimento assistido por IA estão trazendo para a área pessoas que nunca desenvolveram. O sucesso desses novos produtos não pode ser avaliado pela perspectiva desses especialistas.

15:30 Eu gostaria de definir o sucesso desses milhões de apps de IA com base no sucesso de quem os criou. Afinal, quem define como é um produto bem-sucedido? Para nós, pode ser algo que gere receita. Para outra pessoa, pode ser algo que ela possa mostrar aos colegas e dizer: “Olha, construí este site incrível.” Isso também é sucesso. E já vi milhões de pessoas fazerem isso com Lovable e Replit, o que é legal. Elas não são esnobes em relação à IA.

16:05 O que acontece quando você apresenta um bom problema a um coding agent? Na maioria das vezes, hoje, o resultado é útil, e o artefato final pode ser parecido porque, sabe, usaram o mesmo molde na mesma massa. Mas a maior parte do software desenvolvido assim acaba no que chamo de mediana. Não estou dizendo para você parar de desenvolver ou de lançar. Para uso interno, está perfeitamente bem.

16:36 A única ressalva é: parem de contar isso como um fator de diferenciação. Mas falta uma coisa a essa mediana. Também precisamos conhecer os pontos positivos e as desvantagens. Não é um problema novo. Nos anos 1990, todo mundo tentava resolver o problema da busca, e a maioria tinha um crawler básico e um índice. E quem quer que resolva esse

17:07 problema muito bem, ou tenha esse elemento de novidade, vai se destacar, porque isso é um fator de diferenciação. Então, hoje digo que a mediana da maioria dos softwares que você pode imaginar construir é, na verdade, gratuita. Mas, se quiser competir no mercado aberto, você precisa desse elemento de novidade. Então, antes de continuar, quero estabelecer minha credibilidade, porque já falei por bastante tempo.

17:38 Não comecei a construir quando os modelos melhoraram. Construí mais de uma dúzia de aplicações publicamente e contribuí para o LlamaIndex e outros repos. Os últimos três anos foram muito empolgantes, e foi isso que me levou a este tema, mas também foram cansativos. Quero mostrar isso porque os projetos que vou apresentar não são primeiras tentativas de amador. Tentei resolver um problema do mundo real e acabei com uma mediana. Nunca imaginei que isso fosse acontecer.

18:10 Então, quero cunhar alguns termos. O reflexo de construir primeiro. Quando todos ficamos empolgados com essa IA e essas coisas, paramos de fazer algo que fazíamos antigamente: quando construir era caro e difícil, eu costumava pesquisar mais do que construir. Hoje, isso se inverteu. É mais fácil apresentar um problema a um coding agent do que pesquisar, ler aquelas respostas prolixas e tomar uma decisão. Não queremos mais tomar decisões.

18:41 E isso está se tornando o novo normal na nossa área. Então, o que fazemos? Pedimos ao coding agent para construir um sistema RAG. E chamo isso de reflexo de construir primeiro. Apresente um problema, abra um agent. Sim, você consegue um esqueleto nos primeiros dois minutos e tenho certeza de que, se estiver acostumado com esse tipo de desenvolvimento, consegue fazer uma demonstração funcional em duas horas. Você entrega para alguém, mesmo com algumas

19:11 imperfeições, e funciona. E você poderia até lançar em quatro semanas. Um produto realmente bom, com suporte e tudo. Mas só então você percebe: “Ok, construí o 400º ou o 4.000º sistema RAG.” Usei RAG como exemplo. Então, apresentei o mesmo problema, e foi isso que obtivemos. E perguntei: “Ei, por que você construiu o enésimo sistema RAG se existem sistemas open source mais maduros e com mais recursos, milhares de stars e bastante maturidade?

19:43 Poderíamos simplesmente ter aproveitado um deles. Não deveríamos ter construído isso. Três anos atrás, não teríamos construído isso.” Então, ele admitiu: “É, tudo bem, a culpa é minha. Você disse: ‘Pode construir?’, e eu fui lá e construí. Se você tivesse me dito isso, eu teria feito outra coisa.” O sistema RAG mediano é o que foi construído, e esse problema já está resolvido. Mas, se você estiver construindo um pela primeira vez, vai ser empolgante, porque vai sentir que entregou

20:13 um PDF, apontei para um LLM no backend e estou fazendo perguntas. O chunking e todos esses fatores, que eu entendo ou não entendo, vão ser resolvidos por ele; o banco de dados vetorial, e pronto, tenho uma solução. Pequenas vitórias liberam muita dopamina, e eu caio nas mesmas coisas que vocês. E essa é a resposta prolixa que defini no slide anterior. Agora, vou parar de falar sobre esses problemas triviais

20:45 e mostrar uma das minhas aplicações. Este projeto é um dos exemplos dos primeiros dois anos, durante os quais desenvolvi muitos apps. Como todos sabem, meu reflexo de construir primeiro entra em ação. Fiz isso muitas vezes, até cunhar esse termo. Construí o projeto abrindo mão de sair para jogar. Deixei de ir a muitos encontros sociais e noites de cinema.

21:17 E eu construía como louco. Era como jogar uma partida de xadrez e ficar viciado nela. E eu tinha todos os planos Max de plataformas de IA que você possa imaginar. Às vezes, gratuitos. Depois de todo esse esforço, finalmente fiz um lançamento discreto. Sou um pouco perfeccionista. Até então, eu estava eufórico, porque via minha ideia se tornar algo real em

21:47 pouquíssimo tempo. Como gerente de produto, eu precisaria de uma grande equipe e de arquitetos. Consegui fazer tudo sozinho. Eu estava eufórico até perceber que ainda não tinha ajustado minhas expectativas à realidade. A verdade é que meu círculo me disse que já tinha visto calculadoras parecidas em outros lugares. E, antes que alguém pense

22:17 Eu copiei deles ou eles de mim; o surpreendente é que ninguém copiou de ninguém. É a mesma coisa. É um trabalho de imitação. Quando analisei algumas dessas calculadoras open source e fechadas, às vezes encontrei exatamente a mesma coisa. Nem sequer eram parecidas. E como pessoas de lugares diferentes poderiam chegar a uma solução semelhante? Até quando você olha para o roteamento de LLM, tudo está convergindo. Como esses

22:48 modelos, até as soluções estão convergindo. E estão competindo por um espaço minúsculo. É como ter os mesmos desenvolvedores na sua equipe e também nas equipes dos seus concorrentes. Então, só é possível desenvolver intuição construindo, e tenho certeza de que vocês, que constroem, concordariam comigo. Agora temos algo para recalibrar e encontrar um caminho de sucesso.

23:20 Então, depois de dois anos, durante os quais passei quase todo o meu tempo — eu estava cansado, porque passei por várias… Qualquer ideia empolgante que eu tinha, eu ia em frente e construía, com o reflexo de construir primeiro. E quase sempre acabava numa faixa lotada, onde já havia duas ou três pessoas, ou eu era o primeiro, tirava um mês de folga e, quando voltava, havia 60 produtos semelhantes. E quem tiver uma distribuição melhor obviamente vai vencer essa disputa.

23:51 Então, gostaria de cunhar outro termo. Certo: construir primeiro, e depois o quê? No ciclo de vida de desenvolvimento de software com IA, um orçamento de novidade. Se você conseguir pelo menos uma unidade de verdadeira novidade — como foi o PageRank para o Google —, poderá superar essa mediana, pelo menos por bastante tempo. Você escolhe um problema e quer oferecer a melhor solução do mundo para ele; assim, tem uma boa chance de superar

24:21 a multidão. Durante os dois primeiros anos, passei os dias e as noites pensando em arquitetura, design de agent, cadeias de prompt, skills, e alguém compartilhava: “Ei, este é meu novo workflow no Claude. Este é meu novo workflow no Claude.” Fiz todas essas coisas. E, na maioria das vezes, acredite em mim, você acabaria com resultados semelhantes, se não iguais. Então, tive que refazer a calculadora que mostrei a vocês e, dessa vez, passei quase todo o tempo

24:52 pensando em como me diferenciar e quase nenhum tempo exibindo meu Claude Code ou minhas habilidades de programação, como eu costumava fazer antes. Porque aquilo parecia mágica. A mediana do modelo não é opinativa. São as melhores práticas convergentes. Então, escolhi uma faixa e tratei isso como um orçamento. Depois de queimar vários milhões de tokens em muitos planos Max ao longo de dois anos, agora sinto que todo o resto é de graça. E o maior retorno sobre o investimento vem de

25:24 um orçamento de novidade. Então, antes de a conta começar, identifique a única coisa que é nova. Se não tiver nenhuma, você pode ficar com a mediana, porque muitas pessoas já construíram a solução para o problema que você tem, disso tenho certeza. Diga-me um problema para o qual não existam soluções. Vou procurar uma para você. E então inclua esse plano de novidade no seu roteiro e no planejamento do projeto. É o que faço agora.

25:55 E faça uma revisão disso como você revisaria os gastos de um projeto. Sinceramente, se você não consegue identificar o que há de novo no seu projeto, então deve admitir que é um exercício de aprendizado. Tudo bem. Os fracassos, os aprendizados e os mecanismos para superar as medianas ao longo de dois anos me levaram a estas quatro regras.

26:26 E estas não são regras para projetos paralelos. Quero que as use como roteiro para as próximas reuniões de planejamento trimestral. Porque seus produtos certamente terão um gêmeo e, às vezes, ele pode ser open source. Por que fazer todo o esforço para construí-lo? Aproveite o que já existe, faça um fork. Uma das coisas é ter opiniões bem definidas. Na maioria das vezes, os assistentes de IA vão dar respostas prováveis. Seja lá qual for o assunto.

26:56 E essas coisas serão iguais para quase todo mundo. Talvez sejam parecidas, mas fazem parte do espectro do que já foi resolvido. No mundo das medianas, uma opinião é a novidade mais barata que você pode ter. Então, assuma uma, porque o modelo não pode fornecê-la. Dois. Do prompt à produção é um caminho mediano. E não há absolutamente nada de errado com isso. Se você acha que é algo para uso interno

27:26 e quer construir isso para a sua equipe usar, vá em frente. Sou totalmente a favor. E, agora, a terceira. Esta é a mais fascinante. Quando a IA diz “concluído”, para mim isso significa: certo, a IA entregou seu produto mediano. Tenho que começar a trabalhar a partir daqui. Esse é o sinal de qualquer um dos seus coding agents, porque é aí que seu trabalho começa. E lembre-se disto.

27:57 Até agora, esses coding agents têm fornecido de graça o último grande design. Eles não vão inventar o próximo Kubernetes, Zookeeper, Kafka ou quaisquer que sejam esses blocos de construção. Vão fazer o scaffolding e fazem um trabalho muito bom em vários lugares, mas… mas… mas esse será o último grande design gratuito. E qual é o seu trabalho? Se quiser prosperar, precisa encontrar o próximo.

28:29 E aqui estão alguns métodos que achei úteis. Compartilhei esse método com vários líderes de diferentes organizações e recebi bons comentários sobre eles. Se você está numa posição de liderança e ainda não está construindo com esta IA, isto é exatamente para você. Você vai ver várias demonstrações. Tenho certeza de que é bombardeado por elas toda semana. E parece algo grandioso, porque percebi que os instintos da liderança não estavam calibrados, já que

29:01 na época em que estavam desenvolvendo a própria intuição, o que estão vendo ser entregue hoje levava um trimestre ou mais e uma equipe para ser construído. Hoje, um novo engenheiro aparece e diz que construiu a mesma coisa que levaria uma equipe e um trimestre para fazer. Então, é um dos momentos mais difíceis para decidir onde apostar. Especialmente quando você não está imerso nessa

29:31 tecnologia. Porque ninguém consegue se recalibrar lendo ou assistindo a vídeos no YouTube ou publicações no LinkedIn. Você se recalibra construindo. Desenvolve intuição construindo. Então, o roteiro é simples. Três perguntas. Elas não vão resolver seus problemas, mas são boas perguntas práticas para fazer. Uma: quem já fez isso? Essa pergunta força a busca, porque, no mundo da IA empolgante, precisamos domar o reflexo de construir primeiro, impulsionado pela

30:02 IA. Dois: o que temos que a próxima equipe, nossos concorrentes ou outra pessoa da equipe não têm? Isso faz da novidade uma prioridade na mente dos membros da equipe. Alguém pode dizer que um prompt melhor só vai gerar um problema mediano e uma solução mediana. E, terceiro,

30:32 onde esse aplicativo vai ficar? Na era da IA empolgante, exigir que as pessoas pensem em resultados enquanto todo mundo está empolgado construindo é uma forma de mostrar que a demonstração é o jeito caro de descobrir que você não tem um canal de distribuição. E apliquei tudo isso com rigor no último ano. E talvez você esteja se perguntando: o que aconteceu com aquele projeto de que eu estava falando?

31:03 >> [fungada] >> Fiz essas perguntas. Certo, se tenho que oferecer um valor acima da mediana, então o que existe entre um modelo open source e um sistema que gera tokens? E quanto uma empresa precisa pagar por isso? Porque os pesos abertos estão na moda, mas pesos abertos não são inference aberta. E aprendi isso da maneira mais difícil, porque

31:34 há 10 camadas entre um peso aberto e um sistema que gera esses tokens. Consideramos os laboratórios garantidos quando nos fornecem isso. Há operações de ML e SRE numa escala totalmente diferente, que o mundo nunca viu. Então, há cache KV de precisão, batching, paralelismo de execução e diferentes formas de segmentar e dividir tudo isso. Para algumas dessas coisas, é preciso contratar especialistas.

32:04 E não sei de onde vêm esses especialistas, porque isso não é uma tecnologia nem uma skill que o setor já tenha. E algumas dessas camadas, como a camada nove, dizem respeito à utilização. Isso é estrutural. Não dá para comprar. Então, a menos que, como eu disse, você escolha um problema e queira ser o melhor em resolvê-lo, não vai superar a mediana apenas usando essas ferramentas de IA.

32:36 Pesquisei e descobri que nenhuma das 244 calculadoras que mostrei antes fazia isso. E transformei o aplicativo inteiro em algo que compara quanto custa executar os mesmos pesos dentro da sua empresa com o custo de executá-los na nuvem da Neo e pagar pelos tokens. É isso que esta calculadora oferece. Porque

33:07 Se você tem modelos open e quer construí-lo, então qual é a diferença? Recebi ótimos comentários de muitas empresas que realmente querem seguir esse caminho, porque, quando as pessoas falam em modelos open, ficam empolgadas. Com o quê? Organizações que estão considerando implantar modelos com pesos abertos: os pesos são gratuitos. Mas talvez você queira conferir. Esse é o código QR.

33:37 Então, escaneie-o, coloque-o na sua carga de trabalho e veja como funciona para você. É open source e gratuito. Então, é aqui que tudo se encaixa e termina. Com o poder dos LLMs no harness, construir nos últimos três anos ficou exponencialmente mais fácil. Mas as mudanças e a dinâmica do desenvolvimento de software

34:11 continuam sem mudar, no fim das contas. Os produtos medianos baseados em prompt são úteis. Eu também os lanço. Eles não são porcaria. Mas têm pouca durabilidade quando enfrentam concorrência aberta. E podem sobreviver se você tiver um enorme canal de distribuição. Então, a única postura para tentar prosperar nesse campo é, mais uma vez — talvez eu esteja me repetindo —, pegar um problema e persegui-lo com a intenção de ser o melhor nele

34:43 do mundo inteiro. Sim, talvez não consigamos resolvê-lo, mas essa intenção certamente vai colocar você acima da mediana. A única questão que resta é: seus produtos desenvolvidos com auxílio de IA podem prosperar? Passei dois anos na mediana, mas isso foi aprendizado. Valeu cada token que gastei. Fiz duas perguntas no começo. O que acontece com o software? Para mim, o software que movimenta essa

35:14 economia de 100 trilhões de dólares não será afetado. O mundo ainda funciona com software determinístico, pelo menos no futuro previsível, e talvez sempre seja assim. A era da IA significa que podemos escrevê-lo muito mais rápido, mas ela não vai eliminar o software determinístico. Então, gostaria de encerrar dizendo: invista tudo o que você tem

35:46 em uma coisa: a novidade. Empenhe cada fibra do seu ser, cada grama da sua capacidade mental, na novidade, porque a novidade é escassa, e a mediana é de graça. Cabe a você escolher. Obrigado.

Transcrição original

[00:01] If I tell you the New York City tonight suddenly stops working, you tell me what could be possible reasons for no flights leaving JFK. The subway suddenly stops at the next station and stays there. None of your tap pay is working. The elevators you get in, they don’t know which floor they are. The phones are not ringing. The Wall Street and the entire world comes to a standstill.

[00:33] What could be the reason? Software. Unless otherwise, there is a software issue that affects the entire globe. There is nothing that can stop this modern world. This is how much the city of New York and our entire globe is actually driven by unseen software. Not the AI kind of software that we mostly talk about. It’s the traditional, deterministic, rule-based,

[01:05] reliable software that has brought the modern world to us. It is handcrafted for over 70 years by humans. I’m Hari. I’m the product person who has built software for almost like two decades now. And I have this one genuine theory. If at all there is a new industry in the human history, it must be software industry.

[01:35] Because you take navigation, agriculture, construction, and even astronomy, we had this in different forms and shapes earlier. Now that it may be more sophisticated, but they’re nothing new to us. Today from getting to work to watching this video, from nuclear reactor to all the way to space station that drives the 125 trillion dollar economy the one common factor is software.

[02:05] So, it would be catastrophic if for some reason software stops, just like the Y2K. And our modern world was a lot to this kind of a software. The deterministic kind, where you trust it with your pacemaker and when you fly on your 747. So, if you look into the product here on the left side, you have the engineers.

[02:36] The engineers are hired and they are the source of judgment for every product out there with their unique taste. And I’ll go to an extent and call their belief systems and value systems are reflective in the software that they shipped. The tool chain owned deterministic rules all the way. The software that runs the world and the tool chains next to it in a

[03:06] cross feedback loop where the assemblers built C, C built Unix, Unix built everything and then we built Kafka, Zookeeper, all the way up to Kubernetes that runs the world today. The only judgment in this picture is human judgment. And we all know how varied we are. And that variance is where every product edge originated. The block here

[03:38] is a high-level representation of the entire software industry and the world economy. Who has the IP? Where is the continuous loop? And how that loop where every brick on the tool chain helps us scale new heights. Whether the software is deterministic or probabilistic, that’s a question. And hold this picture. Let’s watch one card change. Which is, yes, in the age of AI, the engineers today are assisted or

[04:09] driven or sometimes they claim it’s completely autonomous by models that I would call rented. The good thing is that it creates a level playing field with everyone having equal access to the bleeding edge models and harnesses. Teams who cannot afford earlier to the talent pools of Google and Meta who handcrafted this modern software can now afford intelligence through APIs

[04:41] where it claims to have solved the software problem. Let’s see whether it really solved or what’s happening. If you actually pay attention and look under the hood everything around the model, the hardness, the agents, the tools, the MCP are still the same old deterministic software. People who are building this would definitely know that the these are not AI products. These are the same old deterministic software built through

[05:13] maybe the models. And what did not change and stay put is what’s the outcome? At the end of the world day, the world requires software that does the same thing reliably every time. So, the final artifact is a deterministic software that drives the world economy as we know it. If that is the case, then what is the role of AI here?

[05:45] Its role is to one to accelerate the development of deterministic software at the lowest cost possible. And write deterministic software that never existed before because of budget not an interesting problem, hard problems. So, those are the two use cases I see going to play out in the next 5 to 10 years. So, the bottom line is

[06:15] we will be using a probabilistic gear to crank out a reliable deterministic software by augmenting or somebody will go to an extent say replacing human judgment. Is it possible? Where are we today? We will see in this talk. Who knows this person? I’m a big fanboy of him. He’s a

[06:45] superhuman and his friends. Okay, now I see you will connect dots because you know the couple of men’s there and he’s part of the elite sub-10 club. Two of them are relatively well known, but all three are superhumans. Aren’t they? So, in 2015 nine souls

[07:15] competed and the difference between them is only 27 hundredths of a second. And Gatlin lost the gold by 100th of a second. Can you believe it? It’s not comprehensible to human mind. The scientific measurements gave that, okay, that is how Usain Bolt won over Gatlin that night. On another night the order could be completely different. I still run those 100 meters and I take 10 13 seconds, not 10.

[07:46] How about you? That’s the difference between us and these extraordinary athletes competing at the edge of human capability. But as a fan boy, I will argue my favorites like I just did earlier. But I also speak to professionals in this game. And in their opinion, the gap is so tiny that the previous best or who holds the world record does not matter when they get onto the

[08:17] field. On a given day, anybody can beat anyone. I’m going to apply the same yardstick on models to drive a couple of points. Six labs the recent study came out from Stanford a few dozen Elo points here and there. And the leaderboard is changing with every release cadence. And the popular question this week which model are you using and how

[08:47] smarter did you feel by using that model? Isn’t that the great dinner table argument these days? But I can tell you one thing, it is not necessarily a good boardroom argument. Why? Because often the emotional side of us, like the fan boy moment, peaks into meeting rooms. After all, we’re all humans. I’m not saying don’t compare models. All I’m saying is don’t make a small moving frontier gap into your product roadmap as an

[09:19] advantage. Let’s dive a little bit deeper here because there are some numbers to unpack. Anthropic 1503 Mistral 1460 87 points here and there. It does not mean Anthropic is 87 points smarter than Mistral. Actually, the scores, the way we should read them, is relative rating derived from model comparison. It actually tells us how these models rank relative to one

[09:50] another in that evaluation environment. It’s not the absolute intelligence scale. But here is the elephant in the room. In all these conversations across multiple teams, I have seen multiple organizations, while we think we are comparing models, what I’ve observed is many times, they’re not even comparing models. We mistakenly compare the harness or the product for models. The Claude code versus Cursor or Codex

[10:20] isn’t a model comparison. It’s closer to comparing Jamaica versus USA. You’re comparing an athlete and a training system around the athlete. So, the model is the athlete or the engine. It provides the underlying capability. The harness determines how this engine is used. The tools, context, instructions, orchestration, memory, workflows, the MCP tool callings, that’s the harness around it.

[10:51] The product determines why anyone should care because that’s the end product. Today, you and I can rent the engine and very much all the harnesses that come with engine. Some come tightly coupled, some are loosely coupled. So, if everybody has the same source, like we saw in the previous picture, where is the differentiation? The one that used to come, which made these different companies

[11:23] thrive in different areas, the source or the first principles of that is from the diversity and the variance of their engineer minds. Given the model is rented, increasingly, what we are seeing is that once the capability is available to everyone, then what are we staring at? The model and the hardness do not care who is typing and from which part of the world. Or

[11:53] whether you are a E6, E7, or a E1 engineer. Find at the same problem, same tools. It gives the next person what it gave you. And I want to call this answer as a median. And this median keeps changing with every release cadence, as we saw in the diagram there. The previous problems solved get into these LLMs, and then incrementally, that’s what these releases come one after another.

[12:24] Just like software cadence. I’m super simplifying here, but in a nutshell, that’s what keeps the median moving up front, which is a good thing. So, at the same time, it’s also a kind of a trap. Because it is good enough to ship, but it is hard to tell apart that what the next person is going to be shipped. Because the next person or the competitor could have also shipped

[12:55] something similar or exactly the same. This could not have happened before 2023. The median product was expensive. You needed a team, time, stack. Today, that solved problem is free. And the problem that is free is free for everyone. And you go out to the customer like how

[13:25] everybody goes out. And then this problem of so many products which are similar flooding the market then the distribution becomes the moat, not your product. So, what is that moat that you can create in this new environment? I’m going to quickly go through this GitHub’s own number to reiterate the point that this model unharness are producing enormous amount of

[13:56] new software. And to me these are really good software. But the outcomes are similar. This is not crowd of copycats. Definitely not. It’s a crowd of people who have arrived at the same answer because the source or the cookie cutter is the same. And the word that our industry choose for what they built is AI slop. The software AI slop. I want to take that word away from you

[14:28] and give you a new meaning to it. Let me be fair first. If you have been developing for a long time and you stumbled upon this AI assisted development it felt like magic, isn’t it? Because we were taking a black box, pointing something to it. You would have definitely felt at some point in time, “Oh, it did really well.” Two weeks ago I shipped an iOS app. I’ve been a developer, but I’ve never dreamt of developing an app because remember we had lanes, embedded developer, app developer.

[15:00] AI today is making everyone a developer. To me that’s a good thing and I mean it. The word slop is negative. And they use it without any empirical analysis. Here is why I feel that those 100,000 of repos and proliferation of AI assisted development is bringing new people into the field who has never developed. The success metrics for these new products cannot be looked at from the lens of those experts.

[15:30] I would like to define the success of those million AI apps as long as they meet the success of their creators. Because who defines what a successful product looks like? For us, it could be something that brings a revenue. For someone else, it could be something that they can show it next to their colleagues that hey, see I’ve built this wonderful website. That’s a success, too. And I’ve seen millions of people actually done that with lovable and Replit, which is cool. They are not AI snobs.

[16:05] What do you get when you point a good problem at a coding agent? Most times than not, today it’s useful and the finished artifact may be similar because, you know, the same cutter went into the same dough. But most software developed this route is falling into what I call the median. I am not telling you to stop developing or shipping it. It’s perfectly fine for internal consumption.

[16:36] The one caveat here is that stop counting this as a differentiating factor. But this median is lacking one thing. We need to also know the positives as well as the disadvantages. It’s not a new problem. Back in ’90s, everybody was trying to solve the search problem and most of them had the basic crawler and an index. And whoever is going to solve that

[17:07] problem really well or who has that novelty element is going to rise up because that’s a differentiating factor. So, today I say the median of most software that you can think of building is actually free. But, if you want to compete in the open market, you need that element of novelty. So, some credibility before I go further because I’ve spoke almost for a long time.

[17:38] I did not start building when the models got better. I have built more than a dozens of applications in public and contributed to Lama index another repos. The last 3 years have been quite exciting and that brought me to this topic and tiring at the same time. I want to show you this because the project I’m going to show you are not hobbyist first attempts. I tried to solve a real-world problem and I ended up with a median. I never expected that.

[18:10] So, I want to coin few terms here. The build first reflex. When we all got excited with this AI and things, we stopped doing something which is back in the days when building was costly and difficult, I used to search more than I built. Today, it’s flipped. You point a problem at a coding agent is more easier than going and searching and reading through those verbose whatever comes out and making a decision. We don’t want to make decisions anymore.

[18:41] And this is getting the new normal in our craft. So, what do we do? Let’s ask the coding agent to build a rack system. And I call this the build first reflex. Open a problem, open an agent. Yeah, you get the scaffoldings in the first 2 minutes and I’m sure if you’ve been used to this kind of development, you would do a demo in 2 hours, working demo. Where you give it to someone with rough

[19:11] edges, it works. And you could actually launch within 4 weeks. A real good product with support and everything. But only then you find out that, okay, I have built the 400th or 4,000th rag system. I took rag as an example here. So, I pointed the same problem and this is what we got. And I asked, “Hey, why did you build the nth rag system when more mature, feature-rich, open-source systems are available with thousands of stars and maturity?

[19:43] We could have just leveraged it. We should not have built it. 3 years ago, we wouldn’t have built it.” So, it accepted that, “Hey, okay, I’m the culprit here. You said, ‘Can you build?’ I went ahead and built. If you had told me this, then I would have done something different.” The median rag is what actually built, which is a solved problem. But if you’re building it for the first time, it’s going to be exciting for you because you’re going to feel that I gave

[20:13] a PDF, I pointing it to a back-end LLM, and I’m asking the questions. The chunking and all those factors, which I understand or do not understand, it’s going to solve it for me, the vector DB, and I got a solution. Small wins produce a lot of dopamine, and I fall for the same things as you are. And this is the verbose response. I defined that on the previous slide. Now, I’ll stop talking about those trivial

[20:45] problems and show one of my applications. This one project is one of the representatives of the first 2 years, where I developed a lot of apps. Like you all know, my build-first reflex kicks in. I did this a lot of times to coin this term. I built it by sacrificing going out to play. I skipped many socials and movie nights.

[21:17] And I was building like crazy. It was like playing a game of chess where you are addicted to it. And I had every AI platform you could imagine. Max plan. Sometimes free. After all that effort, I finally soft launched. I’m a bit of a perfectionist. So, until then I was bombastic because I could see my idea become something which is real in no

[21:47] time. Where as a product manager, it would have taken me a big team, architects. I was able to do it all alone. I was bombastic until I found out that I haven’t calibrated to reality yet. The truth is my circle told me that they have seen similar calculators elsewhere. And before anyone thinks

[22:17] I stole from them or they from me, the surprising thing is that nobody copied from anybody. It’s the same thing. It’s a copycat work. When I analyzed some of those open and closed calculators, I found it same sometimes. Not even similar. And how could people across could arrive at similar solution? Even if you look at the LLM routing, everywhere is converging. Like those

[22:48] models there, even solutions are converging. And competing for a tiny space. And it’s like having same developers in your team and your competitors also have the same developers. So, you can build intuition only through building and I’m sure you’re able to those builders would agree with me. We now have something to recalibrate and find a successful path.

[23:20] So, after 2 years where I spent almost all time I was tired cuz I spent multiple Any exciting idea I had, I went ahead and built with a build first reflex. And almost every time I ended up with a crowded lane where there are already two or three people or I would be the first and I would take a month off and come back there would be 60 similar products. And whoever has a better distribution is obviously going to uh win that battle.

[23:51] So, I would like to coin another new term. Okay, the build first then what? In the AI software development life cycle, a novelty budget. So, if you can get at least one unit of true novelty like how that page rank was for Google, you can cross this median at least for a good amount of time. You pick a problem and you want to be the best solution for the problem in the world, then you have a good chance of beating

[24:21] the crowd. For the first 2 years I spent, you know, my days and nights on architecture, agent design, prompt chains, skills, and somebody would share, “Hey, this is my Claude new workflow. That’s my Claude new workflow.” I did all those things. And most of the times than not, trust me, you would end up with similar outputs if not same. So, I had to rework my calculator that I showed you and this time I spent almost all of the time

[24:52] on how to differentiate and almost none on flaunting my Claude code or code skills which I used to do earlier. Because that felt like magic. The median from model isn’t opinionated. It is converged best practices. So I picked a lane and I treated it like a budget. After 2 years of burning several million tokens on many max plans, I feel everything else is free now. And the highest return of investment is

[25:24] a novelty budget. So before the bill starts, name the one thing that is novel. If you don’t have one, then you can take the median because there are a lot of people who have built the solution for the problem that you have and I’m sure of it. You tell me a problem for which there are no solutions. I’ll go and find it for you. And then put this novelty plan as part of your road map and your project planning. I do this now.

[25:55] And review it the way you actually review spending like a project. Honestly, if you cannot name the novelty in your project, then you should concede that it’s a learning exercise. That’s fine. Uh the failures, the learnings, and the mechanics to beat medians for 2 years, I came up with this four rules.

[26:26] And these are not side project rules. I want you to run them as your road map for the next quarter speeches. Because your products will definitely have a twin and sometimes it might be open source. Why take all the effort in building it? Leverage it, fork it. So one of the things is be highly opinionated. The AI assistants most of the times are going to give you a probable answers. Be it anything.

[26:56] And those things are going to be same for almost everybody. It might be similar, but that’s in the spectrum of already solved. In the world of medians, an opinion is the cheapest novelty you could own. And go for it because the model cannot supply. Two. The prompt to production is a median path. And there’s absolutely nothing wrong with it. If you feel that it’s an internal

[27:26] consumption you want to build and your team has to use it, go for it. I’m all for it. And then the third. This is the most fascinating things. When AI says done, then it means that to me, okay, AI has given its median product. I have to start working from here. That’s the signal from any of your coding agents because your work begins there. And remember this.

[27:57] These coding agents so far has given the last great design for free. It’s not going to invent the next Kubernetes or Zookeeper or Kafka or whatever those building blocks are. It’s going to do a scaffolding and it does a really good job in multiple places, but it’s it’s it’s going to be the last great design for free. And what’s your job? If you want to thrive, you need to find the next one.

[28:29] And here are some methods I found useful. I’ve shared this method with multiple leaders across organizations and I’ve got good feedback on them. If you are leading and don’t build now with this AI, this is exactly for you. You’ll be seeing a bunch of demos. I’m sure you’re bombarded with them every week. And it looks like a big deal because I’ve seen the instincts of leadership were not calibrated because

[29:01] back when they were building their intuition the deliverable that they are seeing took them a quarter or more time and a team. Today a new engineer shows up and claims to have built the same that would have taken a team and a quarter uh to build it. So, it’s one of the hardest time to be on deciding where to put your eggs on. Especially when you’re not immersed in

[29:31] this tech. Because nobody can recalibrate by reading or watching YouTube or LinkedIn posts. You recalibrate by building. You build intuition by building. So, the playbook is simple. Three questions. It’s not going to solve your problems, but these are good handy questions to ask. One. Who has already done this? This question forces the search because the world of exciting AI, we need to tame the build first reflex powered by

[30:02] AI. Two. What do we have that the next team or our competitors or another person in the team don’t have? This forces novelty as a first-class citizen into the minds of the team members. Because a better prompt, somebody would say, it’s just going to throw you a median problem median solution. And third,

[30:32] where will this application live? In the age of exciting AI, forcing outcome-based thinking when everyone is high on building, it’s a way to show them the demo is the expensive way to find out if you have no distribution mode. And I applied all this rigorously in the last 1 year. And you may be asking, what happened to the one project that I was talking to you?

[31:03] >> [snorts] >> I asked these questions. Okay, if I have to be providing that value, which is above median, then what stands between an open model and a token generating system? And what cost does an enterprise have to pay for it? Because open weights are at rage, but open weights are not open inferences. And I found that the hard way because

[31:34] there are 10 layers that sit between an open weight and a system that generates these tokens. We take the labs for granted for providing us there is ML ops, there is SRE on a different scale altogether that the world has not seen. So, precision KV cache, uh batching, execution parallelism, and there are different slice and dices of them. So, some of them you have to hire experts.

[32:04] And I don’t know where these experts come from because this is not a tech or a skill that the industry already has. And some of them, layer nine, is utilization. It is structural. You cannot buy it. So, unless like I said, you take one problem and want it to be the best at solving that particular problem, you’re not going to cross the median just by using these AI tools.

[32:36] And I searched and I found that none of the 244 calculator that I was showing you earlier did this. And I changed the entire application into kind of what the identical weights cost to run inside your enterprise versus running it in the Neo cloud and taking tokens. That is what this calculator gives you. Because

[33:07] if you have open models and want to go and build it, then what’s the difference? And received great feedback from a lot of enterprises who want to actually go that path because when people say open models, they’re excited. For what? Organizations considering deploying open weight models, the weights are free. But you may want to check. That’s the QR code.

[33:37] So, scan it, put it into your workload, and see which way it goes for you. It’s open source and free. So, here is where it all lands and ends. With the power of the LLMs on the harness, the last 3 years building has got exponentially easier. But the changes and the dynamics of software development

[34:11] still hasn’t changed at the end. The prompt-based median products are useful. I ship them, too. They’re not slops. But they have little durability when they go to open competition. And they may survive if you have a huge distribution mode. So, the one attitude if you want to try thrive in this field is again I’m I may be repeating this, but take that one problem and pursue it with the intent of being the best at it

[34:43] in the entire world. Yeah, we may not be able to crack it, but that intent will definitely put you above median. The only question left is can your AI-assisted products thrive? I spent 2 years on the median, but that was education. It was worth every token I burnt it. I asked two questions at the start. What happens to the software? To me, the software that is running this

[35:14] 100 trillion-dollar economy, nothing happens to it. The world still runs on deterministic software, at least for the foreseeable future, and it might always be. The age of AI means that we can write it more faster, but it is not going to take out the deterministic software. So, I would like to wrap up by saying that spend everything you have

[35:46] on one thing, which is the novelty. Squeeze every vein, every ounce of your brain on novelty, because novelty is scarce, and the median is free. It’s up to you to choose. Thank you.