Por que desenvolvedores estão obcecados por LLMs econômicos (Jev, Luna e mais) | Merge Conflict ep. 534

Ver no idioma original →

Autoria: Merge Conflict Podcast · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Why Developers Are Obsessed with Budget LLMs (Jev, Luna, & more) | Merge Conflict ep. 534 · Canal: Merge Conflict Podcast · 39:58 · Assistir no YouTube

Tópicos: Agentes de IA, Engenharia de software com IA, Geração de conteúdo com IA, Inferência e otimização de modelos, Modelos de IA

Resumo

James e Frank conversam sobre os novos modelos Luna, Soul e Opus 5.5, com foco em custo, desempenho e escolha do modelo adequado para cada tarefa. James conta como criou um jogo usando apenas o celular e ferramentas na nuvem, além de discutir como refinar interfaces geradas por modelos em várias iterações. A conversa distingue UX — fluxo e organização da informação — de estilo visual. O tema principal é Jev, um LLM especializado em classificação que escolhe entre respostas predefinidas, oferecendo uma alternativa rápida e econômica para tarefas de decisão.

Pontos-chave

• James criou o jogo Wheel of Wisdom e comprou o domínio usando apenas o celular, o GitHub mobile e agentes na nuvem.
• Luna Max é apresentado como uma opção econômica para tarefas de programação, embora níveis de raciocínio mais altos consumam mais tokens.
• Os modelos podem produzir um primeiro rascunho imperfeito de uma interface; o caminho recomendado é refiná-lo iterativamente.
• UX envolve fluxo, organização da informação e interação; não deve ser confundida com o estilo visual e o CSS.
• Avaliações de modelos são mais úteis quando mostram tanto a taxa de sucesso quanto o custo, levando em conta se a escala de preços é linear ou logarítmica.
• Modelos menores podem ser preferíveis para tarefas simples ou para conversas e explicações, enquanto modelos mais caros podem ser reservados para tarefas complexas.
• Hydra Fusion pode encaminhar tarefas entre modelos, combinando suas capacidades em um workflow.
• Jev é um modelo de classificação: recebe texto e escolhe uma opção de um conjunto definido, com uma pontuação de confiança.
• Jev pode classificar conteúdo, revisar saídas de outros LLMs ou selecionar qual modelo deve responder a uma solicitação.
• A arquitetura Transformer tem usos além de gerar texto, e modelos especializados em classificação podem reduzir custos e latência.

Capítulos

Início	Capítulo	Resumo
00:00	Abertura e viagem pela Europa	James e Frank começam o episódio conversando sobre as viagens recentes de James e sua passagem por Viena.
02:09	Um jogo criado pelo celular	James conta como criou Wheel of Wisdom, configurou o domínio e trabalhou usando o celular e ferramentas na nuvem.
05:15	Novos modelos e preços	Os apresentadores discutem os lançamentos de Luna e Soul, as mudanças de preço e a rapidez com que os modelos são substituídos.
09:05	Luna na programação e refinamento de interfaces	James descreve uma demonstração feita com Luna, enquanto Frank fala sobre iterar para melhorar interfaces geradas por modelos.
13:24	UX, estilo visual e escolha de modelos	A conversa separa fluxo e organização da informação do estilo visual e compara modelos para diferentes tarefas.
17:13	Custo, benchmarks e desempenho	Os apresentadores analisam o custo dos modelos, o tamanho da context window e a importância de comparar preço e taxa de sucesso.
23:13	Conversas, roteamento e introdução a Jev	Frank comenta a capacidade de explicação dos modelos e Hydra Fusion antes de introduzir Jev, um LLM de classificação.
26:26	Como funciona a classificação com Jev	Frank explica como Jev escolhe entre opções definidas, fornece confiança e pode responder a várias perguntas com baixo custo.
31:17	Usos híbridos e especialização	Os apresentadores exploram combinações de modelos generativos com Jev para avaliar, selecionar e classificar resultados.
33:25	Transformers além da geração de texto	Frank contextualiza Jev como um uso especializado da arquitetura Transformer e discute a eficiência dos modelos classificadores.
35:07	Testes e aplicações práticas de Jev	Frank relata alguns testes e conversa sobre classificação de conteúdo, recomendações e seleção de modelos.
38:21	Encerramento e possíveis aplicações	Os apresentadores avaliam o interesse em Jev e destacam o possível uso de classificadores para encaminhar solicitações ao modelo adequado.

Citações

Fiz tudo 100% pelo aplicativo móvel do GitHub. — 04:12

Esses modelos nunca vão criar a interface perfeita para você. — 12:23

O que nos importa é o dinheiro. — 21:05

É uma espécie de ‘gosta ou não gosta’ para prompts. — 25:54

É um uso mais eficiente desses modelos, e a saída do schema está garantida. — 33:25

Conceitos e entidades

• Luna (modelo): Família de modelos discutida como uma opção econômica para programação e outras tarefas.
• Luna Max (modelo): Versão de Luna destacada por seu desempenho em tarefas de programação e custo relativamente baixo.
• Soul (modelo): Modelo comparado a Luna e Opus em preço, desempenho e capacidade de conversar e explicar.
• Claude Opus 5.5 (modelo): Modelo da Anthropic mencionado como uma versão nova e mais barata que seu antecessor.
• Jev (modelo): LLM especializado em classificação que seleciona uma resposta entre opções definidas e pode retornar uma pontuação de confiança.
• HydraFusion (ferramenta): Recurso de roteamento entre modelos usado para distribuir tarefas durante o desenvolvimento.
• Impeccable (ferramenta): Pacote e conjunto de skills voltados a diretrizes e práticas de design para desenvolvimento web.
• uiMD (conceito): Abordagem mencionada por Frank para trabalhar aspectos de UX separadamente do estilo visual.
• Wheel of Wisdom (ferramenta): Jogo de perguntas inspirado em Wheel of Fortune que James criou como progressive web app.
• James Montemagno (pessoa): Apresentador do Merge Conflict que relata ter criado o Wheel of Wisdom usando o celular.
• Frank Krueger (pessoa): Apresentador do Merge Conflict que explica o funcionamento e os possíveis usos de Jev.
• Merge Conflict Podcast (empresa): Podcast semanal sobre desenvolvimento de software e novos LLMs apresentado por James e Frank.

Tradução completa (pt-BR)

00:00 Boas-vindas de volta ao Merge Conflict, seu podcast semanal para desenvolvedores sobre tudo o que acontece no mundo do desenvolvimento de software e dos novos LLMs — ou não LLMs, quem sabe? Novos modelos, coisas novas. Sou um dos seus apresentadores, ao vivo de Viena, na Áustria, James Montemagno, e comigo, como sempre, o homem numa ilha, Frank Cerr. Como vão as coisas, amigo? >> Vão bem. Mas onde no mundo está James Montemagno desta vez? Porque este não é o cenário de sempre. Você está me mostrando algo diferente. Gostei, porém. Parece quase… Você está num cubículo? Está num escritório cheio de cubículos? Realmente parece que estou num cubículo. Então, sim, estive no NDC Oslo. Gravei o

00:35 último de Oslo, se não me engano — acho que sim, certo? >> Ou de Londres. Não sei, onde quer que eu estivesse. >> Estive em Londres, depois em Oslo, depois na Alemanha. Agora estou na Áustria. Hoje fomos a Budapeste e depois voltaremos a Londres. Aí estarei em casa, no Oregon, até domingo à meia-noite, e na segunda, pronto para trabalhar às 7 da manhã. Muito empolgante. [risos] Então… >> Bom, fico feliz que você possa ser nosso correspondente estrangeiro mais uma vez. Mal posso esperar para saber o que está acontecendo em Viena.

01:05 Tenho certeza de que, pelo que sei, agora isto é só um podcast de viagem. >> Sabe, Viena é muito bonita. Estávamos falando sobre isso: muito, muito bonita. Budapeste também é muito bonita. Estivemos em Innsbruck, depois em Leogang e em Salzburgo. Tudo muito, muito bonito. Em Viena, mesmo já tendo estado aqui uma vez, estávamos andando por aí e pensando: “Nossa, que lugar bonito”. Sim, tudo é tão majestoso, grandioso e simplesmente lindo, e… >> Tem a imponência de um império. [risos] Sim. >> É uma loucura. Se você nunca esteve em Viena, recomendo muito. É muito, muito

01:37 bonita. E, sim, estou animado por estar na estrada. Tiramos esta semana de folga entre o NDC Oslo e o Heather, um evento aqui em Viena. Por isso estamos aqui agora. Mas, nesse meio-tempo, fizemos várias coisas de sauna. E, em cinco dias, pegamos cinco teleféricos aéreos para subir montanhas. Cinco deles. >> Fino. >> Fino. [risos] Sim. >> Esse é seu assunto favorito. Mal posso esperar para ver o que a IA vai gerar sobre esses desta vez. [risos] >> Foi bom. Vou contar uma coisa. Certo. Antes de falarmos sobre alguns modelos novos, tem algumas coisas que…

02:09 >> Certo. >> Acho que queria comentar, porque nos divertimos um pouco nesta viagem. Dirigimos bastante. Pegamos alguns trens. Pegamos vários ônibus, e uma coisa que esquecemos de levar foi… A Katherine tem um e-book, sabe? E eu também tenho meu Switch, mas meio que esquecemos de levar algo que pudéssemos fazer juntos. Vimos algumas pessoas jogando cartas e coisas assim. >> E uma coisa de que Heather e eu gostamos é Family Feud; também gostamos de Wheel of Fortune. Heather é muito boa

02:40 nisso. Então, criei um jogo de Wheel of Fortune para dois ou três jogadores. E se chama Wheel of Wisdom. Não quero que… >> Está em wheelofwisdom… >> Trivia alucinada. Desculpa. Pode repetir o endereço, por favor? >> wheelofwisdom.app. >> Uau. >> É um app web progressivo completo. Dá para baixar e usar offline. Funciona. Tem 600 enigmas. Guarda seu histórico e suas partidas. Tem várias categorias diferentes. Tem viagens

03:12 e mistérios, entre outras coisas. E vou… Estou me preparando agora para começar uma nova versão completa também para um app de iOS. Vai ser um app híbrido com .NET MAUI. Então vou reutilizar isso. >> Ah, legal. >> HTML e JavaScript. Ficou muito bom. Criei esse negócio com a Baby Luna, sobre a qual vamos falar um pouco esta semana, além de vários outros modelos. Usei diferentes modelos dependendo da tarefa, mas é bem simples. É só HTML e JavaScript. Nada sofisticado,

03:42 mas é que criei tudo pelo celular, Frank. Era isso que eu queria comentar. Eu nem… Estou com meu computador, mas estou aqui no lindo Moxy Hotel. Se você nunca ficou num Moxy, é um lugar bem descolado e você sabe exatamente o que vai encontrar: um quarto pequeno por um preço não muito alto. >> E tem Moxy por toda parte. Para a localização de que precisávamos, deu certo. Mas, como estávamos indo de ônibus e de um lado para outro, eu estava sem o laptop e programei tudo, 100%, pelo app móvel do GitHub. >> Bem legal.

04:12 >> Até comprei o nome de domínio e configurei o DNS, tudo 100% pelo celular, usando só a nuvem — basicamente, agents —, o que é absolutamente absurdo. E temos jogado em todas as ocasiões. Só queria mencionar isso. >> Fantástico. Sinceramente, acho que você só está alimentando seu vício em registrar domínios. Está procurando desculpas para comprar domínios novos, mas isso é bem legal. Ainda não dei esse passo de fazer tudo pelo celular. Então, mais uma vez, você está na minha frente. Vou tentar.

04:45 Vou criar algum jogo de trivia simples como um app web no celular. [risos] E este é um jogo de trivia divertido, porque já tem cifrões no topo. Então consigo imaginar vocês dois trocando dinheiro. Espero que o jogo tenha regras de apostas e de bebida. >> Ah, sim. >> Mas é bem divertido. Estou animado para ouvir sobre suas experiências com a Baby Luna, porque não sei se você tem acompanhado as notícias aí na Europa, mas aqui nos EUA…

05:15 não estamos mais criando modelos. Estamos desacelerando. Estamos freando o progresso. Não, não haverá mais lançamentos de modelos. E, quando dizemos que não haverá mais lançamentos, queremos dizer que os dois principais provedores de modelos vão lançar uma série inteira de modelos novos [risos] nesta última semana. Não sei se você ficou sabendo, mas estamos desacelerando e acelerando ao mesmo tempo por aqui. Como vão as coisas na Europa? >> Bom, o interessante sobre a Europa é que, na verdade, há mais IA por toda parte do que você imaginaria. Tem algumas

05:47 cidades pequenas na costa do Oregon aonde vamos, e lá usamos o Facebook — é a única ocasião em que usamos o Facebook, porque geralmente cada comunidade tem um feed no Facebook — e quase todos os anúncios dos restaurantes são totalmente gerados por IA. Aqui, o que é realmente fascinante é que estão usando bastante vídeo com IA, tipo… >> Assustador. Certo. >> Anúncios, e todos dizem “IA” no canto inferior direito. Há muitos deles, bastante até em estações de trem e coisas assim, algo que não tenho visto muito nos Estados Unidos. Talvez em São Francisco ou algo assim. >> Mais… Não tenho visto muito em

06:20 Seattle, mas parece haver mais disso por aqui. E com certeza tenho visto mais, embora eu não esteja vendo anúncios grandes, obviamente, nem mesmo aqui em Viena, de Claude, OpenAI, ChatGPT e tudo isso. Então não sei bem como isso está indo. Mas vou dizer que, mesmo estando aqui na Europa, meu feed do Twitter ainda está cheio de todo tipo de coisa. E, curiosamente, Frank, tanto Burke quanto eu temos publicado bastante sobre Luna, e eu tuitei um dia — um dia antes de sair o Luna do GPT-6. Eu disse: “Luna Max”.

06:55 >> É. >> E juro, juro por Deus, eu não fazia ideia de que esse modelo estava para sair, de jeito nenhum. Mas GPT-6 Luna e GPT-6 Soul. Não tem mais Terra. A Terara aparentemente acabou. Acho que… >> Quem precisa da Terra? A Terra é superestimada. >> Descanse em paz. [risos] Foi o que eu ouvi. >> Os dois chegaram custando mais ou menos metade do preço. >> É, é muito estranho, porque as duas empresas estão jogando esse jogo de mudar drasticamente a quantidade de tokens e alterar os preços.

07:28 Então, é… Eu entendo isso como o pessoal do financeiro fazendo uns ajustes para que as pessoas consigam fazer mais ou menos a mesma quantidade de trabalho pelo mesmo preço, mais ou menos. Tecnicamente, eles baixaram os preços, mas, se você considerar quantos tokens alguns desses modelos consomem — especialmente nos Macs —, isso acaba sendo compensado pelos novos treinamentos. Está meio confuso. Sinceramente, está muito difícil acompanhar essas coisas agora. Fico surpreso que a gente ainda esteja tentando acompanhar. Ainda bem que tenho você. Você me mantém por dentro. Mas também,

07:59 percebi que, com o GPT, eles dizem claramente que, em meados de outubro, vão descartar os modelos antigos. Então, atualize ou caia fora, sabe? Você tem que acompanhar a gente. Eu costumava argumentar: “Ah, deveríamos continuar usando os modelos antigos por bastante tempo. Você aprende a conhecê-los, conhece os prós e os contras deles.” Mas não, esse não é o mundo em que vivemos. Estamos num mundo acelerado, em que esses modelos mudam a cada um ou dois meses.

08:30 É. E você… Acho que foi no nosso podcast, mas a Luna realmente pegou, e por um bom motivo. É barata. [risos] A Luna Max, em especial, está se saindo tão bem quanto… Esqueci os números exatos, mas o GPT-5.6, o GPT-6 Soul, no nível de raciocínio médio-baixo. A Luna Max está arrasando. Você é um grande criador de tendências, James. A Luna está por aí. Eu não tenho usado muito. Sou um idiota. Fiquei usando a Terra. Que tonto eu sou. Mas…

09:05 parece que o resto do mundo percebeu o seu joguinho. Luna barata para todo mundo. >> Luna barata. E, sabe, há concessões, né? Quando você ativa um nível de raciocínio mais alto ou o máximo, apesar de ser incrivelmente rápido, ele vai ficar muito mais tagarela. Vai consumir mais tokens. Dito isso, fiz uma demonstração na NDC London em que criei um projeto interativo. Já fiz isso várias vezes. Fiz isso no Copilot Day, mas criei e fiz o deploy, em tempo real, de um…

09:38 roteiro interativo de um dia em Oslo, que incluía vários cafés, pontos turísticos e saunas. Aí você podia planejar o dia. Ele criava um mapa completo e ficou absolutamente… usou o Impeccable. Usou um site lindo. Configurei a Luna. Na época, era a Luna Max 5.6. E aí pedi para publicar o repo no GitHub, configurar o GitHub Pages, verificar tudo, clicar por aí, fazer o que fosse preciso. Ele fez tudo. Criou o projeto inteiro em cerca de seis minutos.

10:12 Isso inclui o pipeline de CI/CD. Seis ou sete minutos. >> 18 centavos. >> É. [risos] >> E ficou… >> lindo. Na verdade, deixa eu ver se consigo encontrar para você, porque acho que… Se você for ao meu GitHub — vou colocar o link aqui para você — e procurar por “Pi Oslo”, aposto que vai aparecer. Não sei como se chama. Deixa eu ver que nome dei. Chama-se… A gente pode ver o que a Baby Luna está gerando de CSS. Eu tenho opiniões sobre CSS porque andei brigando com um pouco de desenvolvimento web com ela, e…

10:46 ela adora alternar entre sistemas de coordenadas. Às vezes usa M’s, às vezes M’s relativos, às vezes px. Parece que esses modelos… >> adoram CSS. Adoram gerar CSS e adoram ser inconsistentes com CSS. Então estou animado para ver o CSS da pequena Baby Luna. >> E, sinceramente, este aqui é só HTML, JavaScript e CSS. É simplesmente: pronto. Já fiz essa demonstração várias vezes e, às vezes, ele escolhe um framework. Algumas vezes… E esta foi no…

11:16 piloto automático. Não fez perguntas, não fez nada. >> E, obviamente, dei pouquíssimas instruções, mas o objetivo era: pronto, está aqui. Sabe, não é perfeito. Tem um pouco de texto sobreposto aqui e ali. Mas tem uma grade, tem um sistema de coordenadas, tem todos os lugares diferentes. Você desce a página e encontra várias fotos bonitas. Sabe, está bem bom. Dá para copiar o link. Dá para filtrar. Quer dizer, para uma tentativa única, nada mal. É um app bem bonito. >> Bem, sabe, ele até se saiu muito bem no celular. Tem…

11:50 como você disse, alguns defeitos no celular, mas o que aprendi de verdade — e tive que mudar completamente minha atitude nesta última semana — é que eu ficava frustrado quando os modelos criavam uma interface ruim e uma experiência de uso ruim, como sempre fico. Esse é meu tema recorrente neste programa. Mas tive uma epifania recentemente. Pensei: esses modelos nunca vão criar a interface perfeita para você, porque eu tenho minhas opiniões e tudo mais. Então, só preciso aceitar que eles vão fazer um primeiro rascunho, e depois vamos refiná-lo, e depois vamos refiná-lo e…

12:23 vamos refiná-lo e refiná-lo. Eu costumava ficar irritado e pensar: “Seu grande idiota. Por que deixou esse texto em negrito? Esse texto obviamente é secundário. Não importa. Esconda isso. Deixe essa outra coisa em negrito. Você esqueceu completamente de fazer aquilo que eu pedi.” Eu ficava frustrado, até que tive um momento em que pensei: “O que está acontecendo, Frank? Você está ficando frustrado com um monte de multiplicações de matrizes. Não ajuda em nada ficar emocionalmente envolvido com esse modelo enquanto ele produz código ruim.” Então, tive que…

12:54 fazer uma mudança mental forçada nesta semana: ele vai fazer um trabalho ruim na primeira vez, e eu vou apontar todos os erros com alegria, [risos] de preferência usando ditado, para não precisar digitar. Estou curioso para saber como você estava interagindo com o celular: estava usando ditado ou não? E aí, sabe, se forem necessárias 10 iterações, serão 10 iterações. É assim que vai ser. >> Então, fazer tudo em uma única tentativa é legal. Com certeza rende bons tuítes, fazer tudo em uma única tentativa e…

13:24 tudo mais, mas passei a aceitar que usar um modelo um pouco mais simples está bem, porque não estamos fazendo ciência de foguetes aqui. Muitas vezes, são só coisas humanas que quero mudar nesses modelos. É por isso que tenho me interessado pelos modelos menores, como as Lunas e as Terras, embora a Terra não esteja mais na moda. Mas entendo perfeitamente o que você quer dizer sobre usar esses modelos menores: se vou iterar, é melhor ter iterações rápidas e não gastar uma fortuna. >> É, é difícil. A OpenAI estava fazendo tantas promoções com o Soul que…

13:56 em certo momento o Soul ficou mais barato que a Terra, o que é meio louco. E sou um grande fã da Terara. Foi um dos meus modelos… basicamente, foi meu modelo padrão por muito tempo, até eu começar a experimentar de verdade a Luna Extra High e a Max. Mas concordo com você sobre a interface. O que mais tenho feito é tirar capturas de tela, especialmente nos meus apps para celular, e depois fazer anotações nelas, dizendo: “Isto, isto, isto e isto, aqui…” >> E isso ajuda muito. Outra coisa que me interessa bastante é que uso o Impeccable na web. Ele vem meio integrado ao app C-Pilot.

14:29 É, mas você pode simplesmente instalar. Era só um pacote npm, o Impeccable, e ele tem várias diretrizes de design e coisas do tipo. Mas também ajuda você a colocar boas práticas de design numa espécie de pasta do Impeccable. E, com as skills do Impeccable, é como se houvesse um monte de skills do tipo: “Estou fazendo design, deixa eu conferir e gerar”. Ele meio que se mantém atualizado, mais ou menos como aquela coisa de que você estava falando. Acho que você tinha os estilos. >> UIMD, é. UI MD, é. >> É diferente, e quero deixar claro: não gosto que estilo e design sejam misturados com experiência do usuário.

15:04 >> Isso é um bom ponto. >> Sabe, fluxo de dados, fluxo de informações, quais entradas vão para onde, tudo isso. Isso é experiência do usuário. Isso é UX. É sobre como o aplicativo é percebido. A Apple costumava chamar isso de diretrizes de interface humana. Depois virou UI, mas agora não dizemos mais UI. Dizemos UX para separar isso de “não me importa a cor”. Sinceramente, não me importa. Talvez, quando estiver entediado, eu trabalhe no design e no estilo. É por isso que não me importo muito com o Impeccable: para mim, a estilização com CSS é totalmente secundária. Eu gostaria de conseguir convencer esses modelos de que

15:37 eles se recusam a fazer isso. Eu diria: “Não gere nenhum CSS. Você não tem permissão para fazer CSS. Nada de estilização. Vamos trabalhar primeiro só no fluxo de informações e em tudo isso; depois cuidamos da estilização.” Só queria deixar isso claro, porque você está misturando as duas coisas e isso é uma pequena implicância minha. Sou péssimo em UX. >> Você está certo, Frank Krueger. Isso é seu forte. Sabe, já falamos disso muitas vezes neste podcast. Obrigado por me chamar a atenção e me corrigir. Vamos colocar este merge conflict de volta no estado de commit correto. Eu estava justamente tendo essa conversa com

16:10 a Heather sobre IA e design. E aí eu disse: “Sabe, o que sempre converso com o Frank é sobre a experiência real do usuário, ou o gosto.” Existe gosto de design, mas também existe gosto pelo fluxo na experiência do usuário, na forma como as pessoas interagem. Ele aparece de repente? Faz isso? Vem de baixo? Qual é a interação de deslizar? O que acontece ao apertar o botão? Onde fica posicionado? Como é que a gente se movimenta pelo aplicativo? Isso é muito importante, para ser sincero, até mais importante. E uma IA consegue ver uma

16:41 coisa e também consegue, obviamente, apertar botões, mas não vai ter essa percepção de “esse movimento é satisfatório?”. Tocando no microfone. [risos] É. E acho que o que elas costumam errar é o fluxo de informações e coisas do tipo. Sinceramente, todos esses modelos já são bons o bastante em design. Eles adoram aqueles gradientes de roxo para azul, como eu costumo dizer. São muito bons em gerar todos esses gradientes e coisas assim. E tudo bem. Deixo que brinquem com isso o dia inteiro.

17:13 O que percebo é que eles são simplesmente ruins no fluxo de informações, em priorizar itens e em tudo isso. Mas, como eu disse, aprendi a não ficar mais frustrado com eles. Só me recosto e encaro isso como algo iterativo. Vamos trabalhar no fluxo de informações, uma parte de cada vez. >> É. Bem, esses modelos novos foram lançados. Obviamente, tem o Luna, o Luna 5 e também o Soul 5. Eles custam metade do preço dos anteriores. E também vou destacar que, antes, o padrão do Luna era 200

17:48 K no context window. Agora são 272. Aumentou. Então, está no mesmo nível dos outros. >> É. >> Mas também, como você disse, temos outro modelo. Temos mais modelos, mas também recebemos outro dos nossos amigos da Anthropic. >> Claude 5.5. Não sei de onde isso veio. O Claude Opus 5.5 é… >> É quase um feliz aniversário. Você se lembra do Opus 4.5? Acho que foi quando todos nós perdemos o emprego, porque aquele foi o primeiro modelo que fez um trabalho bom o bastante. Foi uma grande transformação no ano passado,

18:21 acho, pelo menos para mim. Foi tipo: “Ah, aqui está um código na minha frente. Não estou a fim de digitar; por favor, modifique o código para fazer isto”, até: “Aqui está um aplicativo que eu quero. Simplesmente escreva esse aplicativo idiota para mim”. >> E essa foi a grande epifania com o Opus 4.5. Então acho que a versão 5 foi um pouco de marketing e promoção. E agora, estou pensando neste modelo 5.5 como o modelo de aniversário. Tivemos que mostrar que realmente melhoramos em relação ao Opus 4.5, porque, como todos sabemos, o Opus 5 é lixo. [risos] É só

18:56 jogar isso fora. Apaguem. Não precisamos dessa coisa. Então, espero que o 5.5 seja o canto do cisne deles. Não, essa analogia está errada. A carta de desculpas deles para todos nós por causa do Opus ruim, já que todos temos usado o Fable. O Fable tem sido ótimo, mas o Opus 5 tem sido uma porcaria. Então estou animado para experimentar, talvez, o Opus 5.5 agora. >> Com certeza não tive essa experiência com o Opus 5. Acho que, quando trabalho com UI, ele ainda faz um trabalho bem bom em várias coisas. Dito isso, ainda é muito caro,

19:30 não é? Definitivamente é o mais… Quer dizer, este é o Opus mais barato até agora. E, obviamente, é 25% mais barato que o outro, que custa metade do Fable, mas ainda é um modelo muito caro, no fim das contas. Especialmente se você pensar, por exemplo, no Luna ou no Soul. O Soul vai custar… deixa eu ver aqui o Soul 5. É mais barato, né, que… ou acho que talvez custe o mesmo. É bem… Não, é mais barato. Julgue, porque isso

20:01 depende muito de quantos tokens eles usam e de como… >> É. >> Nossos modelos de preços são absolutamente ridículos neste momento. >> Se você usar o context window padrão do Soul 6, custa metade do preço do 5. >> E isso sem contar o cache, outras coisas desse tipo. Mas sim, tem um monte de coisas aí. Dito isso, você também precisa lembrar que o Fable ainda é um modelo que não tem isso. Quer dizer, acho que agora tem, com o 5.1. Ele não tem a política de retenção zero de dados

20:32 que também é interessante. Acho que agora tem isso no 5.1, >> mas acho que você tem razão. Quando lançam o 5, estão tentando fazer uma declaração, certo? Tipo: “Ok, tivemos o 5, o 4, o 5.1 ou seja lá o que for. Esse é o modelo que estamos fazendo”, o que é importante. >> Mas a questão é: com que frequência você precisa desses modelos superpotentes e pesadões? Essa é a verdadeira pergunta, no fim das contas, especialmente se você for usar um nível de raciocínio mais alto. Quer dizer, esses tokens devem custar uma fortuna. É, e gosto que tenhamos chegado a um ponto em que os benchmarks e os gráficos de desempenho que as pessoas publicam passaram a ter dólares no eixo x, o que eu valorizo muito, porque antes eram outras coisas arbitrárias, como tokens ou tempo. No fim, isso não importa muito. O que nos interessa é dinheiro. Quanto custa esse teste? E gosto que os benchmarks estejam avaliando a si mesmos: qual foi nossa taxa de sucesso e quanto custou? Qual foi nossa taxa de sucesso e quanto custou? Acho que levamos um ano, mas finalmente chegamos à conclusão de que esse é o gráfico que interessa a todo mundo. Porque, quando você faz esse gráfico, é aí que vê o seu

21:05 …

21:38 a querida Baby Luna, bem à esquerda, longe de todas as outras, sendo super barata, mas ainda chegando até mais ou menos a metade da altura desse gráfico. E, se você quiser obter a outra distância vertical, precisa ir para a extrema direita do gráfico [risos], onde tudo fica muito caro. Então, na verdade, há uma espécie de zona vazia estranha ali mais ou menos no meio. E, por favor, todo mundo prestem atenção se o eixo x é logarítmico ou linear. >> Muita gente trapaceia, e dá para ficar bem confuso sobre quanto algo custa, porque muitas vezes eles

22:11 mostram um gráfico logarítmico, e isso faz os modelos muito caros parecerem só um pouquinho mais caros que a Luna, quando, na verdade, são 10, 20 vezes mais caros e coisas assim. Mas gosto de ver que chegamos a esse ponto como setor. Tipo, aqui, aqui está quanto vai custar para você chegar a 50% nesse benchmark. >> Sim. Não, faz sentido. Ainda acho que, sabe, é preciso escolher o modelo certo para o trabalho. Sabe, ainda uso bastante o MI Code 1.1 Flash no nível mais alto, especificamente para correções de bugs. Ainda uso bastante a Luna.

22:41 Ainda faço algumas análises aprofundadas com Soul e, de vez em quando, com Opus, alternando entre eles. Hum, mas >> talvez eu seja um programador estranho, mas ainda gosto de conversar com essas coisas. Então, ainda os avalio muito pela capacidade de explicar e conversar. Ou seja, pela capacidade de conversação. E, quando eu estava zoando Opus, muito disso era por esse motivo. Ele simplesmente escrevia muito mal. Introduzia palavras que você não conhece. Descartava conceitos. Basicamente, era um inglês ruim. Simplesmente era ruim em

23:13 ser um chatbot, que é meio que a habilidade básica que deveria ter. Então, aprendi que, se quero ter uma boa conversa de verdade, preciso falar com Soul, mais ou menos. Hum, alguns desses modelos mais inteligentes podem ganhar nos benchmarks, mas, quando você está tentando fazer com que ele explique como funciona um filtro bilateral, [risos] às vezes é melhor usar modelos um pouco mais medianos, que simplesmente são melhores para explicar as coisas e falar inglês, basicamente. E também quero destacar: não subestimem essas coisas de roteamento de modelos de que falamos recentemente, como o HydroFusion. Acho que agora está disponível no VS Code Insiders. Dá para usar por lá. Não tenho certeza se já está no app, mas vou dizer que peguei essa roda da sabedoria. Não é como se fosse a coisa mais complicada do mundo, mas escrevi esse prompt enorme. Conversei com o CLI. Ativei o Hydra Fusion. Disse: “Ei.” E indiquei a documentação da visualização web híbrida do Don Maui [fungada] e falei: “Escuta, quero que você faça isto. Quero que faça blá-blá-blá-blá, toda essa coisa com a loja, blá-blá-blá.” Ele foi lá e mandou ver, cara. Mandou ver por uns 20, 25

23:48 minutos. Voltou com tudo pronto de uma vez, testou e fez tudo. Tipo, executei, verifiquei, coloquei na câmera do celular, fiz todo aquele blá-blá-blá. Tudo por US$ 4. É, >> foi, foi, foi incrível e ele foi conversando comigo para me ajudar a pensar, e isso é algo em que eu penso: estou fazendo algo grande, certo? Deixe eu fazer algo que realmente vai >> se resolver entre esses modelos diferentes. E achei isso muito legal. Mas Frank é um modelo novo. Será que é mesmo um modelo novo? Não tenho

24:21 acesso a esse modelo, mas sei que a internet talvez tenha, acho que a internet pode ter quebrado >> porque, embora a Baby Luna pareça barata e rápida, aparentemente existe a coisa mais barata e rápida do mundo inteiro. >> Ah, >> é o Bev? É Bev? >> Bev [risos] Jeb. >> Jev, que é um nome horrível, mas enfim. Estamos todos nos acostumando com nomes horríveis.

24:51 Hum, sim, é, sabe, sabe, a maneira mais rápida de fazer alguma coisa é não fazê-la. Aí fica pronta instantaneamente. [risos] >> Faz sentido. >> Então, é um modelo de linguagem grande. Mas, ao contrário de todos os modelos de que acabamos de falar, que usamos todos os dias e que já provaram ser úteis para nós, não estamos usando esses por causa de marketing. Estamos usando porque são realmente úteis e todos gostamos deles. Jev não gera texto. Não gera código. Não conversa.

25:21 Então, é meio engraçado: ainda é um modelo de linguagem grande, porque você ainda fornece a entrada em linguagem natural não estruturada, mas a saída não é linguagem natural não estruturada. A saída é uma categoria. Basicamente, [risos] é um “gostou ou não gostou” para prompts. É assim que chamo. Hum, é um modelo novo por aí e tomou a internet de assalto. Meu Deus, durante alguns dias era a única coisa sobre a qual se podia ler. E é fascinante, porque é uma nova modalidade para esses

25:54 modelos de linguagem grandes. Há muitas coisas que podemos fazer com esses modelos além de transformá-los em chatbots. Tivemos bastante sucesso com chatbots e depois com agents. Mas alguém pensou: ei, e se eu treinasse um LLM para fazer outra coisa? E se eu o treinasse para ser um classificador muito bom? E que tal um classificador de uso geral muito bom? E se o deixássemos meio que rápido e o treinássemos muito bem para fazer isso? E esse classificador quebrou a internet. >> Sim, assisti ao CJ, do canal do YouTube e podcast Syntax FM, explicar isso, e ele

26:26 detalhou tudo. E a coisa que ele repetiu várias vezes foi: classificador, classificador, classificador, classificador, classificador. Ele dizia: sabe, era bom em classificar. Ele tem umas demos muito boas. Sabe, sabe, ele disse: “Ei, imagine que você está num editor de texto e quer analisar se isto tem um certo tom, se foi gerado por IA, se é isto ou aquilo, e dá para escrever essas estruturas de regras.” Ele também usou isso no gerador de metadados do podcast deles, que aparentemente todo mundo tem um hoje em dia, inclusive o Syntax. Mas eles disseram que pegam a gravação, ela passa

26:59 por um modelo de transcrição e depois vai para um LM para escrever tudo isso. E ele disse que a principal coisa que dá para fazer com Jev é basicamente escrever regras. Ele consegue responder a perguntas: você fornece os dados e as perguntas que quer que ele responda, e ele pode basicamente responder sim ou não, ou fazer algum tipo de categorização, o que permite que ele verifique a si mesmo, certo? Então, dado que o LLM gerou isto, ele pode classificar: sim, estava correto? Não estava correto? XYZ. E, e, e, e, depois, se ele desce e

27:29 classifica como correto ou como algo que precisa de revisão humana, então eles encaminham isso de uma determinada maneira, o que parece interessante. Ah, ou estavam usando isso. Vi várias demos de carros autônomos e árvores de decisão e todas essas outras coisas. Não sei. Hum, alguém fez algo de rastreamento de preços de passagens aéreas ou coisa assim. Não sei. Mas eu não conseguia desligar a internet e mesmo assim não entendi, acho, de modo geral, porque não tentei usar. Eu estava sem meu computador. Nem sei, como é que se usa? O que eu tenho que fazer? Tenho que comprar alguma coisa? Então, não, na verdade é bem fácil de usar. Hum,

28:02 como eu disse, a entrada ainda é em linguagem natural. Então, você pode fornecer todas as informações do mundo. Pode, sabe, contar uma história ou fazer uma pergunta, algo assim. Mas o que você precisa fazer é especificar, mais ou menos, o esquema de saída. Nem é bem um esquema, mas, basicamente, dada uma pergunta ou alguma informação que eu quero, aqui estão as possíveis respostas para essa pergunta. Então, não dá para pedir que ele calcule um número. Mas, se houver 20 possibilidades e você quiser que ele escolha uma delas, basta enumerar essas 20 possibilidades, e então ele escolherá uma delas

28:34 Como eu disse, a entrada ainda é em linguagem natural. Então, você pode fornecer todas as informações do mundo. Pode, sabe, contar uma história ou fazer uma pergunta, ou algo assim. Mas o que você precisa fazer é especificar, de certa forma, o esquema de saída. Nem chega a ser um esquema, mas, basicamente, dada uma pergunta ou algo assim, alguma informação que eu quero, aqui estão as respostas possíveis para essa pergunta. Então, você não pode pedir para ele calcular um número. Mas, se houver 20 possibilidades e você quiser que ele escolha uma delas, basta enumerar essas 20 possibilidades e então ele escolherá uma delas.

29:09 possibilidades e dar uma pontuação de confiança. Mas isso é algo trivial para a saída, porque todas essas redes são probabilísticas. Todas têm pontuações de probabilidade. Só não nos mostram essa pontuação. >> É. [risos] >> Mas todas têm. É assim que elas funcionam. E é inteligente, porque digamos que eu forneça um monte de texto e tenha 20 perguntas. Bem, todos sabemos que há basicamente duas partes no uso desses LLMs. Primeiro, fazemos o que, irritantemente, é chamado de prefill, em que pegamos todo o contexto e inserimos todas essas informações no

29:42 LLM. E depois, na segunda metade, num modelo normal, vem a etapa de decoding, em que ele começa a gerar mais texto e tudo isso. Bem, acontece que, quando você está fazendo essa etapa de entrada, ele já está fazendo previsões. Então, já está prevendo o próximo token. É assim que todas essas coisas funcionam. E o Jev é inteligente justamente porque está sempre prevendo que o próximo token será uma dessas respostas. É um conjunto discreto. É

30:12 uma entre duas respostas. É aquele tipo de coisa de verdadeiro ou falso. É uma entre 20. Se você disser: “Aqui estão 20 respostas possíveis para esta pergunta. Escolha a melhor.” E pode até ser uma classificação. Então, sabe, não é só quente ou não, mas o quanto é quente. Está frio, morno, quente, sabe? Pode haver três níveis assim. >> E, como todos esses modelos estão sempre gerando o próximo token, este está sempre gerando o melhor palpite seguinte. E, se você tiver 20 perguntas para ele, não precisa fazer essa

30:45 etapa de prefill 20 vezes. Ele pode simplesmente ramificar o modelo naquele último token e, então, responder às 20 perguntas de forma aproximada e praticamente em paralelo, a um custo muito baixo. É por isso que todo mundo gosta dele: por ser barato. Você só paga pelos tokens de entrada, que, como todos sabemos, são os mais baratos, por motivos que nem fazem muito sentido. Mas é assim que o mundo evoluiu. Os mercados evoluíram. Mas o interessante

31:17 é que, se eu tiver 20 perguntas para um conjunto de entradas, sai muito barato, porque ele só gera uns 20 tokens de saída e consegue fazer tudo em paralelo. Então, também é rápido. Essa é a explicação de como funciona num nível mais básico. Mas é bem legal. Quer dizer, é só uma maneira inteligente de usar esses modelos que temos há muito tempo. Então, por exemplo, se eu escrevesse uma publicação no blog, não pegaria essa publicação e diria: “Ei, me dê

31:50 cinco títulos provocativos que você criaria.” Mas, se eu dissesse: “Ei, meu blog tem 50 categorias diferentes. Com base neste texto, descubra em quais categorias ele se encaixa”, ele conseguiria fazer isso. >> Sim, com certeza. Ou você pode usar uma abordagem híbrida. Use uma rede, a Luna, para gerar 20 títulos diferentes para a publicação e depois peça a este modelo para escolher entre eles, porque talvez seja um modelo maior e mais inteligente. Talvez tenha melhor

32:21 discernimento. Talvez tenha mais bom gosto porque foi aprimorado para ter melhor discernimento e bom gosto, mas não é generativo no sentido usual. Então, você poderia usar esse truque híbrido. >> E aí você poderia criar perguntas específicas sobre como quer que sejam os seus títulos. São caça-cliques? Blá-blá-blá? O que são? E ele pode responder sim ou não, e isso poderia alimentar esse algoritmo para obter o resultado. Isso é bem legal, e acho que era isso que o CJ talvez estivesse dizendo: “Certo, é aqui que o LLM gera os metadados do podcast e depois usamos isso para fazer…” E aí surgem

32:51 as ideias. Isso é realmente muito legal. >> É. >> Sim, porque ele não passa todo o tempo gerando texto. Eles podem criar um modelo realmente grande, poderoso e inteligente, ajustado para escolher muito bem entre várias opções. Já os modelos atuais são ajustados com reinforcement learning, o aprendizado por reforço com feedback humano que todos usamos. Eles são ajustados para serem chatbots e agents e tudo mais. Não são necessariamente ajustados para tomar decisões. É claro que tomam muitas

33:25 decisões, mas não são ajustados para isso. Este pode ser ajustado para esse problema específico. Então, é mais inteligente. É um uso mais eficiente desses modelos, e você tem a garantia de que a saída seguirá o schema correto, porque, no fim, não estamos analisando JSON, embora tudo seja apresentado como JSON. Não estamos. Na verdade, ele só gera uma opção entre X opções. >> Eficiência. É. Sabe, quando os transformers foram inventados, no artigo “Attention Is All You Need”, os LLMs tinham dois modelos grandes.

33:58 Havia o encoder e o decoder. E, alguns anos depois, decidimos: “Sabe, podemos simplificar todo esse conjunto para usar só o decoder.” Então, hoje, é só isso que usamos. Foi o que aconteceu com o GPT. Pegamos o modelo transformer e descartamos uma boa metade dele, porque pensamos: “Sabe de uma coisa? Essa parte só complica mais. Na verdade, não precisamos dela.” E vejam todas as coisas incríveis que podemos fazer só com o lado decoder. Gosto do Jev porque ele diz: “Sim, isso também é legal, mas não precisamos ser generativos o dia todo. Podemos cortar a parte recorrente de todo esse processo e simplesmente gerar uma resposta.” Então, estamos descobrindo que ainda é a mesma coisa. Continua sendo um transformer. Continua sendo um LLM. Usa os mesmos princípios arquiteturais. As pessoas já fizeram versões ruins disso. Qualquer um pode treinar uma rede para fazer o que isso faz. É claro que é difícil criar uma boa rede. Mas gosto disso porque é apenas outra versão da mesma coisa. Essa arquitetura, a arquitetura transformer que foi inventada, tem muito mais potencial do que aquilo que fazemos com ela hoje.

34:33 a parte recorrente de tudo isso e simplesmente gerar alguma coisa, uma resposta. E então estamos só… estamos percebendo que continua sendo a mesma coisa. Ainda é um transformer. Ainda é um LLM. Usa todos os mesmos princípios arquitetônicos. As pessoas já fizeram versões bem ruins disso. É fácil; qualquer pessoa pode treinar uma rede para fazer o que isso faz. Obviamente, é difícil criar uma boa rede. Mas eu gosto disso porque é só outra versão da mesma coisa. Essa arquitetura, a arquitetura transformer que foi inventada, tem muito mais potencial do que apenas o que fazemos com ela hoje.

35:07 Os chatbots viraram uma coisa. Primeiro, o texto preditivo virou uma coisa. Era meio sem graça. Depois vieram os chatbots. Foram ótimos. Depois transformamos chatbots em agents. Fantástico. E agora é só mais uma coisa que podemos fazer com esses LLMs, e é eficiente. Não estamos pagando por todos esses tokens de saída. Sim, é inteligente. Faz muito sentido. Você já usou isso para alguma coisa? Já experimentou? >> Com certeza. Felizmente, consegui acesso. Mas minha cabecinha não conseguiu pensar em nenhum caso de uso bom. [risos] Então, fiz

35:37 as perguntas mais idiotas. Claro que dei a ele um monte de dados do mercado de ações e perguntei: “Ei, quais dessas ações eu devo comprar? Qual devo vender? Qual devo manter?” Não usem isso para isso. É uma armadilha. Mas, sabe, comprar, vender, manter: são três opções. Você pode perguntar isso a qualquer rede. Outras pessoas estavam fazendo coisas muito mais inteligentes. Mas esse é sempre meu teste de estresse. Gosto de ver o que ele tem a dizer. Então, eu inventava dados. Dizia: “Aqui, as ações da Microsoft estão despencando. Devo comprá-las?” E ele respondia:

36:10 “Há 33% de chance de você dever comprá-las.” [risos] Tipo, certo, elas estão despencando. Mas aí dizem: “É, mas é a Microsoft.” Ele não pode dizer isso porque não é generativo. Mas, sabe, é isso que ele está pensando. Ele sabe o que é a Microsoft. Então, mesmo que eu tenha fornecido dados falsos dizendo que as ações da Microsoft estão despencando, ele ainda responde: >> Talvez você devesse pensar em mantê-las. [risos] >> É. >> Então, foi divertido fazer esses pequenos testes de estresse com tudo isso. Mas penso em outras coisas, como as pessoas usando isso para jogar Doom, o que é muito difícil. É um modelo rápido, mas não tão rápido, porque ainda precisa receber os tokens de entrada. Então, você ainda precisa traduzir

36:43 imagens e elementos visuais, além de outras mídias, em texto, porque ele é predominantemente um modelo de texto. Enquanto isso, há pessoas trabalhando em versões multimídia, nas quais você pode dar uma imagem para o modelo e fazer perguntas de múltipla escolha sobre ela. Há bastante coisa para explorar e, de novo, é apenas mais um uso de um transformer. Já tivemos transformers classificadores no passado. Todos nós já os usamos, especialmente nos primeiros tempos, quando usávamos transformers bem menores. Então, isso é meio que

37:17 honestamente, revisitar uma ideia antiga desses classificadores que todos costumávamos usar e dizer: nos últimos três anos, dois ou três anos, aprendemos muito sobre como aumentar a escala desses LLMs e torná-los enormes e inteligentes. E aprendemos esse truque — aprendizado por reforço com feedback humano —, então vamos aplicá-lo também à classificação. Não quero ser reducionista insistindo em chamá-lo de classificador, mas, fundamentalmente, é isso que ele é no nível do aprendizado de máquina. É apenas um classificador de uso geral grande. Mas o interessante é que ele é um

37:50 modelo grande e inteligente, ajustado para ser bom em classificação, e é por isso que é útil. >> Especialização, como eu gosto de chamar. >> Sim. >> Exatamente. Sim. >> Bem, não sei. Ele merecia tomar a internet de assalto? Não. Isso é a bolha. [risos] >> É. >> Os LLMs generativos provaram seu valor. É divertido conversar com eles. Eles nos ajudam no trabalho do dia a dia. Ajudam você a escrever aplicativos esquisitos enquanto está de férias. Já provaram seu valor. Sim,

38:21 >> essa é uma ideia antiga com um toque moderno. E tomou a internet de assalto porque estamos numa bolha. Tudo bem. Mas isso também não deveria diminuir o mérito dela. É uma boa ideia. É um uso mais eficiente de todas essas coisas. E é legal ver uma versão moderna disso. E talvez, por causa do custo e do caso de uso muito específico, já existam aplicativos que façam algumas coisas desse tipo hoje. Pense no WordPress, por exemplo: ele poderia incorporar um monte de coisinhas e oferecer todas essas recomendações e classificações para seus

38:52 blogs ou, por exemplo, para seus vídeos no YouTube, e todas essas outras coisas. Acho que vi alguém escrever um plugin para o Twitter que classificava todos os tweets e ocultava automaticamente, em tempo real, aqueles que talvez fossem tendenciosos, polêmicos ou algo assim. Coisas desse tipo. Mas consigo imaginar outro caso de uso até para alguns dos aplicativos de que estou falando, o gerador de podcasts e algumas dessas outras coisas. Talvez eu esteja usando um LLM, como você disse, mas também usando isso para classificar correlações. Pode ser um bom teste para fazer. Muito legal.

39:24 >> Sim. E você mencionou provavelmente o caso de uso mais útil, que provavelmente será usado pelo menos no futuro imediato: se você está usando algo como o OpenRouter e pode escolher entre 12 modelos diferentes para responder à pergunta, precisa de um classificador. Escolha um modelo para mim. Por que pagar por um modelo caro para fazer essa classificação? Melhor pagar por um Jev barato para escolher qual modelo deve fazer o trabalho pesado. >> É. Vou ficar de olho para ver se Jev domina o mundo dos roteadores. Então, muito >> Sim, basicamente. Sim. Certo. Bem, vou passar um tempo com a minha esposa. Muito obrigado, Frank, por me

39:58 explicar tudo sobre o Jev. Eu vi a notícia por todo o feed, mas pensei: quando eu voltar, já vai ter algo novo. Mas o Frank vai me contar tudo. E ainda tenho um monte de modelos novos para comentar. Aí pensei: “Nossa, ele é maluco. Nunca para, cara.” >> Bem, >> certo. Vai brincar com todos os brinquedos novos, coloca essa Luna no máximo e manda ver. É uma boa. É tão barato. É simplesmente… >> É incrível. Bem, é isso para este episódio de Merge Conflict. Até semana que vem. Eu sou James Montemagno. >> E eu sou Frank Krueger. Obrigado por assistir e ouvir. >> Falou.

Transcrição original

[00:00] Welcome back everyone to Merge Conflict, your weekly developer podcast about all things in the world of software development and new LLMs or not LLMs, who knows, new models, new things. I’m one of your hosts live from Vienna, Austria, James Monttoagno, and with me as always, the man on an island, Frank Cerr. How’s it going, buddy? >> Oh, it’s going well. But where in the world is James Monttoagno this time? Because this is not the normal background. You are showing me something different. I like it though. It almost looks like Are you in a cubicle? Are you in a cube farm? It it really does kind of look like I’m in a cubicle. So, uh, yes, I was at NDC Oslo. I recorded the

[00:35] last one from Oslo if I I’m pretty sure I did at least, right? >> Or London. I don’t know, wherever I was. >> I was in London and then I was in Oslo and then I was in Germany. Now I’m in Austria. We went to Budapest today and then we’ll be back to London and then I’ll be home in Oregon uh by Sunday night at midnight and then fresh to work at 7 a.m. Very exciting. [laughter] So, Uh >> well, I’m glad you get to be our foreign correspondent yet again. I can’t wait to hear about what’s happening in Vienna.

[01:05] Uh I’m I’m sure this is just a travel podcast now as far as I know. >> You know, uh Vienna is very beautiful. We’re just talking about very very beautiful. Budapest also very beautiful. We were in Insbrook, then we’re in Leo Gang, we’re in Salsburg. All very, very pretty. Vienna just we were walking around even though we had already been here once and like man so just beautiful. Yeah, everything is so regal and big and just beautiful and >> speed of an empire. [laughter] Yeah. >> Uh it’s uh it’s it’s it’s crazy. Um if you’ve never been to Vienna, I definitely re recommend. It’s very very

[01:37] lovely. Uh and yeah, so excited to be here on the road. We took this this week off between NDC Osel and Heather as an event here in Vienna. So that’s why we’re here now. But we went did a bunch of sauna stuff in between. And we took in 5 days five aerial tramways lifts up to mountains. Five of them. >> Fino. >> Fino. [laughter] Yeah, >> that’s your favorite topic. I can’t wait to see what AI is going to generate about these ones this time. [laughter] >> It was good. I’ll tell you this. Okay. So, before we get into some new models, so there’s a few things that

[02:09] >> Okay. >> I I think that I wanted to talk about because I just we had a little bit of fun on this trip. We took um we drove a bunch. We took some trains. Uh we took a bunch of buses >> and one thing that we forgot to bring was a Kather had a has a ebook, you know, uh and I have my Switch too, but we sort of forgot to bring something that we could do together. We saw some people playing cards and stuff. >> Uh and one thing Heather and I both read like we like Family Feud, we also like Wheel of Fortune. Heather’s really good

[02:40] at it. So I built uh a two two or three player Wheel of Fortune game. And it’s called wheel of wisdom. I don’t want to get >> uh it’s at wheel of wisdom. >> Hallucinated trivia. Sorry. Say the URL again, please. >> Wheel wheel ofwisdom.app. >> Wow. >> Um it’s a full progressive web app. You can download it offline. Works. There’s 600 puzzles. Stores your history. Stores your games. It’s got a bunch of different categories. Uh it’s got trips

[03:12] and mysteries and all sorts of stuff. And there’s going to be a um I’m I’m just getting ready right now to start a a full fresh build uh for an iOS application too. It’s going to be a Net Maui hybrid app. So I’m going to reuse this. >> Oh yeah, cool. >> HTML and JavaScript. It turned out really good. I built this baby with Baby Luna uh that we’re going to talk a little bit about this week and a bunch of other models too. I used a bunch of models on it based on the task at hand, but it’s really straightforward. It’s just HTML and JavaScript. Nothing fancy,

[03:42] but it’s just like I built it from my phone, Frank. Like this was the thing I wanted to talk about. I didn’t even I have my computer with me. I’m here at the beautiful Moxy Hotel. Um you never stayed at a Moxy. It’s like very funky and you know exactly what you’re getting, which is a tiny room for not a big price. >> Um and they’re everywhere. It worked out for us for a location we needed to be. And but as we were going via bus, via whatever I didn’t have my laptop and I coded this 100% from the GitHub mobile app. >> Um, pretty cool.

[04:12] >> I even bought the domain name, set up the DNS, everything 100% from my phone, >> uh, using just the cloud, you know, agents basically, which is is absolutely ridiculous. And, uh, we’ve been playing it on every single thing that we did. So, I just want to kind of throw that out there. >> Fantastic. I honestly I think you’re just feeding into your uh domain registration addiction. I think you’re just looking for excuses to buy new domains, but um this is pretty cool. I haven’t actually made that leap of doing it all from a phone yet. Um so once again, you’re ahead of me. I’ll give it

[04:45] a shot. I’ll write some trivial game on as a web app on the phone. [laughter] And and then this is this is a fun trivial game because already there’s dollar signs at the top. So I can imagine you two trading money already. I I hope there’s gambling rules and drinking rules with this game. >> Oh, yeah. >> Um, but it’s pretty fun. I I’m excited to hear what your Baby Luna experiences are because um I don’t know if you’ve been getting the news over there in the Europe, but um over here in the USA uh

[05:15] we’re not making models anymore. We’re slowing down. We’re we’re slowing progress down. No, no more model releases. And by no more model releases, we mean both major model providers are going to release a whole new suite of models [laughter] in the last week. I don’t know if you’ve gotten that news, but uh we’re we’re both slowing down and speeding up over here. How is Europe doing? >> Uh Europe, the interesting part about Europe is there’s actually more AI kind of everywhere than you would you would think. So definitely like there’s a few

[05:47] small towns we go on the Oregon coast where we like are on the Facebook. was the only time we go to Facebook because there’s usually each community has like a Facebook feed and almost all the graphics for like the the restaurants are all AI generated for 100%. here. What’s really fascinating is they’re really into AI video like uh stuff >> scary. Okay. >> Ad advertisements and they all say AI in the bottom right corner, but there there’s a lot of them uh quite a bit in train stations and things like that. Um which I haven’t really seen in the states. maybe in San Francisco or something >> uh more I haven’t really seen it in

[06:20] Seattle but there seems to be more of that around and and definitely more seeing uh but I’m not seeing like big ads obviously even here in Vienna for like claude and you know open AI and chat GPT and all this stuff so I don’t really know how that’s going necessarily but I will say even though I’m here in Europe my Twitter feed is still filled of a whole bunch of stuff and funnily enough Frank um Both Burke and I have been tweeting a bunch about Luna and I tweeted a day a day a day before GPT6 Luna came out. I said Luna Max.

[06:55] >> Yeah. >> And I swear I swear to God I had no idea that this model was coming out uh at all. Um but GBT6 Luna and GPT6 Soul. No more Terra. Terara’s gone apparently. Um I guess >> who needs Earth? Earth overrated. >> RIP. [laughter] That’s what I hear. >> Those both landed at like half the price or whatever. >> Yeah, it’s really weird because both companies are playing the game of like our token counts are changing dramatically and we’re modifying our

[07:28] prices. So, it’s just it’s I I take it as the money people just messing around so that people can get roughly the same amount of work done for roughly the same price. Technically, they lowered their prices, but if you look at how token hungry, especially on Macs, some of these models can be, it’s made up for with those new trainings. Um, it’s a little bit all over the place. Honestly, it’s so hard to keep up with this stuff now. I’m surprised we’re even trying to keep up. Thankfully, I have you. You keep me in the flow. Um, but also,

[07:59] I I noticed with um GPT, like they flat out say like come middle of October, we’re throwing out the old models. So like update or GTFO, you know, you got to keep up with us. And so I used to make an argument like, oh, we we should keep with the old models for a long time. You get to know them. You get to know their um pros and their cons, but no, that’s not the world we live in. We’re moving in a fast-paced world where these models change every month or two.

[08:30] Um, yeah. And you you I think it’s our podcast, but Luna’s really caught on uh for good reason. It’s cheap, [laughter] especially Luna Max is performing just as well as like I forget the exact numbers, but GPT 56, GPT 6, uh, soul at like lower medium thinking level. Luna Max is crushing it. So, you’re such a trends setter, James. Like Luna Luna’s out there. I I haven’t been using it too much. I’m an idiot. I’ve been using Terra. What a dummy over here. But um

[09:05] seems like the rest of the world’s caught on to your little game. Cheap Luna for everyone. >> Cheap Luna. And like you know, you have to there’s trade-offs, right? When you put on a an extra higher or max reasoning, uh while it is crazy fast, it is going to be chit cchaty a lot more. It’s going to be burning more tokens. That being said, I did a demo at NDC London where I built an interactive I’ve done this a bunch of times. I did this at um Copilot Day, but I built I built and deployed in real time a full

[09:38] interactive Oslo day tour which brought in a bunch of uh coffee shops, sites, and saunas. And then you could plan your day. It do a whole map and it was like it was an absolutely it used impeccable. used this beautiful website. I set it to Luna. This was 56 Luna at the time, Max. Um, and I said then, you know, publish the GitHub repo, set up the GitHub pages, verify everything, like click around, do the thing. It did all of it. It cooked the whole thing for about six minutes.

[10:12] You that’s including the CI/CD pipeline. Six or six or seven minutes, >> 18 cents. >> Yeah. [laughter] >> And it was it was >> gorgeous. In fact, let me see if I can find it for you because I think you know if you go to my GitHub and I’ll I’ll post the link here for you. But if you go there and just type in uh Pi Oslo, I bet that’ll pop up. I don’t know what what is it called? Let me see what I call it here. It’s called uh we can all see what Baby Luna’s outputting for CSS. I I have CSS opinions because I have been fighting um

[10:46] some web development with it and it it loves to bounce between coordinate systems. Like sometimes it uses M’s, sometimes relative M’s, sometimes px. It seems like these models just um >> they love CSS. They love generating CSS and they love being inconsistent with CSS. So I’m excited to see uh little baby Luna’s CSS. >> And this one honestly is just HTML, JavaScript CSS. It’s just like here it is. And I’ve run this demo a bunch of times and sometimes it does pick a framework. Some and this was on

[11:16] autopilot. It asked no questions, did no things. >> And obviously I had very little input, but the whole goal is like here it is. You know, it’s not perfect. There’s a little bit of overlapping text here and there. But it has a grid, has a coordinate system, it has like, you know, all the different places. You scroll down, you have like different, you know, different beautiful pictures. You know, it’s, you know, it’s pretty good. You can copy to a link. you can like filter. I mean, for a oneshot, no big deal. Like, it’s a pretty nice looking app. >> Well, you know, I I I know it’s like it even did mobile pretty well. Um, it has,

[11:50] like you said, a little defects around mobile, but what I’ve really learned, and I’ve I’ve had to change my whole attitude this last week. I was getting frustrated with models creating bad UI and bad UX, as I always am. That’s my perennial topic on this show. But I had a recent epiphany. I’m like, these models are never going to create the perfect UI for you because I have opinions and all that stuff. So, I just need to accept that it’s going to do a rough draft first and then we’ll refine that draft and then we’ll refine and

[12:23] we’ll refine and we’ll refine. So, I used to get upset and I’m like, you big dummy. Why are you making that text bold? That text is obviously secondary. It doesn’t matter. Hide that away. Make this other thing bold. you totally forgot to do this thing I told you. I used to get frustrated and then I had a moment I’m like what’s happening here Frank you’re getting frustrated at a bunch of bunch of matrix multiplies like it is not helping the situation by you getting emotionally involved with this model producing bad code. So, I I had to

[12:54] do a forceful mental shift this week of it’s going to do a crappy job the first time, and I’m just going to joyfully point out all its mistakes, [laughter] ideally with um dictation, so I don’t have to type. I’m curious how you were um interfacing with your phone if you were doing dictation or not. Um and then just, you know, if it takes 10 iterations, it takes 10 iterations. That’s just what it’s going to be. >> Um so, oneshotting’s cool. It definitely makes for good tweets, oneshotting and

[13:24] all that stuff, but I’ve come around to using a slightly dumber model is okay because we’re not doing rocket science here. A lot of time it’s just human stuff that I want to change about these. And that’s why I’ve been interested in the smaller models like the Lunas and the Teras, even though Terra is not cool anymore. Um, but I I totally get where you’re coming from of using these smaller models because if I’m going to be iterating, I might as well get quick iterations and not be spending a fortune on it. >> Yeah, it’s hard. Like uh OpenAI was doing so many promotions with Soul that

[13:56] like Soul was at some point cheaper than Terra, which is kind of crazy. And I am a big Terara fan. It was like one of my it was basically my default model for a long time until I sort of really started experimenting with Luna Extra High and Max. Um, but I agree with you on the UI bit. The thing that I’ve been doing the most is like taking especially in my mobile apps taking uh screenshots and then I mark it up and I say this this and this and this you know this here >> and that’s really helpful. And then the one thing I’ve been really interested in is like I use Impeccable on the web. It’s kind of built into the C-Pilot app.

[14:29] It’s but you can al just install it. It was just an npm package impeccable and it has a bunch of design guidelines and things but it also helps you put design uh best practices into sort of impeccable folder and then with the impeccable skills it’s like a whole bunch of skills that are like I’m doing design let me check and let me generate it’s kind of keeping itself up to date kind of like your thing that you were talking about I think you had the styles >> UIMD yeah uiMD yeah >> it’s a difference and I I want to be clear like I don’t like style and design and user experience being mixed

[15:04] together. >> That’s a good point. >> You know, data flow, information flow, what inputs go where, all that. That’s user experience. That’s UX. That is how does the app feel. Uh Apple used to call this human interface guidelines. Then it became UI, but now we don’t say UI anymore. We say UX to separate it from I don’t care what color it is. I really don’t. Um you know, maybe when I’m bored, I’ll work on the design and style. Like that’s why I don’t care too much about impeccable because to me CSS styling is completely secondary. I would if I could convince these models that

[15:37] they all refuse to. I would say don’t generate any CSS. You are not allowed to do any CSS. No styling. Let’s work purely on information flow and all that stuff first and then we’ll get around to styling. I just want to point that out because you’re you’re mixing the two and it just it’s a little peeve of mine. Instant terrible at UX. >> You are correct. Frank Krueger, your fort. Um, you know, we talked about many times on this podcast, thank you for calling me out and correcting me. Let’s get this merge conflict back into the correct uh commit state here, is that I was just having this conversation with

[16:10] Heather about AI and design. And then I said, you know, the thing that I talk about with Frank all the time is like the actual user experience or the taste. Like there is a design taste, but there’s also a flow taste as well in the user experience of how people are touching interactive. Does it fly out? Does it do this? Is it coming up from the bottom? What’s the swipe interaction with? What’s the button press? What’s where is the placement? Where’s the like what’s how how are we moving around the application? Um, that’s a really important, even more important to be honest with you. And and an AI can see a

[16:41] thing and it can also obviously like press buttons, but it’s not going to have that sense of is that a satisfying movement? Touching the mic. [laughter] Yeah. Um yeah, and and and I find that that’s it’s the information flow and such that they tend to get wrong. All these models are honestly good enough at design. They they love their um purple to blue gradients, as I like to say. They’re they’re really good at generating all those gradients and all that. And it’s fine. I I let them play on that all day.

[17:13] What I find is they’re just bad at information flow and prioritizing items and all that stuff. But like I said, um I’ve I’ve learned to not even be frustrated with them anymore. I just sit back and regard that as um yeah, iterative. We’ll we’ll work on the information flow one bit at a time. >> Yeah. Uh well, these new models are out. There’s obviously the the Luna, the the five Luna and also the five soul. They are half the price of the previous. And also, I will point out that uh the default before for Luna was 200

[17:48] uh K on the uh context window. Now it’s 272. It’s It’s gone up there. So, it’s matching the other ones. >> Yeah. >> But we also, like you said, got another We have more models, but we did get another model from our friends over at Anthropic. >> Uh uh Claude 5.5. I don’t know where that came from. The Claude Opus 5.5 is >> Yeah, it’s almost a happy birthday. Like, can do you remember Opus 45? I think that’s when we all lost our jobs because that was the first model that actually did a good enough job where that was the big transformation last

[18:21] year I think from definitely for me it was like oh here’s here’s some code I have in front of me I don’t feel like typing please modify the code to do this to here’s an app I want just write the stupid app for me >> and that was the big epiphany with Opus 45 so I think the five was them doing a little bit of marketing and pushing and getting Now, um this uh 5.5 anniversary model is how I’m thinking of it. Like we had to show that we’ve actually improved over Opus 45 because as we all know, Opus 5 is garbage. Just [laughter] put

[18:56] that put that thing down. Delete it. We don’t need that thing. Um so hopefully 5.5 is their um their swan son. No, that’s the wrong analogy. Um their apology letter to all of us for a bad Opus because we’ve all been rocking Fable. Fable’s been great, but Opus 5 has been trash. Um, so I I’m I’m excited to try maybe OP Opus 55 now. Again, >> I definitely haven’t had that experience with Opus 5. I feel like when I’m doing UI work, it does still do a a pretty good job of of different things. That being said, it’s still really expensive,

[19:30] right? It’s definitely the most I mean, this is the cheapest Opus yet. And obviously it’s, you know, 25% cheaper than the other one, which is, you know, 50% of of Fable, but still really expensive model at the end of the day. Especially when you’re thinking of, for example, >> you know, Luna or Soul, which is going to come in, Soul is going to come in uh let me see five soul here. Yeah, be cheaper, right, than than it uh or I guess maybe it’s the same price. It’s very No, it’s cheaper. judge cuz it

[20:01] really depends on how many tokens they use and how >> it >> our pricing models are absolutely ridiculous right now. >> If you were to use the default context on six soul, it’s half the price of five. >> Um and that’s not including like you know the cash other stuff and stuff like that. But yeah, so there’s a bunch of things in there. Now that being said, um like you got to remember also Fable is still a model that doesn’t have that. I mean, I think they’re now doing it with 51. It doesn’t have that zero data

[20:32] retention policy, which is also of interest. You’re kind of doing I think it now does in 5.1, >> but I do think you’re right. Like, I think when they do the the five, they’re trying to make a statement, right, that okay, we had five, four, five.1 or whatever. This is like the thing, right, >> that we’re doing, which is important. Um, >> but the question is like, yeah, how often you need these like crazy super heavy models, right? That’s the real question at the end of the day, especially if you’re going to go on a higher reasoning. I mean, those tokens gota be crazy. Yeah. And I like that we we’ve gotten to a place where the benchmarks and the performance graphs that people are

[21:05] publishing, the x-axis has become dollars now, which I really appreciate because it used to be other arbitrary things like tokens or time and all that. And in the end, it kind of doesn’t matter. What we care about is dollar bills. Um, how much does this test cost? And I like that the benchmarks are actually judging themselves like what was our our success rate and how much did it cost? what was our success rate and how much did it cost? And I think it’s taken us a year, but we finally settled on that’s the graph everyone’s interested in. Because when you make that graph, that’s when you see your

[21:38] beloved baby Luna far on the left side away from everyone else being super cheap but still going about halfway up that graph vertically. And if you want to get the other vertical distance, then you got to move to the far right of the graph [laughter] where everything becomes very expensive. So there’s actually a weird kind of empty zone a little bit in the middle territory. And also everyone please pay attention to whether that xaxis is logarithmic or linear. >> A lot of people cheat and you can get really confused with how much something is costing because a lot of times they

[22:11] show a logarithmic one and that makes the very expensive models look like they’re only a little bit more expensive than Luna when in fact they’re 10 times 20 times more expensive and all that. But I I like that that’s where we’ve gotten as an industry. Like here here’s here’s how much it’s going to cost for you to get 50% on this benchmark. >> Yeah. No, it makes sense. I still think, you know, pick the right model for job. You know, I still use a lot of MI code 1.1 Flash at the highest for bug fixes specifically. I still use a lot of Luna.

[22:41] I still do some deep dives into Soul and into to Opus on occasion back and forth. Um, and but >> maybe I’m a weird programmer, but I still like to chat with these things. So, I still judge them a lot on their ability to explain and talk. So, their conversational ability. And so, when I was making fun of Opus, a lot of it was because of that. It was just a really bad writer. It would just it would introduce words you don’t know. It would throw away concepts. It just bad English, basically. It was just bad at

[23:13] being a chatbot, which is kind of what the basic skill should be. So, I’ve I’ve learned if I want to actually have a good conversation, I need to be talking to soul roughly something like that. Um, some of these smarter models, they might win on the benchmarks, but when you’re trying to have it explain to you how a bilateral filter works, [laughter] it’s better sometimes to have the slightly more medium models that are just better at explaining things and speaking English, basically. And and I also want to point out, don’t sleep on these model routing um things that we

[23:48] talked about recent like hydrofusion. I just I think it’s out in VS Code Insiders now. You can use it there. I’m not sure if it’s in the app yet, but I’ll point out that I took this wheel of wisdom. It’s not like it’s the most complicated thing in the world, but I wrote this big prompt. I talked to the the CLI. I turned on Hydra Fusion. said, “Hey.” And I pointed at the the Don Maui hybrid web [snorts] view docs and I said, “Hey, listen. Here’s what I want you to do. I want you to do blah blah blah blah this whole thing with the shop blah blah blah.” It went and it cooked, dude. It cooked for like 20 minutes, 25

[24:21] minutes. Came back, one shot of the whole thing, like tested it, did it. It’s like I ran it, I verified it, I put it in the mobile camera, did all blah blah blah. $4 the whole thing. Yeah, >> like it was it was it was amazing and it was rubber ducking back and forth and like that’s a thing where I’m like I’m doing a big a bigger thing, right? Let me do something that’s going to really >> duke itself out between these different models. And and I thought it was so cool. But frank’s a new model that is it even a new a new model? I don’t have

[24:51] access to this model, but I know that the I think that the internet may have gone I think the internet may have broke >> because while Baby Luna seems to be cheap and fast, apparently there’s the the cheapest and fastest thing in the entire world. >> Oh, >> it’s um Bev. Is it Bev? >> Bev [laughter] Jeb. >> Jev, which is a terrible name, but whatever. We’re all getting used to terrible

[25:21] names. Um, yeah, it’s it’s you know, you know, the fastest way to do something is to not do it. Then it’s done instantly. [laughter] >> Checks out. >> So, it is a large language model. But, um, unlike all the ones we’ve just been talking about and we use every day and have proven themselves useful to us, we’re not using them because of marketing. We’re using them because they’re actually useful and we all like them. Jev doesn’t output text. It doesn’t output code. It doesn’t chat.

[25:54] So, it’s kind of a funny, it’s still a large language model because you still input to it with unstructured natural language, but its output is not unstructured natural language. Its output is a category. Basically, [laughter] it’s hot or not for prompts. That’s what I call it. Um, it’s a new model out there and it took the the internet by storm. My god, there was it was the only thing you could read about there for a couple days. And it is fascinating because it’s a new modality for these

[26:26] large language models. There’s a lot of things we can do with these models other than turn them into chat bots. We found a lot of success with chatbots and then agents. But someone thought, hey, what if I train an LLM to do something else? What if I train it to be a really good classifier? What about a really good general purpose classifier? And what if we make it kind of fast and train it really well to do that? And that broke the internet, this classifier. >> Yeah, I watched the um CJ over on the Syntax FM YouTube and podcast break it

[26:59] down. And the thing that he kept saying over and over again was classifier, classifier, classifier, classifier, classifier. He’s like, you know, was good at classifying. He has some really good um demos, you know, you know, he he was like, “Hey, imagine you’re in a word processor and you’re trying to analyze if this is, you know, a certain tone, a certain if it’s AI generator is this, and you can like write these rule structures.” He also used it in their podcast metadata generator, which everyone’s got one apparently currently syntax too, but they were saying like they take their their recording, it goes

[27:29] through a a transcription model, then it goes into LM to write all this stuff. And he said the biggest thing is like what you can do with Jev is basically write rules like it can answer questions like you give it the the data and you give it questions to answer and it can basically do a yes or no or like a categorization type of thing which allows it to check check itself right so given hey the LLM output this it can then classify yes was it accurate was it not accurate XYZ and and and and then and then if it it goes down and is

[28:02] classifies correct corness or needs human review, then they they routed it in a certain way, which seems interesting. Uh or they were using it. I saw a bunch of demos for like self-drivless cars and like these decision trees and all this other stuff. I don’t know. Um someone did like an air airplane tracking price thing or something like that. I don’t know. But I I couldn’t turn off the internet and I still didn’t get it, I guess, uh in general, but because I didn’t try it. I didn’t have my computer. I didn’t even know I don’t even know how do you use it? How do you What do I got to do? Do I got to go buy something? So, no, it it’s it’s actually pretty easy to use. Um,

[28:34] like I said, it’s input is still natural language. So, you can give it all the information in the world. So, you can, you know, tell it a story or ask it a question or something like that. But what you need to do is specify its output schema kind of. It’s not even a schema, but basically given a question or something, some information I want, here are the potential answers for that question. So you can’t have it like calculate a number. But if there’s 20 possibilities and you wanted to pick from one of those 20 possibilities, you just enumerate those 20 possibilities and then it will pick one of those

[29:09] possibilities and give you a confidence score. But that’s a trivial thing for output because all these networks are probabilistic. They all have probability scores. They just don’t show us the probability score. >> Yeah. [laughter] >> But they all have it. That’s how that’s how they work. Um, and it it’s clever because let’s say I give it a whole bunch of text and I have 20 questions. Well, we all know that there’s basically two parts to using these LLM. First, we do what’s annoyingly called the prefill where it’s taking all the context and feeding all that information into the

[29:42] LLM. And then the next half in a normal one is the decoding stage where it starts generating more text and all that stuff. Well, it turns out when you’re doing that input thing, it’s already doing predictions. And so it’s already predicting the next token. That’s how all these things work. And so Jee is just kind of clever in that it’s always kind of predicting just the next token is going to be one of those answers. It’s a discrete set. It’s

[30:12] one out of two answers. That’s your true false kind of stuff. It’s one out of 20. If you say, “Here’s 20 potential answers to this question. pick which one of these is best. Um, and it can be a rating even. So like you know um it’s just not just hot or not, it’s how hot. So is it cold, medium, hot, you know? So it could be three levels like that. >> And because all these models are just always outputting the next token. This one is just always outputting the next best guess. And if you have 20 questions for it, you don’t have to do that

[30:45] prefill step 20 times. it can just kind of fork the model at that last little token and then um very cheaply answer the 20 questions vaguely in parallel. Um so that’s why everyone likes it because of that inexpensive nature of it. All you’re paying for is those input tokens which as we all know are kind of the cheaper ones for reasons. It’s doesn’t actually make that much sense but that’s just how the world has evolved. The markets have evolved. But the nice thing

[31:17] is if I have 20 questions for one set of inputs, it’s pretty dang cheap because it’s only really generating 20-ish tokens then as output tokens and it can do all those in parallel. So it’s also fast. So that’s like at a low level how it’s working. Um but pretty cool. I mean it’s just a clever way to use these models that we’ve had for a long time. So, I wouldn’t, for example, like take, let’s say I wrote a blog post. I wouldn’t take this blog post and then I wouldn’t say, “Hey, go give me

[31:50] five spicy titles that you would come up with.” But if I said, “Hey, my blog has 50 different categories. Given this text, go figure out what categories it falls into.” It could do that. >> Yes, absolutely. Or you can go for the hybrid approach. Have one network Luna generate 20 different titles for the blog post and then have this pick between them because maybe it’s a bigger smarter model. Maybe it has better

[32:21] judgment. Maybe it has better taste because it’s been refined to have better judgment, better taste, but it’s not generative in the normal sense. So you could do a hybrid trick then. >> And then you could write specific questions about how you want your titles to be. Is it clickbaity? Is it blah blah blah? Is it what? and it can answer those yes or no and that could go into this algorithm to get the now that’s kind of cool and I think that’s what CJ maybe was saying where he’s like okay this is where the LLM is generating their podcast metadata and then we use this to like do the and they come up

[32:51] with the ideas that’s really neat actually >> uh >> yeah because it’s not spending all of its time generating text they can make the model really big and powerful and smart and tuned to this capability of choosing between multiple options really well. Whereas the current models are tuned with with the reinforcement learning, the human feedback reinforcement learning that we all use, they’re tuned to be chat bots and agents and all that. They’re not tuned to make decisions necessarily. They’re they’re obviously making plenty

[33:25] of decisions, but they’re not tuned to that. This one can be tuned to that exact problem. And so it’s just smarter. It’s it’s just a more efficient use of these models and you’re guaranteed the correct schema output because it’s not like we’re parsing JSON in the end even though it’s all presented as JSON. We’re not. It’s really just generating one option out of X number of options. >> Efficiency. Yeah, it’s you know when when transformers were first invented with the paper um attention is all you need. The LLMs had were two big models.

[33:58] There was the encoder and the decoder. And then a couple years later, we decided, you know, we can simplify this whole kitten kaboodleoodle to just the decoder. So now that’s all we use today. That’s happened with GPT. So we took the transformer model, we threw out a good half of it because we said, you know what, that part’s actually just extra complication. We don’t actually need that. And look at all this amazing stuff we can do with just the decoder side. I like Jev because it’s saying, yeah, that’s cool, too, but you know, we don’t actually need to be generative all day long. we can chop off um the the

[34:33] recurrent part of this whole thing and just output something an answer. And so we’re just we’re ref we’re finding it’s still the same thing. It’s still a transformer. It’s still an LLM. It’s using all the same architectural principles. People have made junky versions of this already. It’s easy any any idea can train a network to do what this is doing. Hard to make a good network obviously. Um, but I like it because it’s just another version of the same thing. Like this architecture, this transformer architecture that was invented has way more potential than just what we’re doing with it today.

[35:07] Chat bots became a thing. First predictive text became a thing. That was a little boring. Then we got chat bots. Those were great. Then we turned chat bots into agents. Fantastic. And now this is just like, hey, here’s another thing we can do with these LLMs and it’s efficient. We’re not paying for all these output tokens. Yeah, that’s smart. Yeah, that that makes a lot of sense. Have you used it for anything yet? Have you tried it out? >> I’ve definitely I got access to it thankfully. Um my little brain wasn’t able to come up with any great scenarios [laughter] for it. So, I was asking it

[35:37] the dumbest questions. Of course, I fed it a bunch of stock market data and I’m like, “Hey, which one of these stocks should I buy? Which one should I sell? Which one should I hold?” Do not use it for that. That’s a trap. Um but you can you know because you know buy, sell, um whatever, hold, you know, those are three options. You can ask any network for those. Um other people were doing a lot more clever things. But that that’s always my stress test. I I like to just see what it has to say. So I would say like um uh I would make up data. I’m like here’s the Microsoft stock is like crashing. Should I buy it? And it’s like

[36:10] 33% chance you should buy it. [laughter] Like okay, it’s crashing. But they’re like, yeah, but it’s Microsoft. It can’t say that because it’s not generative. But, you know, that’s what it’s thinking. It’s like it knows what Microsoft is. So, even even though I gave it false data of Microsoft crashing, it’s still like >> maybe you should still think about holding it. [laughter] >> Yeah. >> So, it was fun to just like do those kind of little stress tests on everything of it. But I think about other things like um people had it playing Doom, which is really hard. It’s a fast model, but it’s not that fast because it still has to take input tokens. So you still have to translate

[36:43] um images and visual things and other um media into text because it’s predominantly a text model other than people are working on multimedia versions where you can give it a picture and have it answer you know multiple choice questions about a picture. Um it’s there’s a lot to play with it and again it’s just it’s just another use of a transformer. We’ve had classifier transformers in the past. um we’ve all used them especially in our early days when we were using much smaller transformers. So this is kind of

[37:17] honestly just revisiting an older idea of these classifiers that we all used to use and just making hey for the last three years two three years we’ve really learned how to scale up these LLMs and make them huge and intelligent and we’ve learned this trick um human feedback reinforcement learning let’s apply that to classification also and I don’t want to be reductive by keep calling it a classifier but that is what it is fundamentally at a machine learning level. It’s just a big general purpose classifier. But the neat thing is it’s a

[37:50] big smart model that’s been tuned to be good at classification and that’s why it’s useful. >> Specialization as I like to call it. >> Yeah. >> Exactly. Yeah. >> Well, I don’t know. Did it deserve to take over the internet by storm? No. That’s the bubble. [laughter] >> Yeah. >> What generative LLMs have proven themselves. They’re fun to chat with. Um they help us in our day-to-day work. They help you write weird apps while you’re on vacation. They’ve proven themselves. Yeah,

[38:21] >> this one is an old idea given a modern twist. Um, and it took over the internet because we’re in a bubble. That’s fine. But it is it’s but that shouldn’t detract from it either. It is a good idea. It is a more efficient use of all these things. And it is nice to see a modern version of that. And maybe because of the the cost and the very specific use case, there are applications today that might be doing some things like think of WordPress, right? out that could be be able to infuse a bunch of little things and give you all these recommendations and all these little classifications for your

[38:52] blogs or for your YouTube for example like your videos and all these other things that are doing I think I saw someone they they wrote a plugin I think for Twitter that was like a classifier of all the tweets and it would automatically hide the tweets or whatever like in real time that are maybe biased or or spicy or whatever. So stuff like that. But I could imagine a different use case for even some of the apps I’m talking about, the podcast generator and some of these other things that maybe I’m using an LLM like you’re saying, but I’m also using this to classify um in correlations. That might be a good uh trial run to do. So very cool.

[39:24] >> Yeah. And you brought up probably the most useful use case that is probably going to be used for at least in the immediate future is if you’re using something like open router and you have a choice between 12 different models to use to actually answer the question, I need a classifier. choose a model for me. You know, why why pay for an expensive model to do that classification? Might as well pay for a cheap Jev uh to choose which model should actually do the dirty work. >> Yeah. I’ll be interested if Jeb takes over the router world. So, very >> Yeah, basically. Yeah. All right. Well, I’m going to go hang out with my wife. Thank you so much, Frank, for giving me

[39:58] the lowdown on Jeb. I did see it all over the feed, but I said by the time I get back, there’ll be something new. But Frank’s going to tell me all about it. And then I got a bunch of new models to talk about. So, I was like, “Wow, he’s so crazy.” Never stops, man. >> Um, >> all right. Well, go play with all his new toys and set that Luna to max and have just give it a rip. It’s it’s it’s a good time. It’s so cheap. It’s just >> it’s it’s awesome. Um, all right. That’s going to do it for the six merch conflict. So, until next week, I’m James Watsono >> and I’m Frank Krueger. Thanks for watching and listening. >> Peace.