Decisões, Microsoft Decision 1 e modelos de decisão | Merge Conflict ep. 536

Autoria: Merge Conflict Podcast · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Decisions, Microsoft-Decision-1, Decisions | Merge Conflict ep. 536 · Canal: Merge Conflict Podcast · 39:31 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Modelos de IA, Modelos locais e open source

Resumo

James e Frank explicam como modelos de decisão como Jev respondem a perguntas de múltipla escolha com rapidez e baixo custo, e comentam a chegada de alternativas de OpenAI e Microsoft. Eles discutem benchmarks, velocidade, entrada de imagens, robustez e o uso de modelos menores ajustados a partir de modelos open source. Também abordam como esses modelos podem ser executados localmente e integrados a um LLM maior para delegar decisões simples. No fim, destacam que a disponibilidade de dados adequados continua sendo um dos principais desafios para criar e ajustar esses modelos.

Pontos-chave

Modelos de decisão recebem contexto e escolhem entre opções, em vez de gerar respostas longas.
A saída simples pode tornar as respostas rápidas e baratas, além de permitir fazer várias perguntas com o mesmo contexto.
Microsoft Decision 1 prioriza velocidade e foi comparado com diversos benchmarks, embora alguns sejam privados.
Microsoft Decision 1 não aceita imagens; outros modelos de decisão mencionados têm suporte a entradas visuais.
A robustez — manter respostas semelhantes diante de pequenas mudanças na entrada — é uma característica importante avaliada pela Microsoft.
Vários modelos de decisão são ajustados a partir de modelos existentes, como Qwen, em vez de treinados do zero.
Modelos menores, como os de 9 bilhões de parâmetros citados, podem ser executados localmente em computadores compatíveis.
Uma skill do OpenRouter pode encaminhar perguntas de decisão de um LLM maior para um modelo de decisão, economizando tokens e créditos.

Capítulos

Início	Capítulo	Resumo
00:00	Abertura e conversa sobre decisões cotidianas	Os apresentadores conversam sobre a semana, a venda de um Mac mini e o tema do episódio.
03:16	O que é Jev	Frank explica como Jev usa contexto para responder rapidamente a perguntas de múltipla escolha ou sim e não.
09:10	A chegada de novos modelos de decisão	Os apresentadores comentam a rápida proliferação de modelos de decisão e a chegada do Microsoft Decision 1.
12:20	Comoditização e concorrência entre modelos	A conversa aborda como concorrentes podem replicar uma ideia e competir em preço, qualidade e viabilidade.
17:42	Benchmarks e velocidade	Frank comenta os benchmarks usados pela Microsoft, as limitações das avaliações privadas e a baixa latência do modelo.
21:22	Imagens e representação do estado de um jogo	Os apresentadores discutem como jogos podem ser representados como dados estruturados e como isso difere de usar imagens.
26:10	Modelo menor, desempenho e robustez	Frank relaciona o tamanho e a ausência de visão do Microsoft Decision 1 à velocidade e detalha a avaliação de robustez.
31:01	Modelos derivados e transparência	A conversa destaca modelos ajustados a partir de outros, como Qwen, e compara modelos especializados com LLMs maiores.
35:16	Ajuste e execução local	Os apresentadores discutem o uso de dados para ajustar modelos menores e a possibilidade de executá-los localmente.
37:24	Delegação de decisões e encerramento	Frank apresenta uma skill do OpenRouter para delegar decisões a um modelo especializado, e os apresentadores encerram o episódio.

Citações

A parte boa é que ele é ajustado para esse cenário: dada uma lista de opções A, B, C e D, escolhe uma delas. — 04:23

Eu faço uma pergunta e, pronto, recebo uma resposta. — 20:19

Pequenas mudanças na entrada devem produzir pequenas mudanças na saída. — 28:19

O maior problema em ML são os dados. — 35:48

Conceitos e entidades

Jev (modelo): Modelo de decisão que responde a perguntas com opções, incluindo escolhas de múltipla escolha e respostas de sim ou não.
Microsoft Decision-1 (modelo): Modelo de decisão da Microsoft, descrito no episódio como rápido, baseado em um modelo Qwen menor e sem suporte a imagens.
OpenAI (empresa): Empresa que lançou um modelo de decisão e uma API para esse tipo de tarefa.
Microsoft (empresa): Empresa que publicou um modelo de decisão e um texto explicando seus objetivos, resultados e limitações.
OpenRouter (ferramenta): Serviço citado como forma de acessar modelos de decisão e uma skill que delega decisões a esses modelos.
Qwen (modelo): Família de modelos open source usada como base para modelos de decisão ajustados, incluindo o Microsoft Decision 1.
robustez (conceito): Propriedade pela qual pequenas mudanças na entrada produzem apenas pequenas mudanças na saída.
modelo de decisão (conceito): Modelo especializado em escolher entre opções, em vez de produzir respostas longas em linguagem natural.
fine-tuning (conceito): Processo de adaptar um modelo existente para executar uma tarefa mais específica, como tomar decisões entre opções.

Tradução completa (pt-BR)

00:00 Bem-vindos de volta ao Merge Conflict, seu podcast semanal para desenvolvedores, sobre tudo relacionado a desenvolvimento de software, IA e todas essas coisas boas. Sou um dos apresentadores, James Monttoagno, comigo, comigo… Estou meio doente, Frank. Como sempre, comigo está o Sr. Frank Krueger. Como vão as coisas, amigo? >> Ah, vão maravilhosamente bem. Ainda mais agora que sei que você está doente. Eu estou ótimo. Estou saudável. O quarto está a 120 graus porque minha rede neural continua treinando. Hoje de manhã, fiz uma fogueira agradável. Bom, alerta de spoiler: os Seahawks perderam, então estou meio deprimido, mas, tirando isso, a vida vai bem por aqui.

00:34 Não tenho decisões para tomar. Estou no piloto automático. Está tudo fácil. >> Bom, eu estou tomando algumas decisões. Primeiro, estou doente. Tipo, está tudo acontecendo. Está vindo e continua vindo [risos], e isso não é nada bom, mas pelo menos consigo falar e me sinto bem. Estou bem. É só que está… aqui em cima. Bom, já gravamos o episódio da semana que vem. Então, se as pessoas pensarem: “Ah, sabe, aconteceram alguns eventos importantes na semana passada”, na semana que vem teremos nosso grande anúncio de hardware da Microsoft

01:04 no podcast. Então, fiquem ligados. Bom, temos um monte de coisas para falar sobre isso, além dos anúncios do Windows e muito mais. Então, queríamos mesmo garantir que vocês curtissem, se inscrevessem e fizessem todas essas coisas para estar aqui. E agora estou tentando decidir onde vender meu Mac Mini, Frank Krueger. Então, isso é >> complicado. Quais são suas opções? Onde as pessoas vendem computadores hoje em dia? Você simplesmente monta uma barraca de limonada na frente de casa? Quer dizer, você mora numa cidade bem rica. Provavelmente bastaria colocar uma placa e, em

01:36 um dia, venderia, imagino. >> Certo. Então, já vendi coisas no… Normalmente, quase sempre vendo coisas no Craigslist. É minha opção padrão. Mas agora ninguém usa o Craigslist e todo mundo está no Facebook Marketplace, >> né? O Facebook Marketplace é a opção padrão, mas tem um monte de porcaria lá. Bom, eu geralmente vou direto ao eBay. >> Porcaria, James. >> É, verdade. Sim, eu geralmente vou direto ao eBay. Então, acho que as opções são o Facebook Marketplace, para vender localmente, ou o eBay. Agora, o eBay cobra uma taxa de 13%, então é meio que…

02:09 >> salgado, >> sabe. Mas já vendi coisas no Facebook Marketplace e, normalmente, são itens de 50 dólares, 100 dólares, algo assim. Não é grande coisa. Este seria um negócio de 2.500 a 3.000 dólares. Então, a questão é: você… >> Tipo, aqui tem um Mac Mini que custa uns 3.000 dólares, sabe o que quero dizer? E encontrar alguém no cinema ou no posto de gasolina da região. Parece meio… >> Um recibo, uma fatura. Você tem um formulário fiscal? Preenche uma garantia, tipo: “É, que serviços você vai

02:42 prestar? >> E se a pessoa disser que está quebrado e você responder: “Não, não estava quebrado. Agora está quebrado.” É complicado. Sempre dá medo vender algo caro, mas, quer dizer, custa mais ou menos o preço de um carro. Basicamente, você está vendendo um carro a esta altura [risos]. >> É, o Smart Car custava 4.500 dólares. Então, só estou dizendo: não custa muito mais do que isso. >> É, essa coisa tem mais RAM, com certeza. Mas, enfim, há muitas decisões a tomar. O que queríamos fazer esta semana é analisar algo que é quase uma continuação de um podcast

03:16 que fizemos recentemente, sobre um monte de modelos minúsculos. Falamos bastante sobre Luna e coisas do tipo. Mas um dos modelos de que falamos foi o Jev. E o Jev teve seu momento. Sabe, parece que todo modelo tem uma semana de destaque. E o Jev, especificamente, é um… >> Você disse, acho, que era simplesmente um decision model, sabe? Ele toma decisões, para lá e para cá. Por que você não faz um resumo bem rápido do Jev e depois conta as novidades sobre ele, antes de entrarmos nos modelos parecidos com o Jev?

03:47 >> Certo. Claro. Bom, o Jev ainda é um LLM porque recebe linguagem natural. A ideia é que você ainda pode preenchê-lo com um contexto: fornecer um monte de código-fonte, todos os dados da sua empresa ou a obra completa de Shakespeare, por exemplo, e depois fazer perguntas de múltipla escolha. E nem precisam ser perguntas de múltipla escolha; podem ser apenas perguntas de sim ou não e coisas assim. O bom dele, porém, é que foi ajustado para esse cenário. Ou seja, foi ajustado para simplesmente, diante de

04:23 opções A, B, C e D, escolher qual delas deve retornar. O bom é que não há análise de JSON na saída nem espera pela recursão para gerar uma resposta longa. Basicamente, é rápido. Quer dizer, essa é uma das coisas boas dele. E então ele responde à sua pergunta. Também fornece uma probabilidade, porque isso já acontece naturalmente com todas essas redes. Então, eles simplesmente incluíram isso. E o bom é que, como a saída dele é tão simples, você

04:55 pode fazer várias perguntas de uma só vez. E, se o seu contexto for muito maior do que as perguntas, fica muito barato obter respostas para elas. É legal. Bom, meio que conquistou o mundo porque é só mais uma maneira de usar esses LLMs avançados que nós realmente… fizemos fine-tuning. Opa, não posso usar essas palavras. Especializamos. >> Nós refinamos. [risos] >> Refinamos. >> Isso, refinamos a forma como os LLMs funcionam nos últimos anos. E isso é simplesmente um

05:29 novo modo legal, uma nova maneira de usar LLMs para simplesmente responder a perguntas, tomar decisões e, basicamente, fazer isso por um preço baixo, porque, sabe, todos os outros modelos estão ficando cada vez mais caros. Então foi meio legal poder dizer: “Ei, aqui está um modelo novo e barato.” E você pensa: “Ah, que bom. Gosto de coisas baratas.” Fazia tempo que eu não ouvia a palavra “barato”. Mas as pessoas gostam dele porque é rápido, barato e… é uma daquelas coisas em que as restrições estimulam a criatividade. Você pensa: “Bom, tudo o que ele consegue fazer é escolher entre opções de múltipla escolha. Então, hmm, que perguntas eu poderia fazer para ele?” Isso é

06:02 basicamente uma saída de múltipla escolha. Se quisermos simplificar demais, podemos dizer que é como as antigas redes classificadoras que existiam por aí: gostoso ou não, cachorro-quente ou não, >> [risos] >> análise de sentimento. É como uma dessas, mas de uso mais geral e numa versão mais moderna. Uma dessas que consegue fazer muitas coisas. >> Sim, sim. E vi muita gente fazendo coisas malucas, tipo controlar jogos, fazer diferentes tipos de previsão, monitorar decisões, como quando comprar passagens ou algo assim, porque é

06:32 tudo baseado em decisões, certo? Então, é como se fosse: “Aqui estão as decisões com base no histórico; quando devemos fazer essas coisas, XYZ?”, em vez de usar esses modelos mais gerais ou modelos ajustados para programação, por exemplo, que existem por aí. Então, você já encontrou um caso de uso no seu workflow diário para usar um modelo do tipo Jev? >> De jeito nenhum. >> Certo. [risos] >> Todo dia, quando acordo, penso: “Será que posso usar o Jev para isso?” Aí penso: “Estou com preguiça demais. Vou pagar 5.000 dólares e perguntar ao [risos] GPT7, Astra, seja lá o que for. Vou simplesmente fazer isso.” Bom, isso não significa que eu não continue intrigado com eles, mas [suspiro] para alguém como eu, que já está no mundo do ML há um tempo, esses classificadores não são novidade. Sei que é novidade porque as pessoas só conheceram a IA por meio de LLMs, com entrada e saída em linguagem natural. Então, para elas, isso é algo meio novo, mas, para mim, é uma tecnologia meio antiga. É uma tecnologia antiga

07:02 pagar US$ 5.000 e pedir ao GPT7, Astra, seja lá o que for, sabe, eu simplesmente vou fazer isso. Isso não significa que eu não continue intrigado com eles, mas, para alguém como eu, que já está há um tempo no mundo do ML, esses classificadores não são novidade. Sei que é novidade porque as pessoas só conheceram a IA por meio de LLMs e de entradas e saídas em linguagem natural. Então, isso é meio novo para elas, mas, para mim, é uma tecnologia meio antiga. É uma velha

07:36 É uma coisa antiga com uma nova roupagem, o que é legal. Entendo totalmente. Mas nunca tive uma utilidade para essa tecnologia antiga. Então, é claro que não vou ter utilidade para essa nova tecnologia. Mas isso não quer dizer que eu não fique intrigado com coisas como… você disse que já viu isso fazer algumas coisas. Uma coisa divertida que vejo com frequência é usar isso como entrada em videogames. E, se você pensar em videogames, o que está fazendo? Bom, está apertando — se você é um daqueles jogadores de teclado, desses jogadores de videogame nojentos —, está apertando os seus

08:06 botões WASD, o W e o D, e pense nisso como uma escolha. Aperto W? Aperto AD? Ou aperto a barra de espaço para atirar, ou algo assim? Então, existem jogos meio divertidos e isso é quase IA. Olha só. Mas é uma espécie de IA de NPC, e penso nisso para robótica e coisas do tipo, mas ainda há problemas para inserir dados neles. E ainda existe essa latência: você precisa acessar uma rede externa pela internet, e vai ter a latência do

08:40 Starlink, a latência dos provedores de rede e tudo mais. Então, isso me impediu de fazer qualquer coisa séria com robótica ou algo do tipo, mas ainda penso bastante nisso, porque é um uso criativo de uma tecnologia moderna na qual pensamos muito. Então, para responder à sua pergunta: não, não tenho utilidade para eles, mas ainda fico intrigado. Eu diria que, embora talvez você não tenha encontrado um caso de uso e esteja intrigado, pelo menos muitas outras pessoas ficaram extremamente intrigadas, e parece que as pessoas estão começando a trabalhar

09:10 porque agora não existe apenas um decision model; existem vários decision models, e faz só duas ou três semanas que Jev foi anunciado. Então, o que eu realmente queria fazer hoje era falar sobre algumas coisas que surgiram, porque eu não sabia disso. Você me mandou uma nota, e eu tinha ouvido falar dos decision models da OpenAI, mas não conhecia muitos desses outros. Mas a grande notícia, mais ou menos, da última semana foi o Microsoft Decision 1, que saiu e dominou pelo menos o meu Twitter. Talvez haja algum viés aí, já que trabalho na Microsoft, mas com certeza houve uma verdadeira

09:43 onda de tweets que surgiram, todos relativamente muito positivos, dizendo que era ainda mais barato, ainda mais rápido e de qualidade ainda maior. Então, achei que poderíamos nos aprofundar um pouco nesse novo mundo de decision models a que temos acesso, certo? Quando encontrarmos esse caso de uso, o que isso significa hoje e o que significará daqui para a frente. Então, Frank, o que aconteceu de fato nas últimas três semanas? Porque você tem uma lista, uma lista de desejos e um montão de… [risos] coisas

10:15 aqui. O que está acontecendo? >> Bom, basicamente, todo mundo que sabe treinar um modelo lançou um clone novo do Jev. Foi isso que aconteceu, James. Porque isso é intrigante. As pessoas de ML acham isso intrigante, e todo mundo fica tipo: “Bom, eu também consigo fazer isso.” É uma daquelas coisas que, em retrospecto, parecem óbvias, mas é preciso uma pessoa inteligente para levar a ideia adiante e dizer: “Ei, aqui tem uma coisa legal.” E aí todo mundo fica tipo: “É, isso é muito legal, e eu também consigo fazer.” Porque agora que você demonstrou, posso pensar: “Ah, eu também consigo fazer.” E, então, temos um monte de… ah, eu também consigo fazer

10:46 isso. Surgindo por aí. Na verdade, acho que a OpenAI chegou antes da Microsoft. A OpenAI lançou um decision model e uma API, o que é legal, porque fazia um tempo que não tínhamos uma API nova para essas coisas, para LLMs. Temos usado a API de chat completions. E a piada é que o setor inteiro simplesmente copiou a API da OpenAI. E agora estamos todos copiando a API de decision models da OpenAI. Nossa.

11:18 >> Sim, exatamente. [risos] Então, a OpenAI lançou um modelo. Não sabemos muito bem em que ele se baseia, mas é um pouco caro. É a OpenAI, sabe? Vai ser bom. Vai ser caro. Vai ser um pouquinho lento. Isso é a OpenAI. Então, a notícia legal, aquela que você mencionou, é que a Microsoft também lançou um. E eu realmente gostei do da Microsoft, principalmente porque escreveram uma boa publicação explicando o que queriam alcançar, os prós e contras que enxergavam no cenário e

11:48 como ele se compara aos de todo mundo, porque, de novo, agora todo mundo está lançando essas belezinhas. E, como pessoa de ML, achei ótimo. Foi uma análise detalhada de verdade. Nem tenho certeza… definitivamente não é um white paper. Nem chega a ser um relatório técnico, porque não divulgaram muita informação, mas há detalhes suficientes para vermos como estavam tentando competir. E fico um pouco mal. Quero dizer isso logo de início: fico um pouco mal pelas pessoas do Jev, porque é horrível dizer:

12:20 “Ei, trabalhamos nessa coisa por dois anos. Não é legal?” E todo mundo responde: “É, muito legal.” E aí todo mundo aparece e copia. É um pouco desanimador. Dá uma dorzinha. [risos] >> Bom, quero dizer, a Microsoft aparece. Acho que, nesse sentido, essa é mais ou menos a realidade em que vivemos, até certo ponto. Não que haja cópias, mas é tipo: ei, escuta, esse é um caso de uso viável e agora podemos >> correr — estamos correndo nesse ritmo. E às vezes você vê isso quando, sabe, há todos

12:53 esses artigos dizendo: “Ah, existe esse software há 20 anos”, e aí: “Ah, alguém acabou de disponibilizar algo como open source ou alguém criou uma coisa muito legal.” E aí você pensa: “Bom, posso simplesmente fazer um clone, certo?” E a questão acaba sendo: >> certo, qualquer um pode, a essa altura >> com tokens suficientes, fazer um clone de algo, fazer alguma coisa, fazer acontecer. Mas qual é o >> negócio de verdade por trás disso? Qual é a qualidade? Qual é a viabilidade de longo prazo desse software ou produto que está por aí? Seja na hora de comprar um carro — falamos disso

13:24 com a caminhonete Slate, por exemplo: é nova, uma caminhonete novinha. Qual é a viabilidade de longo prazo dessa empresa? Eu estava conversando com um amigo que mora a algumas quadras daqui. Eles instalaram painéis solares na casa, e nós acabamos de instalar painéis solares na nossa. A empresa daqui está no mercado há muito tempo, o que, na verdade, não significa nada, mas pelo menos todo o equipamento é da NPhase, que existe há séculos — de novo, isso não significa nada. E eu estava conversando com eles, perguntando: “Ah, como é a instalação de vocês?” E eles disseram: “Sabe, não sei bem, mas

13:55 era uma empresa, aí, sabe, eles ficaram por aqui um tempo e depois foram comprados por outra empresa, e veio de alguma outra empresa e tal.” E você pensa: “Então, nem sei o que acontece se der algum problema, certo?” Então, é… e é a mesma coisa quando você vai comprar um produto na loja, certo? Você sabe que, quando vai à Dollar Tree — sem querer falar mal da Dollar Tree; eu vou à Dollar Tree com bastante frequência —, sabe no que está se metendo. E há vários níveis de qualidade na Dollar Tree ou na Dollar General, onde quer que você esteja, certo? Quando compro alguma coisa por US$ 1,50, em comparação com ir a outra loja por US$ 5, isso não significa exatamente

14:30 que a opção de US$ 5 tem mais qualidade. O que isso significa é que vou pesquisar um pouco mais a fundo essa opção, que é mais barata e mais rápida, e talvez ela tenha a mesma qualidade que a opção de US$ 5. Estou pagando a margem do varejo porque aquela chegou primeiro ao mercado ou, por exemplo, porque tem uma marca conhecida. Se eu comprar uma camiseta branca da Hannes, em vez de uma da Nike ou de uma Yeezy, certo? Todas têm preços diferentes, mas sabe o que elas são no fim das contas? Uma camiseta branca. Agora, há muitos elementos diferentes aí dentro. Então, acho que é por isso que isso é realmente

15:02 interessante, porque vamos ver cada vez mais disso, assim como vimos os modelos terem uma enorme variação entre baixo, médio, alto e extremo. Sabe, você tem seus haicais, seus sonetos, seus Opus, seus Fables, suas Lunas, suas Souls, seus Astros, por exemplo, como você estava dizendo. E agora temos isso: não apenas os principais LLMs, mas também muitas

15:32 empresas diferentes lançando coisas, e agora temos esses novos modelos especializados que também estão surgindo nessa mesma linha. Então, temos esse exemplo longo de: “Ei, conversamos sobre isso no episódio sobre LLMs locais, sobre o que você está executando e também sobre: será que posso simplesmente usar um modelo Qwen ou um modelo da Nvidia?”, >> [fungada] >> talvez rodando no OpenRouter, ou qualquer outra coisa, um modelo Deepseek, certo? E eu poderia estar obtendo exatamente a mesma qualidade, sabe, mas a um custo diferente, ou poderia achar que estou obtendo a mesma qualidade a

16:03 um custo menor, sabe o que quero dizer? É realmente… temos muitas dessas diferentes ramificações de decisão na cabeça que agora podemos avaliar mais a fundo, se quisermos. [risos] Enfim, só acho interessante porque, com esses modelos, também dá para aplicar isso a coisas da vida real, certo? Porque, sabe, um bom exemplo é este. >> Imagine que você vai trocar o piso da sua casa, certo? Sabe, se você vai comprar carpete, há muitos tipos de carpete, mas, se vai comprar pisos, como pisos de madeira, há vinil, vinil de luxo,

16:35 madeira engenheirada, madeira maciça de verdade. Tenho certeza de que há algo além disso, certo? Sabe, há todos esses níveis diferentes, e isso não significa que um seja melhor que o outro. Depende do seu caso de uso e da sua situação, certo? Se você tem uma família e um monte de cachorros, talvez o LVP seja a melhor opção para você neste momento da vida, em comparação com uma situação numa área de alta umidade, onde talvez a madeira engenheirada não seja exatamente o que você precisa. Só estou dizendo. Então, enfim, só estou dizendo: uma grande placa de mármore. Quer dizer, você realmente não precisa de mais nada: uma placa enorme, enorme

17:09 de mármore, mármore. É isso. É só disso que Frank Krueger precisa para o piso. [risos] Perfeito. >> É. O que você está descrevendo se chama comoditização. É surpreendente a rapidez com que isso aconteceu no nosso caso. >> E isso sempre me lembra daquela citação de Steve Jobs. Acho que ele falou sobre o Dropbox. Ele disse: “Isto não é uma empresa. Isto é um recurso.” E acho que, infelizmente, é difícil… [risos] >> Bem, a OpenAI e a Microsoft acabaram de provar isso. Elas disseram: “Ei, temos essa coisa chamada Azure Foundation e adivinha o que tem agora no Azure Foundation?”

17:42 [risos] “Aqui está o seu próprio decision model.” Olha só. Veja como o colocamos de pé tão rapidamente. Mas também quero falar sobre por que eles conseguiram colocá-lo de pé tão rápido. Algumas coisas rápidas sobre ele: com certeza, eles priorizaram a velocidade. Então, é interessante ver em que as pessoas começam a competir quando algo se torna uma commodity. Tipo, certo, sobre o que vamos falar aqui? E gosto do que a Microsoft fez, porque basicamente estabeleceu quais seriam os critérios que usaríamos para avaliar

18:15 essas coisas, e divulgou um monte de benchmarks. Hoje temos benchmarks péssimos para LLMs, mas temos muitos deles. [risos] Então, talvez, com tantos, a quantidade supere a qualidade. Há algo a se considerar aí. Mas a Microsoft avaliou seu modelo com 36 benchmarks diferentes. Alguns públicos, outros privados. Odeio benchmarks privados, porque não há como provar o que ele fez. Então…

18:46 >> Microsoft, não mencionem esses benchmarks privados idiotas. Joguem isso fora. Ou é público, ou caiam fora, sinceramente. Qualquer pessoa pode inventar um benchmark privado e dizer que venceu nele, sabe? Vamos lá, Microsoft. Mas, para sermos justos, eles competiram em vários benchmarks públicos, e há alguns benchmarks públicos padrão. Por exemplo, há um chamado Jev Bench. >> Claro. >> Ironicamente, Jev não está no Jev Bench. [risos] >> Por quê? >> Por um motivo muito bom. Jev ainda é meio que uma versão beta. Tenho acesso a ele,

19:18 >> mas parte dos termos de serviço diz que não se pode fazer benchmark com ele. [risos] Ah. >> É. Então, a Microsoft está numa situação difícil. Ela não pode realmente se comparar ao Jev. Então, se você quiser comparar o decision model da Microsoft ou o decision model da OpenAI com o Jev, vai ter que fazer isso por conta própria e não poderá divulgar esses dados. >> Mas, felizmente, um milhão de outras pessoas lançaram seus próprios decision models. Então, de fato,

19:49 temos uma boa referência do que é bom e do que é ruim no Jev Bench. E alguns já chegaram ao topo. Mas, enfim, há qualidade ali. Isso é legal. Só que também há a velocidade, porque ela é muito importante. A velocidade faz parte disso, porque algumas das primeiras demonstrações do Jev eram do tipo: “Ei, ele consegue controlar um robô. Ei, ele consegue jogar um videogame.” Então, não é como quando peço ao Astra ou ao Opus para fazer algo e depois vou buscar uma xícara de

20:19 café, fico meia hora fora e vejo o modelo pensar em círculos. É que eu pergunto algo e, pá, recebo uma resposta. E essa também é uma parte agradável. Você pensa: “Ah, sim. Computadores podem ser rápidos se forem programados para ser rápidos.” >> É. [risos] >> Às vezes, é realmente revigorante. Outra citação de Steve Jobs: é como dar um copo d’água a alguém preso no inferno. [risos] Então, por algum motivo, estou pensando muito em Steve Jobs. >> Percebi. Percebi. [risos] [suspira] >> Então, eu… Então, é rápido. Se você olhar o gráfico deles, está no topo. É

20:50 rápido. 125 milissegundos para obter uma resposta. Dá para receber oito respostas por segundo. É quase rápido o bastante para jogar Unreal Tournament. Não. >> Mas, sabe, estamos chegando lá. >> Bem, 60 quadros por segundo. Isso significa que você está processando, sabe… Ah, acho que seria… >> É, por segundo. Na verdade, é bem rápido. Tipo… >> É muito bom. >> É. >> É mais rápido do que você consegue pressionar uma tecla. É mais rápido do que você consegue apertar… >> É. >> tomar a decisão de apertar alguma coisa. Você está atirando. Fico pensando no que eles chamam

21:22 >> Frankenstein. [risos] >> Dá para jogar Doom? É, aposto que sim. Sabe, eu vi… >> Acho que essa foi uma das demonstrações. >> Eu vi jogando Space Invaders e vi jogando Tetris, claro, como exemplo clássico. >> Certo. >> Certo. Vamos falar sobre esses decision models. Você fornece contexto a eles, e o contexto geralmente é em linguagem natural, mas avançamos no mundo dos LLMs a ponto de podermos fornecer imagens aos LLMs. Não é como dizer: “Aqui está uma captura de tela do meu aplicativo; diga como melhorá-lo”, blá-blá-blá.

21:53 >> Então, o Jev consegue receber imagens, os modelos de decisão da OpenAI conseguem receber imagens, mas o da Microsoft não. >> Então, essa é uma pequena observação. Eles têm números ótimos e boas pontuações em benchmark, mas há uma distinção importante: ele não consegue processar vídeo. Aí você pensa: “Tudo bem, mas um dos benchmarks em que eles dizem ter se saído muito bem foi jogar Space Invaders. Então, o que está acontecendo, James? O que você acha que eles estão fazendo?”

22:26 >> Bem, você simplesmente pegaria a… Bem, sabe, pegaria a grade: cada instantâneo no tempo, cada quadro tem algum tipo de dado associado a ele. Então, você passa esses dados para a árvore de decisão e representa os invasores, a nave, os asteroides atrás dos quais você está, ou as bases atrás das quais você está, seja lá o que for. E também enviaria todos os dados, como os tiros, os seus tiros. Então, você deveria conseguir passar, praticamente em tempo real, todos esses dados…

22:57 de um lado para o outro para decidir para que lado se mover, se deve atirar e assim por diante. Pelo contexto, eu presumiria que é isso que estão fazendo. Na verdade, imagino que isso seja mais rápido do que enviar imagens, que o modelo teria de analisar, porque os limites… Por exemplo, os limites de Space Invaders são, eu diria, bastante determinísticos. É… >> E mesmo se, digamos, você estivesse jogando

23:28 outro jogo, como Fortnite, com a aleatoriedade e o controle humano, o instantâneo de cada quadro — o instantâneo dos dados recebidos — obviamente seria bem maior, mas ainda seria um instantâneo definido do estado do mundo naquele momento, porque o próprio loop do jogo processa esses dados a cada quadro. Então, você simplesmente passaria esses dados para, eu acho, o Mai ou o Microsoft Decision 1, nesse…

23:59 caso. >> É isso que eles estão fazendo? Imagino que sim. >> Mais ou menos. O maior problema desse benchmark é que ele é privado e não foi divulgado ao público. Então, todos nós temos que meio que adivinhar o que fizeram. Sinceramente, o seu palpite é tão bom quanto o de qualquer outra pessoa. Mas o fato é que você precisa pegar essa representação gráfica e representá-la como texto de alguma forma. >> A pior maneira possível de fazer isso seria converter a tela gráfica para ASCII. Sabe aqueles visualizadores de imagem que as pessoas usam no…

24:29 terminal? Não façam isso. Eles não estão fazendo isso. É bom que não estejam fazendo isso, porque seria uma burrice. Esses modelos não foram treinados com isso. Os modelos são treinados principalmente com linguagem natural e JSON. Sinceramente, JSON é nossa representação universal de dados. Então, o mais provável é que estejam dizendo algo como: “Aqui está uma lista de alienígenas. Aqui estão talvez as coordenadas espaciais, a posição X e Y. Aqui está a posição do jogador. Aqui estão as balas em movimento.” Esqueci todos os parâmetros, mas, sim, é preciso capturar o espaço de estados. Então, se eu quisesse fazer isso com um robô, teria de capturar o espaço de estados do robô em algum tipo de…

25:04 dado estruturado, provavelmente JSON, e não apenas linguagem natural. Então, todo mundo está supondo que é mais ou menos assim que eles estão fazendo. Infelizmente, isso significa que ele não consegue fazer coisas simples, como jogar um jogo de Atari. Já os outros conseguem, porque aceitam entrada visual. E quero contestar um pouquinho o que você disse sobre o texto ser sempre menor do que uma imagem. Isso não é garantido, na verdade, porque… >> Esses números variam bastante, mas normalmente essas redes pegam uma…

25:37 imagem e a dividem em células de 32 por 32 pixels. Cada uma dessas células de 32 por 32 pixels vira um único token. Então, a resolução da imagem determina quantos tokens você terá. Sim. Uma imagem de alta resolução, se você capturar cada pedacinho dela, pode mesmo exigir muitos tokens. Mas, no caso de uma tela de Atari, provavelmente não são tantos tokens assim. Mas isso é tudo especulação. Só queria ressaltar que nossos modelos de linguagem grandes, na verdade, fazem mais…

26:10 do que apenas processar linguagem. Eles também processam imagens. >> E, sinceramente, isso é um pouco frustrante. Estou pulando um pouco para o final, mas a Microsoft conseguiu lançar essa coisa porque, no fundo, ela é apenas um fine-tune de um modelo open source. É um fine-tune do maravilhoso e adorável modelo Qwen, que eu adoro porque roda na minha pequena e fofa RTX 390. Estou empolgadíssimo. Acho que devia tocar um sino. Toda vez que menciono isso no podcast… [risos] >> porque sou apaixonado por ele. E, na verdade, é um Qwen pequeno. É o Qwen com 9 bilhões de parâmetros. Então, dá para…

26:43 rodar o modelo com facilidade. Você poderia rodar o Microsoft Decision 1 facilmente na sua própria máquina, se eles o disponibilizassem publicamente. Mas não disponibilizaram. Ele é privado. Ainda assim, há muitos desses modelos de decisão no Hugging Face, se você quiser procurar, e talvez incluamos alguns links para eles aqui. Só quero deixar claro que uma das razões para a velocidade é que se trata de um modelo com apenas 9 bilhões de parâmetros e que eles removeram a parte visual. Então, estão fazendo apenas…

27:14 a parte técnica, e é um modelo com 9 bilhões de parâmetros. Então, a Microsoft está tomando boas decisões de engenharia e também se beneficiando de pesos abertos. Microsoft, talvez você devesse contribuir mais com pesos abertos para o mundo também. Sabe, se você pega algo, deveria devolver algo. Só estou dizendo. Hashtag só estou dizendo. [risos] Então, o motivo de ser rápido é que é um modelo menor. É só isso. >> Mas uma coisa que apreciei muito na publicação do blog deles foi o tempo que dedicaram para garantir a robustez.

27:48 E isso é algo que não vi muitas outras pessoas testarem. É algo em que penso bastante quando se trata desses modelos: se você mudar só um pouquinho a formulação de algo, quanto isso afeta a saída? >> Isso, na verdade, é uma definição de engenharia em sistemas de controle. O que… Esse é outro campo. É a minha área: sistemas de controle. Mas temos uma definição bem rigorosa de robustez, e ela é muito simples: pequenas mudanças na entrada devem produzir pequenas mudanças na…

28:19 saída. Isso significa apenas que o sistema não é instável. Sabe, você muda uma pequena expressão aqui ou ali e ainda vai obter uma resposta mais ou menos igual da máquina. E a Microsoft basicamente transformou isso em um benchmark, ou algo assim. Usaram isso como princípio orientador para treinar esse modelo. Então, testaram, por exemplo, se importa a ordem em que você apresenta as respostas. Eu disse que são todas perguntas de múltipla escolha. Então, importa a ordem em que você apresenta as respostas? Importa se você reformular um pouco a entrada? E, para…

28:52 mérito deles, o modelo não é o melhor nisso. Outros modelos têm desempenho superior. Os modelos que superam o deles são muito maiores e muito mais lentos. Então, você meio que esperaria isso, mas é bom ver benchmarks de engenharia adequados, porque sinto que muitos dos benchmarks que vemos por aí são horríveis [risos] e não têm absolutamente nenhuma base de engenharia. É a primeira vez que vejo alguém apresentar um benchmark realmente sério, e ele é sobre robustez. Isso é algo com que me importo bastante, porque…

29:25 já treinei muitos modelos de ML que produzem ótimos resultados, desde que você não altere muito as entradas. Mas, no momento em que você dá a eles uma variação da entrada ou algo que nunca viram antes, eles simplesmente agem como idiotas. Então, para mérito deles, eles realmente se dedicaram a isso. E a robustez também abrange vários tópicos. Por exemplo, será que treinaram o modelo para prever o mercado de ações? Provavelmente não. Mas, sabe, esse é um universo de coisas. Treinaram para tomar boas decisões na vida? Sabe, será que eu deveria terminar…

29:58 com a Sally? Sabe, essa é uma pergunta meio importante. Temos um benchmark para isso? E [suspiro] então, é só… [risos] Sim, exatamente. Só porque é um decision model não significa que seja um problema simples. Na verdade, é um problema incrivelmente difícil, se você está dizendo que existe um universo de coisas sobre as quais se pode tomar decisões. E os dados de treinamento, para ser sincero, vão ser muito escassos. É difícil conseguir uma boa amostragem aleatória de todas as decisões possíveis que os seres humanos já tomaram. Sim,

30:28 >> esse é um universo muito grande de perguntas abertas. Então, foi legal ver eles enfrentarem isso e reconhecerem isso. >> De certa forma, é mais fácil do que com LLMs, porque você não está pedindo para ele, sabe, gerar um livro ou qualquer coisa assim. Mas, ao mesmo tempo, isso realmente mostra como é difícil para os LLMs também, porque eles estão gerando um livro nesse universo de possibilidades. E, se você simplesmente disser: “Bem, meu universo é o universo das possibilidades, mais essa coisa de múltipla escolha”, você pensa: “Bem, a entrada ainda é o universo. Continua sendo grande e difícil.” Então, é legal.

31:01 Aliás, é uma boa publicação de blog. Também é bem escrita. Então, espero que todo mundo vá ler. >> Vamos colocar um link nas notas do programa, claro. E, sim, acho legal que, ao acompanhar, você veja, obviamente, Jev, Quietette, Rune, H2O, Lightning, Luna Decision, que mencionamos, Deck. Tem todos esses diferentes aqui. Assim, você pode conhecer os outros decision models que existem e que também estão entre os primeiros colocados no dev bench. E também queria comentar, porque não tenho certeza sobre o Luna especificamente, se ele foi fine-tunado a partir do Luna. Imagino que talvez sim, ou algo assim, mas

31:34 você aprende isso na… E a pergunta que eu ia fazer, mas que você já respondeu, é: como essas coisas surgiram tão rápido? O que você acaba descobrindo ao acompanhar é que muitos deles são fine-tunados a partir de outros modelos que já existem. E sabe qual é o ponto importante aqui, relacionado ao que você disse? Obviamente, concordo com você sobre dar e receber, mas a transparência também é muito importante. E muita gente apontou, logo depois que a publicação saiu, que ele

32:06 foi, sabe, fine-tunado com Qwen 3.5 9B. E isso estava bem ali na publicação do blog, literalmente logo no começo: “Aqui está e é assim que chegamos a esse resultado.” >> Sim, e você vê que o Quietette é um modelo fine-tunado com Gemma 3 1B, e há todos esses outros aqui também. Não quer dizer que essa seja a única maneira de chegar lá. Mas isso significa que você pode fazer fine-tuning em cima desses modelos que já existem para realizar tarefas muito específicas. E esse é o mundo para o qual estamos caminhando: criar algumas dessas coisas mais rápido do que nunca,

32:37 certo? Então, vai ser muito interessante ver como isso evolui. Acho que a única coisa… Na verdade, achei engraçado um trecho da publicação do blog, mas também fico feliz que tenham incluído, embora pareça um pouco provocativo: em muitos desses gráficos que a equipe apresenta, também há uma comparação com o GPT-4o. E a razão para isso não é provocar o GPT-4o, mas

33:08 é apontar que o GPT-4o não é um decision model. Então, se você está tentando usar especificamente o GPT-4o para tomar decisões, vai acabar obtendo resultados muito mais lentos e muito mais caros, e talvez nem mesmo com a precisão que deseja. Então, vale pensar nisso. Mas fico feliz que tenham incluído. Acho engraçado porque é a barra mais alta. Queria que tivessem colocado mais LLMs grandes ali, sinceramente, porque eu

33:41 quero saber: estou superando os modelos maiores? >> É verdade. Modelos pequenos. >> E a razão de estar superando eles é que todos esses modelos grandes são fine-tunados para fazer um certo tipo de tarefa, e essa tarefa geralmente é conversar com um ser humano e executar porcarias de agent. [risos] Esses são os dois fine-tunings que fazemos, mais ou menos, em todos esses modelos. Então, o que todo mundo gostou no Jev foi: “Ah, e se fizermos fine-tuning para outra coisa?” Porque

34:14 eles são fine-tunados. E isso é importante porque não queremos treinar essas coisas do zero. Elas precisam entender inglês, alemão, árabe, chinês — tudo. É preciso muito dinheiro e recursos para fazer com que entendam tudo isso. A pergunta é: certo, agora que elas entendem tudo isso, em graus variados — use o verbo que quiser —, o que podemos fazer com as saídas? Como podemos tornar as saídas mais eficientes? Que tarefas mais interessantes podemos realizar com essas

34:45 saídas? E acho que é por isso que as pessoas de ML também estão animadas com isso. Não é só propaganda de marketing. É tipo: “Ah, sim, temos essas coisas muito sofisticadas. Vamos fazer fine-tuning para que façam algo além de agradar as pessoas em uma interface de chat.” Porque, sinceramente, [risos] por mais que todos nós gostemos do ChatGPT, a interface de chat… >> Ela é bonitinha. É bonitinha, mas vai desaparecer. Todos sabemos que, eventualmente, ela vai desaparecer. Tudo vai ter um pouquinho de interface de chat. E a piada é que esses

35:16 modelos conseguem fazer essa coisa de chat. É que, quando você faz fine-tuning deles para serem sistemas de perguntas e respostas, eles ficam piores em chat, porque estamos afastando-os desse fine-tuning. >> Sim, faz sentido. Bom, é muito legal. É legal entender melhor isso. E, se todo mundo está fazendo fine-tuning desses modelos, por que você não cria um, Frank? >> Exatamente. Bom, é porque minha GPU está ocupada fazendo outra coisa agora. Já mencionei como está quente nesta sala? [risos] >> Que bom. Está frio. Estou de jaqueta. >> Mas, sim, especialmente porque é um modelo de 9

35:48 bilhões de parâmetros. Você pode facilmente acessar o Google Colab. Nem precisa de uma GPU e, provavelmente, em apenas um ou dois dias, consegue fazer fine-tuning de um desses bichinhos. O maior problema em ML são os dados. Então, se você tiver um grande banco de dados de perguntas e respostas — e quero dizer grande, precisa ser grande —, também pode baixar alguns exemplos, por exemplo, no Hugging Face, e fazer fine-tuning dessas coisas por conta própria. O que é muito legal, porque são pequenos o bastante para serem modelos locais. Então, talvez você tenha dificuldade para executar um Qwen de 27 bilhões de parâmetros

36:22 com a pouca VRAM que tem, mas um modelo de 9 bilhões de parâmetros? Ah, esse dá para executar. Muita gente consegue rodar esse modelo. E aí você pode executar seu próprio tomador de decisões localmente. E é aí que você realmente pode começar a… Não trapaceiem nos videogames, pessoal, mas é aí que você pode começar a trapacear nos videogames [risos], porque tudo está rodando localmente. Você não está pagando por servidores externos nem nada disso. Não contem para o Azure Foundry que eu disse isso. Tento manter a boa vontade deles. Mas o legal dos modelos pequenos com fine-tuning é que você pode

36:53 executá-los localmente. >> Bom, você também tem o Foundry Local. Só estou dizendo. Então, você pode simplesmente baixar esses modelos. Está tudo pronto. Agora, está tudo lá. Quer dizer, vamos ouvir bastante sobre isso na semana que vem, quando voltarmos ao evento do Surface e do Windows para falar sobre modelos locais. Vamos nos aprofundar nesses novos dispositivos que têm 128 GB de RAM e uma RTX Spark. Estou bem animado com isso também. Mas acho que isso é uma boa preparação para o evento, porque >> bom, não íamos falar dos dispositivos até a semana que vem, mas uma coisa muito importante é meio que

37:24 cada vez mais modelos locais rodando e tomando decisões em seu nome. Então, daqui para a frente, só vamos melhorar: modelos menores, mais enxutos e mais rápidos, à medida que isso avança. Acho que isso faz bastante sentido e, como você está dizendo, poder executá-los localmente. Por que não? Sim. E uma coisa que quero mencionar — e isso volta à sua pergunta sobre se eu pessoalmente encontrei uma utilidade para eles — é que, mais uma vez, a resposta é não. Mas a Open Router lançou uma skill, um arquivo skill.md.

37:59 A propósito, a Open Router está totalmente investida nessas coisas. Então, eles têm o mesmo endpoint de API que a OpenAI. Se você tiver uma conta na Open Router, pode começar a fazer chamadas para esses modelos. Você pode até fazer chamadas para o Microsoft Decision com ela, porque esse modelo está no Azure. A Open Router vai lá e chama aquele modelo. Então, há um arquivo de skill, um arquivo Markdown que você pode importar, e ele diz ao seu LLM grandalhão e lento: “Ei, se você tiver que tomar uma decisão, aqui está uma maneira

38:29 de acessar um decision model. E aqui, preencha-o com este contexto. Dê a ele estas perguntas de múltipla escolha e depois deixe-o processar tudo. Então, é outra boa maneira de poupar seus próprios tokens, seus próprios créditos e todo esse tipo de coisa. Pretendo experimentar um pouco essa skill, ver como funciona e tudo mais. Estou animado com essa skill porque, caso contrário, não estava a fim de criar um harness inteiro. Sabe, não há muitos harnesses criados em torno disso, porque ainda estamos todos

39:01 brincando com harnesses de LLMs grandes no momento. Não, vou colocar todos os links nas notas do programa: o do blog sobre o Decision-1 e também o da skill da Open Router. Vou incluir links para mais algumas coisas também. Isso é muito legal. Mas, Frank, obrigado por explicar tudo isso para mim. Agradeço por você ter feito todo o trabalho pesado esta semana. E você preparou uma boa lista com todos os links diferentes também. Agradeço muito. >> Sim, adoro mandar links para você porque simplesmente presumo que não vai abrir nenhum deles, mas acho que desta vez você leu alguns. >> [risos] Li. Fiz o melhor que pude. Fiz o melhor que pude. Bom, é isso

39:31 para o Merge Conflict desta semana. Deixe seu like, inscreva-se, faça todas essas coisas. Na semana que vem, teremos um episódio incrível sobre o evento do Windows e do Surface. Vamos nos aprofundar no Ultra e no Devbox. Você não vai querer perder. Mas é isso para o Merge Conflict desta semana. Decisão tomada. Frank Krueger. Bum. Mais um capítulo concluído. Eu sou James Montemagno. >> E eu sou Frank Krueger. Obrigado por assistir e ouvir. Falou.

Transcrição original

[00:00] Welcome back everyone to Merge Conflict, your weekly developer podcast talking about all things in software development and AI and all those goodies. I’m one of your hosts James Monttoagno with me with with me. I’m a little sick, Frank. With me as always, Mr. Frank Krueger. How’s it going, buddy? >> Oh, it’s going wonderful. Especially now that I know that you’re sick. I I’m doing wonderful. I’m healthy. The room is 120 degrees because my neural network keeps training. I had a nice fire going this morning. Um, spoilers. The Seahawks lost, so it’s a little depressing, but aside from that, life is good over here.

[00:34] I have no decisions to make. I’m I’m just running on autopilot. Everything’s easy. >> Well, I’m making a few decisions. One, I am sick. Like, everything is just like happening. It’s like coming and it’s still going [laughter] and uh that’s not great, but I can at least talk and like I feel okay. I feel okay. It’s just it’s like uh up in there. Um, now we are we already recorded next week’s episode. So if people are like, oh, like you know, some big events happened last week, next week we’ll be having our big Microsoft

[01:04] hardware reveal podcast. So stay tuned for that. Um, so we have a whole bunch of stuff to say on that and also the Windows announcements and so much more. So we really wanted to to to make sure that you’re liked, subscribed, and done all the stuff to be here. Uh, and I’m currently having a decision to where to sell my Mac and Mini Frank Krueger. So, that is >> tough one. What are your choices? Where where do people sell computers now? Do you just like put a lemonade stand out in front of your house? I mean, you’re in a pretty affluent town. You could probably just put a sign up and within a

[01:36] day sell it, I I assume. >> Okay. So, I’ve sold stuff on I usually almost always sell stuff on Craigslist. That’s like my go-to. But now, no one’s on Craigslist and everyone’s on Facebook Marketplace, >> right? It’s like Facebook Marketplace is like the go-to, but it’s like all this junk on there. Um, however, I mostly just go to like eBay. >> Junk, James. >> Yeah, that’s true. Yeah, I I’d usually just go to eBay. So, I figure it’s like it’s it’s Facebook Marketplace local or or eBay. Now, eBay has a 13% fee, so it’s like

[02:09] >> hefty, >> you know. However, like I’ve sold stuff on Facebook Marketplace and usually these are items that are, you know, 50 bucks, h 100 bucks, whatever. Not like a big deal. This would be like a 2500 to $3,000 purchase. So, the question is, do you >> like in here is a little Mac Mini that’s like $3,000, you know what I mean? Like and meet up with somebody at the local movie theater or gas station. You know, it feels a little >> a receipt, an invoice. Do you have a tax form? you fill out a warranty like, “Yeah, what services are you going to

[02:42] provide? >> What if they say it’s broken and you’re like, no, it wasn’t broken. Now it’s broken.” It’s a tough It’s always scary selling something big, but I mean, it is roughly the price of a car. You’re basically [laughter] selling a car at this point. >> Yeah, the smart car was $4,500. So, I mean, just saying, it’s not that much more than that. >> Yeah, this thing has more RAM in it, that’s for sure. But uh yeah, lot lots of decisions to be had. But what we wanted to do uh this week is break down kind of almost a followup of a podcast

[03:16] we did recently which was about a bunch of little tiny models. Like we talked a lot about Luna and things like that. However, um one of the models we talked about was Jev. And Jev had its like moment. You know, every model seems to have like a week of of its moment. And Jev specifically is a >> you I think you were like this is just a decision you know model. It’s making decisions in and out. Why don’t you give a a Jev TLDDR and then Jev update before we get into like Jev lookalikes.

[03:47] >> Okay. Sure. Um so Jev is still a large language model because it takes in natural language. So the idea is you can still fill it with a context. give it a bunch of source code or give it all your company’s data or give it the collective works of Shakespeare or something and then you can ask it basically multiple choice questions and it doesn’t even have to be multiple it could be just yes no questions and things like that. So the nice thing about it though is it’s tuned for that scenario. So it’s tuned to just give you, you know, given

[04:23] options A, B, C, and D. Choose which one of those options to output. The nice thing is there’s no like JSON parsing of the output or waiting for um the re recursion to happen to generate a long response. Basically, it’s fast. I mean, that’s one of the nice things about it. And then it gives you an answer to your question. And it also gives you a probability with it because that happens naturally with all these networks anyway. So they’re just throwing that in. And then the nice thing is because um its output is so simple, you can

[04:55] actually ask it multiple questions all at once. And if your context is much bigger than your questions, then those questions become very cheap to have it answer. Uh it’s it’s cool. Well, it kind of took over the world because it’s just another way to use these advanced LLMs that we’ve really um fine-tuned. Oo, that’s can’t use those words. Specialized. >> We’ve refined. [laughter] >> Refined. >> Yes, we’ve refined how LLMs work for the past few years. And it this is just a

[05:29] nice new mode, a nice new way to use LLMs um to just answer questions and make decisions and basically do it for cheap cuz you know what the all the other models are getting more and more expensive. So it was kind of nice to be like, “Hey, here’s a new model and it’s cheap.” And you’re like, “Oh, that’s nice. I do like cheap.” It’s been a while since I’ve heard the word cheap. Um but people like it because it’s fast, it’s cheap, and it it’s it’s one of those things where like constraints breed creativity. You’re like, well, all it can do is choose from a multiple choice output. So, hm, I wonder what questions I can pose to it. That’s

[06:02] basically a multiple choice output. If we want to be reductive, we can say it’s like the old classifier networks that used to be out there. Hot or not, hot dog or not, >> [laughter] >> um, sentiment analysis. It’s like one of those, but a more general purpose and a more modern version. One of those that can do a lot of things. >> Yeah. Yeah. And I’ve seen a lot of people do a whole bunch of crazy things like you know drive like games, make like you know different forecasting like monitor like decisions like when to purchase tickets or whatever cuz it’s

[06:32] all decision based right? So it’s like here’s decisions based on the historical part like when do we do these things XYZ instead of these more general models or models that are fine-tuned for uh coding for example um that are out there. So, have you yet to find a use case in your daily workflow to use a Jev type model? >> Absolutely not. >> Okay. [laughter] >> I want to like every day I wake up, I’m like, could I use Jev for this? I’m like, I’m too lazy. I’m just going to

[07:02] pay $5,000 and ask [laughter] GPT7, Astra, whatever the heck, you know, I’m just going to do that. Um, that doesn’t mean I’m not still intrigued by them, but [gasps] for a person like me that’s been in the ML world for a while now, these classifiers are not new things. I know it’s new because people have only been introduced to AI through LLMs and natural language input and output. So, this is kind of new to them, but to me, this is kind of old tech. It’s an old

[07:36] It’s an old thing with a new spin, which is cool. Totally get it. But um I never had a use for that old tech. So of course I’m not going to have a use for this new tech. But that’s not to say that like I’m not intrigued by things like um you said you’ve seen it do some things like a fun one that I see it do a lot is do like video game input. And if you think about video games, what are you doing? Well, you’re pressing if you’re a if you’re a keyboard one of those disgusting keyboard game players out there, you’re you’re pressing your

[08:06] WASD buttons, your WD, and think of that as a choice. Do I press W? Do I press AD? Or do I press the space bar to shoot or something like that? Um, so there’s actually like kind of fun games and um this it’s almost AI. Look at that. but like NPC kind of AI and I think about it for robotics and things like that, but there’s problems with inputting data to them still. And there’s still this latency of you’re still having to go out to this foreign network over the internet and you’re going to have your

[08:40] Starlink latency and you’re going to have the network providers latency and all that. So, it’s prevented me from doing anything serious with like robotics or anything, but I still think about it a lot because it is a creative use of a modern tech that we think about a lot. So, to answer your question, nope, have no use for them, but I’m still intrigued. I would say while you maybe have not found a use case and you have been intrigued at least many other people have been extremely intrigued and it seems like people are getting to work

[09:10] because there’s not just like one decision model now there’s many decision models and it’s only been like two or 3 weeks since Jev was announced. So, what I really wanted to do today was talk about some of the things that have come out because I actually didn’t know like you sent me a note and I was I’ve heard of the OpenAI decisions, but I haven’t heard a lot of these other ones. But the big sort of news in the last week was Microsoft decision one that came out that really took at least my Twitter. you maybe there’s some bias there since I work at Microsoft, but like there was definitely some um really

[09:43] um storm I would say of tweets that came out and uh all relatively extremely positive for being even cheaper and even faster and even higher quality on it. Uh, so I figured we’d dive a little bit deeper into this new world of decision models that we have access to, right? When we do find that use case, what it means today and what it means going forward. So Frank, what has actually happened in the last three weeks? Because you have a list, you have a bucket list and a whole b whole bunch of like [laughter] things

[10:15] here. What is happening? >> Well, basically, everyone who knows how to train a model has released a new Jev clone. That’s what’s happened, James. Because it is it’s intriguing. ML people find it intriguing and we’re all like, “Well, I can do that.” Now, it’s one of those things. It’s like obvious in retrospect, but it takes a smart person to like push it through and be like, “Hey, here’s something cool.” And then we’re all like, “Yeah, that is cool, and I can do that, too.” Because now that you’ve demonstrated it, now I can be like, “Oh, I can do that, too.” And so, we have a lot of the um, oh, I can do

[10:46] that, too. Come out. So, I think actually um Open AI beat Microsoft to the punch. Um Open AI released a decisions model and an API which is kind of nice because we haven’t had a new um API for these things for LLMs in a while. There’s been the chat completions API that we all use. And so when and the joke is the entire industry just copied OpenAI’s API. Um and now we’re all copying Open AI’s decisions API. Oh jeez.

[11:18] >> Yeah, exactly. [laughter] So, OpenAI released a model. We’re not really sure what it’s based on, but it’s a little bit expensive. It’s it it’s it’s Open AI, you know, it’s going to be good. It’s going to be expensive. It’s going to be a tiny bit slow. That’s Open AI. Um, so the cool news, the one that you mentioned is Microsoft released one also. And I really appreciate Microsoft’s because mostly because they wrote a good blog entry talking about what they wanted to achieve, the pros and cons they saw in the world and um

[11:48] and how there’s compares to everyone else’s because again everyone’s releasing these puppies now. And as an ML person, it was nice. It was a proper breakdown. I not even sure it’s definitely not a white paper. It’s not even really a technical report um because they didn’t disclose a lot of information, but there’s enough nuggets in it that we can see um how they were trying to compete. And I feel a little bit bad. I want to say this first place, like I feel a little bit bad for the Jev people because it’s terrible to be like,

[12:20] “Hey, we worked on this thing for two years. Isn’t it cool?” And everyone’s like, “Yeah, that’s super cool.” And then everyone comes and copies it. It’s just a little disheartening. It just hurts a little bit. [laughter] >> Well, I mean Microsoft comes. I mean, I think to that point though, like that’s almost the world we live in to some extent. Not that like there’s there’s copying, but it’s like, hey, listen, like this is a viable use case and we are now able to >> to sprint like we’re sprinting right at at this pace. And you kind of see this sometimes when you know and there’s all

[12:53] these articles it’s like oh and there’s been this software that’s exists for 20 years and then oh someone just like open sourced a thing or someone created some really cool thing like well I can just like clone it right and the question ends up coming down to >> okay anyone can at this point >> with enough tokens can clone a thing can do a thing like you can make it happen but what is the actual >> like business behind it what is the quality behind it what is the long-term viability of that piece of software or that product that’s out there. Like whether you’re buying a car, we talked

[13:24] about this with the Slate truck, for example, it’s brand new, it’s a brand new truck. What is the long-term uh viability of that company of that? I was just talking to my uh friend who lives a few blocks away and they got solar on their on their house and we just got solar on on our house and um the company here has been around for a long time which doesn’t mean anything actually but at least all the equipment is all NPhase which has been around forever again which doesn’t mean anything and I was talking to them I was like oh what’s your setup and they’re like you know I don’t really know but

[13:55] it’s it was this company and then you know they were here for a bit and then they got bought out and it’s from some other company and something and you’re like like so I don’t even know if something goes wrong what happens right so it is and it’s it’s and it’s the same thing when you go and buy a product in the store right you you know when you’re going to no shade on the dollar tree when I go to the Dollar Tree uh which I go to quite often I know what I’m getting myself into and and there’s there’s a variety of quality metrics at the Dollar Tree or Dollar General wherever you’re at right when I’m buying something for $1.50 50 compared to going to another $5. It doesn’t actually mean

[14:30] that the $5 one is higher quality. What it means is like I’m going to do a little bit more deeper research on this one that is cheaper and and and faster and maybe it is just as good of quality as the $5 one. I’m paying retail markup because that one was first to market or for example that one has a brand name. If I buy a white t-shirt that’s a Hannes versus one that’s a a Nike versus one that’s a a Yeezy shirt, right? These are all different price points, but you know what it is at the end of the day? It’s a white t-shirt. Now, there’s a lot of different elements inside there. So, I think that this is why it’s really

[15:02] interesting because we’re going to see more and more of this just like we’ve seen the models have a huge variance of of low, medium, and and high and extreme. you know, you get your your haikus, your your sonnetss, your your your opus, your fables, you get your your your Lunas, you get your your your Souls, you get your Astros, for example, like you’re talking about. And and now we have this, you know, not just here’s the major LLMs, but now we have a lot of

[15:32] different companies that are putting out things and now we have these new specialized models that are also coming through the same vein, too. So we we get this long one just for example of like hey we talked about on the the local LLM one and and and what you’re running and also oh can I just use a Quen model or or a >> [snorts] >> um maybe an Nvidia model it’s like running on open router or whatever a Deepseek model right and I could be getting the same exact quality you know but at a different cost or I could be thinking I’m getting the same quality at

[16:03] a cheaper cost you know what I mean it’s really it’s really we we have a lot of these different um uh decision branches in our head that we can now evaluate deeper if we will. [laughter] So anyways, I just think I think it’s interesting because with these models, you can also apply it to things in real life, right? Because you know, a good example is this. >> Think of um if you’re replacing the floors in your house, right? You know, if you’re buying carpet, there’s many carpets, but if you’re buying uh floors like hardwood floors, you have you have, you know, have like vinyl, luxury vinyl,

[16:35] manufactured hardwood, actual hardwood. I’m sure there’s something beyond and beyond that, right? You know, there’s all these these different tiers of it and it doesn’t mean that one’s better than the other. It depends on your use case and your scenario, right? If you’re a family, you got a bunch of dogs, maybe that LVP is the best for you in this point in your life compared to something where in a high humidity area where maybe that that manufactured hardwood maybe isn’t exactly what you need. I’m just saying. So, any I’m just saying large slab of marble. I mean, you you really can’t that just one huge one huge

[17:09] slab of marble marble. That’s it. That’s all you need is is all Frank Krueger needs for [laughter] the floor. Perfect. >> Yeah. So, what you’re describing is called commoditization. It’s just surprising how fast it happened with us. >> Um, and it it always reminds me of that Steve Jobs quote. I think he said it about Dropbox. He says, “This isn’t a company. This is a feature.” And I think um sadly for it’s hard [laughter] >> well open AI and Microsoft just proved that. They’re like hey um we have this

[17:42] thing called Azure Foundation and guess what’s on Azure Foundation now? [laughter] Here’s your own decision model. Look at that. Look how quickly we spun it up. But I want to talk about why they were able to quickly spin it up also. Um a few quick things about it though. um they definitely focused on speed. So, it’s interesting to see what people start competing on when it becomes commoditized. Like, okay, what are we going to discuss here? And I think this is I like what Microsoft did because they basically established here are the um posts we’re going to use to measure

[18:15] these things and they released a bunch of bench um benchmarks and we’ve had we have terrible benchmarks for LM right now, but we have a lot of them. [laughter] So, maybe with a lot of them that makes you know um quantity over quality. So there there’s something to there. But um Microsoft uh rated their model against 36 different benchmarks. Some public, some private. I hate private benchmarks cuz there’s no way to prove what it did. So

[18:46] >> Microsoft, don’t mention your stupid private benchmarks. Like it’s throw those out. Like it’s public or GTFO, honestly. Um and anyone can make up a private benchmark and say that you win at it, you know? Come on. Come on, Microsoft. But, um, to their credit, they they competed with a bunch of public ones, and there are some standard public ones. Like, there’s one named Jev Bench, >> of course. >> Um, ironically, Jev is not on Jeb Bench. [laughter] >> Why? >> For one very good reason. Um, Jev is

[19:18] still kind of a a beta kind of thing. Like, I have access to it, >> but part of the terms of services, you can’t benchmark us. [laughter] Oh >> yeah. So Microsoft’s in a tight spot. They can’t actually compare themselves against Jev. Um so if you want to compare Microsoft’s decision thing or OpenAI’s decision thing against Jev, you’re just going to have to do it on your own and you’re going to have to not release that data. >> So but what there is thankfully is a million other people have released their own decision models. So we do actually

[19:49] have a nice baseline for what’s good and what’s bad on Devbench. And there’s a few that have trickled to the top already. But um so there is the quality there. That’s fun. But then there’s speed because speed’s a big deal. Speed is a part of this because some of the earliest demos of Jev were like, “Hey, it can control a robot. Hey, it can play a video game.” So this isn’t like your I tell Astra to do something or Opus to do something and now I go get a cup of

[20:19] coffee for a half hour and watch it think in circles. This is I ask it something and bam, I get a response back. And that’s kind of the delightful part, too. You’re like, “Oh, yeah. Computers can be fast if they’re programmed to be fast.” >> Yeah, [laughter] >> it’s real refreshing sometimes. Another Steve Jobs quote. It’s like giving a glass of water to someone stuck in hell. [laughter] So, it’s um I got Steve Jobs on my mind for some reason. >> I see that. I see that. [laughter] [gasps] >> So, I uh So, it’s fast. Uh if you look at their chart, it’s at the top. It’s

[20:50] fast. 125 milliseconds to get a response. You can get eight responses per second. That’s almost fast enough to play Unreal Tournament. No, >> but you know, we’re getting there. >> Well, six 60 frames per second. That means you’re processing, you know, oh, I guess it would be >> Yeah, second. It’s actually pretty fast. Like, um, >> it’s pretty good. >> Yeah, >> that’s faster than you can press a keystroke. That’s faster than you can press >> Yeah. >> make a decision to press something. You’re shooting. I wonder what they call

[21:22] >> Frankenstein. [laughter] >> Can I play Doom? Yeah, I bet. You know, I saw >> I think that was one of the demos. >> I saw it playing Space Invaders and I saw it playing Tetris obviously as a canonical. >> Okay. >> Okay. Let’s talk about because these decision models. So, you do give them context and context is usually natural language, but we’ve advanced in the LL LLM world where you can actually give images to LLMs. not like here’s a screenshot of my app, tell me how to improve my app, blah blah blah.

[21:53] >> Um, so the Jev can take in images, open AAI decisions can take in images, Microsoft one cannot. >> So that’s um one little post there. Um so like they have great numbers and good benchmark scores, but it is an important distinction like it can’t do video. So then you’re like, “Okay, but one of their benchmarks that they say they did awesome on was playing Space Invaders.” So what’s going on, James? What do you think they’re doing?

[22:26] >> Well, you would just take the Well, you know, you would take the grid like every snapshot in time, every frame has, you know, some sort of backing data to it. So you pass that data into the decision tree and represent the invaders, the ship, the asteroids that you’re behind or the bases you’re behind, whatever it is. And you would also then send in all of the data such as uh it shots in your shots. So you should be able to in near in real time be able to pass in all of

[22:57] that data back and forth to make decisions on what to move left, right, shoot on. I would assume given the context that you’re there. In fact, I have to imagine that’s faster than sending in images in which it has to then parse through because the confines so for example the confines of space invaders are like deter most I would say deterministic it’s it’s >> and even if let’s say you were playing

[23:28] um another game such as Fortnite and the randomness which There’s a human control here is that frame snapshot the snapshot of the data that comes through obviously would be much larger but that is still a defined snapshot in time of the the state of the world because the game loop itself you know the game loop is processing that data every frame so you would just be passing that data off to I guess Mai or Microsoft decision one in

[23:59] this case >> is that is that what they’re doing I assume >> pretty much the biggest problem with this benchmark is it’s a private benchmark and it’s not released to the public. So, we all have to kind of guess what they did. So, your guess is honestly as good as anyone else’s guess. But the fact is you do have to take this graphical representation and represent it as text in some form or another. >> The dumbest possible worst way to do that would be actually do like an asky conversion of the graphical screen. You know how people do like image viewers in

[24:29] the terminal? Don’t do that. They’re not doing that. They better not be doing that because that’s dumb. These models are not trained on that. Models are trained on natural language number one and JSON. Honestly, JSON is our universal data representation. So, most likely what they’re saying is here’s a list of aliens. Here are maybe their spatial coordinates XY position. Here’s the player position. Here are the bullets moving. I I forget all the parameters, but yeah, you got to capture your state space. So if I wanted to do a robot, I would have to capture my state space of the robot into some kind of

[25:04] structured data, most likely JSON and not just natural language. And so everyone’s assuming that’s vaguely how they’re doing it. Unfortunately, that means it can’t do the simple things of like play an Atari game. Um whereas the other ones can because they do accept vision input. And I do want to push back a tiny bit on what you said about um text is guaranteed to be smaller than an image. It’s not actually guaranteed because um >> these numbers vary all over the place, but normally these networks will take an

[25:37] image, break it into like 32 pixel x 32 pixel cells. Each one of those 32x 32 pixel cells becomes a single token. So your resolution of your image will tell you how many tokens you have. Yes. So a high-res image, if you’re capturing every little bit of it, yes, that absolutely can take a bunch of tokens. But for like an Atari screen, it actually is not actually too many tokens most likely. Um, but that’s all guess work. I just wanted to bring out the point that um, our large language models, language models actually do more

[26:10] than just language. They actually do vision also. >> And honestly, it’s a little bit frustrating. I’m jumping a little to the end here, but um, Microsoft was able to release this thing because all it really is is a fine-tune of an open-source model. It’s a fine-tune of the beautiful, lovely Quen model that I love because it runs on my cute little RTX 390. I’m g ding. I I think it should get a bell. Like I every time I mention on the podcast [laughter] >> cuz I’m in love with it. And it’s actually a small Quinn. It’s actually the 9 billion parameter Quen. So you can

[26:43] easily run the model. You could run Microsoft decision one on your own machine easily if they would release it publicly. But they haven’t. It’s just private. But there are plenty of um these decision models on hugging face if you want to go looking around and all that and maybe we’ll include some links to some of them on here. So I just want to put it out there that one of the reasons they’re getting the speed is because they’re it’s just a 9 billion parameter model and they threw out the vision side of it. So they’re just doing

[27:14] the tech side of it and it’s a 9 billion parameter model. So Microsoft making good engineering decisions also benefiting from open weights Microsoft. So maybe you should be contributing more open weights to the world also. You know, if you take something, you should give something back. Just saying. Hashtag just saying. Um [laughter] so, uh the reason it’s fast is because it’s it’s a smaller model. It just is. >> But um one thing I really appreciate in their blog post was how they spent a lot of time ensuring robustness.

[27:48] And this is something that we I I haven’t seen too many other people test. And this is something that um I think about a lot with these models of like if you just change a small amount of wording in something, how much is that actually affecting the output? >> So this is actually an engineering definition in control systems. What we So this is a different field. This is my field control systems. But we have a pretty strict definition of robustness and it’s very simple. It’s small changes in input should produce small changes in

[28:19] output. It just means it’s not a twitchy thing. You know, you you change a little phrase here or there, you’re still going to get roughly the same answer out of the machine. And Microsoft basically turned that into a benchmark or whatever. They use that as a guiding principle for how to train this thing. So, they tested like does it matter what order you give um I said they’re all multiple choice questions. So, does it matter what order you give the answers to it? Does it matter if you rephrase the input a little bit? And to their

[28:52] credit, their model is not the best at this. Other models outperform them. The models that outperform them are much bigger and much slower. So you would kind of assume that, but it’s it’s nice to see um proper engineering benchmarks because I feel like a lot of the benchmarks we see in the world are horrendous [laughter] and have absolutely no engineering foundation to them. This is the first time I’ve seen someone actually have like a serious benchmark and it’s it’s robustness. This is a thing I care quite a bit about cuz

[29:25] I’ve trained plenty of ML models where as long as you don’t mess with their inputs too much, they produce great outputs. But the moment you give them a variation on the input or something it hasn’t seen before, it just acts like an idiot. And so to their credit, um, they really pushed on that. And also in robustness is a variety of topics like is it did they train it to predict the stock market? Probably not. But, you know, that’s that’s one universe of things. Did they train it to make good life decisions? You know, should I break

[29:58] up with Sally? You know, that’s that’s kind of an important question. Do we have a benchmark for that? And [gasps] so just be [laughter] Yeah, exactly. Just because it’s a decision model doesn’t mean it’s a simple problem. In fact, it’s an incredibly hard problem if you’re just saying like there is a universe of things you can make decisions about. And the training data is going to be honestly very small. You It’s hard to get a good random sampling of every possible decision humans make ever. Yeah,

[30:28] >> that is a very large universe of open-ended questions. Um, so it was fun to see them tackle that and acknowledge that. Um, >> in some ways it’s easier than LLMs because you’re not asking it to, you know, generate a book or anything. But in the same thing, it it really shows you how hard LLMs have it too cuz they are generating a book in this universe of possibilities. And if you just say, “Well, my universe is the universe of the possibilities plus this multiple choice thing.” You’re like, “Well, the input is still the universe. It’s still big and still difficult.” So, it’s fun.

[31:01] It’s just a good blog entry, by the way. Also just well written. So, I hope everyone goes and reads it. >> We’ll put a link in the show notes, of course. And yeah, I think what’s what’s nice is like when you’re going through, you’ll see like obviously Jev, Quietette, Rune, H2O, Lightning, obviously, Luna Decision, which we talked about Deck. There’s all these different ones that are in here. So you get to learn about all the other sort of decision models that are out there that are in these top of the the dev bench that are there too. And I would also point out because I’m not sure about Luna exactly if it’s fine-tuned off of Luna. I assume maybe or something, but

[31:34] you learn in the and the thing I was going to ask, but then you you have gone ahead and solved it for me, which is how did these things come about so fast? And what you end up learning as you go through is that many of them are fine-tuned off of other models that are out there. And you know what’s the important part here to to your part? Obviously I agree with you on on um you know giving and taking but also uh transparency is also really important too and many people uh called out uh right after the post went out um that it

[32:06] was you know fine-tuned on quen um 3.59B and well that was right in the blog post it was literally like right in the beginning it’s like here and here’s what it is and here’s how we got here right >> yeah and you see quadette is on gemma 4 31 billion parameter fine tune model and all these other ones that are here too so it’s not to say that that is the only way to get there. But that that does means that you’re able to, you know, fine-tune on top of these models that are out there to do very specific things. And that is the the world, you know, that that we’re we’re we’re leading into to to to create some of

[32:37] these things faster than ever, right? Um, so it’ll be really interesting to see how this evolves. I do think that it’s uh I think the only thing the only thing I mean I actually the one part in the blog post that I think is funny but also is a good I’m glad they I’m glad that they included it even though it seems a little bit like shade which is they have in a lot of these graphs that that the team has on here it is also against GPT6 soul >> and the reason for that is not to like throw a bunch of shade on GPT6 soul but

[33:08] it is to point out that GPT6ole is not a decision ision model. So if you are specifically trying to use GBT6 soul for decision making, then you are dramatically going to be getting slower um much more expensive results coming back and and maybe not even at the accuracy that that you desire. So something to think about there. But so I am glad that they did include it. I think it’s funny because it is the one that is like the biggest bar. Um which is funny. I wish they put more big LLMs in there, you know, honestly because I

[33:41] want to know like am I out competing the bigger models like >> true small models >> and >> and the reason it is out competing them is because all these big models are fine-tuned to to do a certain kind of task and that task is usually chat with a human and run agent junk. [laughter] These are the two fine-tunes that we roughly do on all these models. Now, so the whole the the the thing everyone liked about Jeff is like, “Oh, what if we fine-tune on something else?” Because

[34:14] these are fine-tuned. And that’s important because we don’t want to train these things from scratch. They have to understand all of English, all of German, all of Arabic, all of Chinese. You know, it takes a lot of money and resources to get them to understand all of that. The question is, okay, now that they understand all of that or whatever to varying degrees, throw in your own verb there. Um, what can we do with the outputs? How can we um make the outputs more efficient? What are more interesting tasks we can do with these

[34:45] outputs? And I think that’s why the ML people are also excited about this. It’s not just marketing hype. We’re like, oh yeah, we have these very sophisticated things. Let’s fine-tune them to do something other than people please in a chat interface. Because honestly, [laughter] as much as we all love chat GPT, like the chat interface, >> it’s cute. It’s cute, but it’s it’s it’s going to go away. We we all know it’s going to go away eventually. Um, everything will have a little bit of a chat interface. And the joke is these

[35:16] models can do the chat thing. It’s just as you fine-tune them to be question and answer things, they’re just going to get worse at chat because we’re moving them away from that fine-tune. >> Yeah, makes sense. Well, it’s very cool. It’s cool to to get down into it. And uh if everyone else is fine-tuning these, can why don’t you just create one, Frank? >> Exactly. Well, because my my GPU is currently busy doing something else right now. Have I mentioned how hot it is in this room? [laughter] >> Good. It’s cold. I got a jacket on. >> But yeah, um especially because it’s a 9

[35:48] billion parameter model, like you can easily go to like Google Collab. You don’t even need a GPU and in probably just a day or two fine-tune one of these puppies. The biggest problem in ML is data. So if you have a big question and answer kind of database and I mean big, you need a big one. You can also go download some examples like on Hogging Face, you can fine-tune these things yourself, which is really cool because they’re small enough they can be local models. So you might have some trouble running like Quen 27 billion parameters

[36:22] with your small amount of video RAM, but one a 9 billion parameter model. Oh, that’s runnable. A lot of people can run that thing. And then you can run your own decision maker locally. And that’s when you can really start um don’t cheat at video games people, but that’s when you can really start cheating at video games [laughter] and doing that because it’s all just kind of running locally. You’re not paying for external servers and all that. Don’t tell Azure Foundry I said that. I try to stay in their good graces. But the nice thing about small models being fine-tuned is that you can

[36:53] run them locally. >> Well, you also have Foundry local. I’m just saying. So, you can just pull down those models. You’re totally good to go. Now, it’s all there. I mean, we’ll we’ll hear quite a bit next week when we follow up on the Surface and Windows event talking about local models. We’ll really deep dive uh into these new devices that have 128 gigs of RAM and an RTX uh Spark. So, pretty excited about that, too. But I do think that this is good almost lead up to it because >> um well we were not going to talk about the devices until next week but one thing that is really important is sort

[37:24] of this even more and more local models running and making decisions on your behalf. So we’re only going to get better from here smaller tighter faster um as these continue to go. So I do think that this makes a lot of a lot of sense and like you’re saying to be able to run these locally just just and why not? Yeah. And and the I one thing I want to bring up and this goes back to your question of have I personally found a use for these uh and the answer again is no. But um Open Router has released a skill a skill.md.

[37:59] By the way, Open Router is fully in on these things. So they they have the same API endpoint as Open AI. So you can start um if you have an Open Router account, you can start hitting these. You can even hit uh Microsoft decision with it because that model on Azure um open router will go and hit that puppy. So uh there’s a skill file, a markdown file that you can import and it tells your big fat slow LLM, hey, if you have a decision point to make, here’s a way

[38:29] that you can access a decision model that and here fill it with this context. give it these multiple choice questions and then let that thing burn on it. So, another good way to just preserve your own tokens and your own credits and all that kind of stuff. So, I I plan on giving this skill um a little bit of uh a little run, see how it goes and all that. So, I just I’m excited for that skill because otherwise I didn’t feel like building a whole harness. You know, there aren’t a lot of harnesses built around this thing because we’re all

[39:01] still playing with big LM harnesses at the moment. No, I’ll put all the links in the show notes to the decision one blog and to that open router scale too and I’ll link to a few other things in there. Uh, which super cool. But Frank, thanks for breaking this down for me. I appreciate you did all the hard work this week and you have a nice note here of all the different uh different different links too. So, I really appreciate that. >> Yeah, I I love giving you links because I I just assume that you’re not going to open any of them, but I think you actually read some of them this time. >> I [laughter] did. I did my best. I did my best. Uh, well, that’s going to do it

[39:31] for this week’s Merge Conflict. Do like, subscribe, do all the things. Next week we have a banger uh covering the Windows and Surface event. We’re going to get deep into the Ultra and the Devbox. So, you do not want to miss that one. But that’s going to do it for this week’s merge conflict. Decision made. Frank Krueger. Boom. One in the chapter. I’m James Monttoagno. >> And I’m Frank Krueger. Thanks for watching and listening. Peace.