Este novo modelo de fronteira não é um LLM

Autoria: Tim Carambat · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: This New Frontier Model Is Not An LLM. · Canal: Tim Carambat · 15:07 · Assistir no YouTube

Tópicos: Automação de tarefas e workflows, Inferência e otimização de modelos, Modelos de IA

Resumo

Timothy Carambat apresenta Jev, um modelo System 1 da Type Safe AI, projetado para tomar decisões estruturadas em vez de gerar conversas. Segundo a apresentação, o modelo retorna resultados restritos a opções predefinidas, com probabilidades e confiança, e processa essas opções em paralelo. O vídeo destaca possíveis usos em classificação, seleção de ferramentas e roteamento de modelos, tarefas que hoje muitas vezes são delegadas a LLMs generalistas. O autor ressalta que ainda faltam testes para avaliar a precisão, o desempenho em hardware local e as limitações do modelo.

Pontos-chave

Jev é apresentado como um modelo System 1 voltado a automação e decisões estruturadas, não a conversas.
O modelo restringiria as respostas às opções fornecidas, o que pode evitar saídas fora do formato esperado.
A Type Safe AI afirma que o processamento paralelo permite respostas mais rápidas e baratas que a geração sequencial de LLMs.
Casos de uso possíveis incluem classificação de e-mails, seleção de ações e roteamento de modelos.
Restringir as opções não garante que a resposta seja correta; a precisão ainda precisa ser avaliada.
O autor considera que modelos desse tipo poderiam complementar LLMs usados para conversa e raciocínio.
Ainda não está claro se Jev pode ser executado localmente com eficiência em hardware de consumo.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação de Jev e dos modelos System 1	Timothy Carambat introduz Jev e resume a proposta da Type Safe AI de criar modelos voltados à automação.
03:39	Decisões estruturadas em vez de conversa	O autor diferencia modelos System 1 de LLMs generalistas e explica por que decisões com opções limitadas podem ser úteis.
06:14	Exemplos de classificação e seleção	O vídeo compara pedir a um LLM que gere texto com restringir a saída a opções predefinidas, como classificar spam ou escolher uma ação.
09:20	Probabilidades, paralelismo e limites	O autor descreve a saída de Jev como uma matriz de probabilidades, mas observa que a precisão diante de opções inadequadas ainda é incerta.
11:58	Aplicações em automação e roteamento	O vídeo explora o uso desses modelos para classificação, roteamento e seleção de ferramentas como complemento a LLMs conversacionais.
14:03	Possível execução local e conclusão	O autor destaca o potencial de usar Jev localmente, compara a proposta a ajustar um LLM e pede opiniões sobre casos de uso.

Citações

Nossos modelos System 1 produzem decisões com probabilidades e confiança, em vez de palavras. — 02:36

Eles não raciocinam nem conversam com você. Não é chat. — 04:41

Esses modelos servem para usar os benefícios da IA sem passar pelos problemas e gargalos dos LLMs tradicionais. — 11:26

Use modelos de fronteira para inteligência de fronteira. Use isto para tool calling, seleção, filtragem e categorização. — 14:03

Conceitos e entidades

Jev (modelo): Modelo público apresentado como o primeiro System 1 da Type Safe AI, voltado a decisões estruturadas.
System 1 model (conceito): Categoria de modelo descrita no vídeo como otimizada para decisões restritas e automação, em vez de conversação.
TypeSafe AI (empresa): Empresa que desenvolve Jev e apresenta a abordagem de modelos System 1.
RLHF (conceito): Método de pós-treinamento mencionado no vídeo como base para otimizar modelos de linguagem segundo preferências humanas.
BERT (modelo): Modelo citado como exemplo de modelo de classificação pequeno que pode ser executado em CPU.
Qwen3.5 0.8B (modelo): Modelo citado como exemplo de LLM que poderia ser ajustado para produzir tipos específicos de saída.
Timothy Carambat (pessoa): Criador do vídeo, que apresenta Jev e discute seus possíveis usos em automação.

Tradução completa (pt-BR)

00:00 Olá, pessoal, Timothy Carambat aqui. Quanto tempo! Como sempre fiz neste canal, faço vídeos quando há algo sobre o que quero falar. Esse é realmente o impulso por trás deste canal. Não sou influenciador e, na verdade, nunca sei quando vai surgir uma inspiração para um vídeo ou uma notícia. Por exemplo, infelizmente estou em São Francisco agora, ao mesmo tempo que acontece a Dreamforce. Então, estou enfurnado no meu hotel, trabalhando durante o dia, e surgiu uma coisa recentemente, e é sobre isso que quero falar

00:31 hoje. Vamos falar sobre como este próximo modelo não é um LLM tradicional, mas vejo um enorme potencial no rumo que isso pode tomar. Então, sem perder muito tempo, vamos falar sobre este novo modelo System 1, ou Jev. Talvez você tenha visto isso no Twitter. Deixe-me mostrar, acho que, os materiais de divulgação e depois falar sobre por que isso é importante. Acho que, para começar, para quem não faz ideia do que vou falar, nós

01:02 podemos simplesmente assistir ao vídeo de lançamento. Acho que o vídeo de lançamento é muito bom, mas pode ser confuso para quem talvez conheça o ChatGPT e os LLMs em geral hoje em dia. >> Sou Diego Alameda, fundador da Type [música] Safe AI e, na OpenAI, cocriador do ChatGPT e do RLHF, o algoritmo de pós-treinamento por trás da maioria das IAs de fronteira. Nossa equipe treinou os primeiros modelos super-humanos em seguir instruções, o que hoje chamamos de chat. >> [música] >> E nos perguntamos: modelos super-humanos em chat são AGI? A resposta foi obviamente não, mas a pergunta de um trilhão de dólares é: por que não?

01:34 O RLHF levou a LLMs otimizados para as preferências humanas e que apresentam problemas como modo dropping, excesso de confiança e falta de confiabilidade em geral. Essas falhas fazem com que os LLMs precisem de humanos no loop, e quase não é possível fazer automação de verdade. >> [música] >> Na Type Safe, passamos dois anos trabalhando em segredo e finalmente estamos prontos para compartilhar nosso novo tipo de modelo de base, otimizado para

02:04 automação. Modelos System 1. Com uma nova arquitetura, [música] um novo sampler e um novo algoritmo de treinamento: aprendizado por reforço para decisões calibradas. As melhorias ficam claras quando você os vê lado a lado. Faça a um modelo System 1 um monte de perguntas estruturadas, como faria com um LM. Receba as respostas [música] quase instantaneamente. Enquanto isso, os LMs levam centenas de vezes mais tempo para terminar de responder. Veja como o LM gera texto sequencialmente, o que é ótimo para uma conversa natural, mas [música] totalmente inútil para computadores. Os LLMs

02:36 extraem inteligência pelo canudinho da regressão automática e, de forma semelhante ao salto que os transformers deram em relação às RNNs, estamos substituindo a computação sequencial pela paralela, porque [música] esse é obviamente o futuro. Nossos modelos System 1 geram decisões com probabilidades e níveis de confiança, em vez de palavras, e não podem alucinar. São muito mais parecidos com código: confiáveis, rápidos, autoconsistentes e seguros quanto aos tipos. Isso abre um mundo totalmente novo de possibilidades e aplicações. Hoje, [música] estamos lançando Jev, o primeiro modelo System 1

03:07 público. Ele é 100 vezes mais rápido, então a IA em tempo real finalmente é possível. Custa 100 vezes menos: os tokens de entrada custam US$ 42 por bilhão de tokens, e os tokens de saída são grátis, porque finalmente são baratos demais para serem medidos. Jev é superinteligente, e sua inteligência por dólar está literalmente fora das [música] tabelas. Isso é só o começo. Estamos animados para ver o que vocês vão criar com Jev. >> [música] >> Como dizemos na Type-Safe, estamos construindo para produção, não para sermos deuses.

03:39 >> Bom, aquele vídeo trouxe muita coisa para assimilar. Eu me inscrevi na lista de espera para ter acesso e fiz todas aquelas coisas, mas também tenho amigos que têm acesso e compartilharam resultados comigo, e conversamos sobre algumas coisas. Então, estou bastante bem informado sobre o comportamento real do modelo e estou animado com ele porque, quando se fala desses modelos, não é como se fosse uma ferramenta, certo? Neste momento, todo mundo pega um modelo de IA, qualquer modelo pronto ou modelo de fronteira, e joga

04:10 tudo nele, na esperança de obter o melhor resultado, certo? Se ele precisa ajudar você a escrever e-mails, ajuda a escrever e-mails. Mas, se precisa tomar uma decisão, categorizar ou classificar algo, as pessoas jogam esses problemas nos modelos de fronteira, porque dá muito trabalho pegar um modelo classificador e fazer fine-tuning. É preciso ter muitos dados, fazer muitos testes, lidar com casos extremos estranhos. Então, algumas pessoas simplesmente jogam tudo nos modelos de fronteira. Isso não é bom. Funciona,

04:41 mas custa muito dinheiro em escala. Acho que é assim que você pode classificar os modelos System 1. Eles não raciocinam. Não conversam com você. Não são chat. É mais uma forma determinística de aproveitar todos os benefícios de um modelo, como uma espécie de compreensão do mundo e da linguagem, mas conseguindo obter uma saída determinística, absolutamente determinística, em que, se você disser: “Ei, suas únicas opções são A, B e C”, ele só poderá escolher A, B

05:12 e C. Há outras coisas mencionadas nesse vídeo, como o preço. O preço é por bilhão de tokens, o que é insano, mas o que mais me interessa, por eu preferir executar as coisas localmente, é: o que é preciso para rodar isso? Porque, se os tokens de entrada — ou melhor, se os tokens de entrada são tão baratos que o preço é calculado aos bilhões e os tokens de saída são tão baratos que nem cobram por eles, para mim isso parece um tipo de modelo

05:44 que poderia rodar em qualquer coisa. Se você olhar para modelos tradicionais de classificação, como o BERT ou algo assim, caso saiba o que é: é simplesmente um modelo do tipo “Ei, passei uma entrada; me dê uma saída”. E ele foi treinado o suficiente para fazer isso. Eles funcionam muito bem. Dá para executá-los. São bem pequenos. Dá para executá-los na CPU. Dá para executá-los em Raspberry Pis pequenos. Funcionam muito bem. Mas ainda são lentos e não são determinísticos. Podem alucinar. Enfim, para ajudar a, acho, situar esse modelo, eu

06:14 fiz um desenho, por assim dizer, de um problema tradicional que vejo as pessoas apresentarem aos modelos de fronteira e com o qual este modelo poderia ajudar de forma confiável, para que você entenda no que estão trabalhando. Então, esta é uma forma muito simples de pensar nisso, certo? Em azul está o prompt: “Este e-mail é spam?” Normalmente, se você perguntasse isso a um modelo de fronteira, ele analisaria o e-mail e responderia algo como: “Bem, olhando para este e-mail, blá-blá-blá-blá-blá”. Se você estiver desenvolvendo

06:44 algo que talvez faça isso em segundo plano, certo? Talvez seja uma extensão do Chrome que se conecta ao seu servidor, analisa um e-mail e faz todas essas outras coisas, ou talvez seja parte do seu serviço de e-mail e você possa filtrar o que quer que esteja desenvolvendo. Você não pode desperdiçar tokens com latência. Então, para “Este e-mail é spam?”, você diria: “Retorne apenas JSON ou um 1 ou 0 para verdadeiro e falso”. O modelo, se for um modelo de raciocínio, vai pensar mesmo assim e depois fornecer a saída final. E

07:16 isso supondo que o modelo seja inteligente o suficiente, não esteja muito quantizado e não comece, em geral, a responder com texto normal mesmo assim. Muita gente tem feito isso. É mais ou menos assim que o tool calling funciona hoje. O modelo simplesmente gera tokens, que depois são analisados e convertidos no que quer que seja a saída ou no bloco JSON que você está procurando. Isso funciona, mas é lento, certo? É como gerar cada token, um por um. E há uma

07:47 classe de problemas semelhante em que talvez a escolha não seja tão binária. Não é uma resposta de sim ou não, nem de verdadeiro ou falso. É uma lista de opções específicas para o que você está fazendo. Então, se eu estivesse, digamos, criando um jogo, seria algo como: “Qual é a próxima ação que o usuário deve realizar?” Eu listaria todas as opções disponíveis. E então o modelo, novamente, se fosse um modelo de raciocínio, pensaria, olharia para a tela, absorveria tudo isso, processaria todos esses tokens e, com sorte, me daria apenas o texto de

08:19 um dos itens que eu produzo. Lembre-se: é a mesma coisa. [fungada] Ainda está passando por todo o contexto. Ainda está passando pelo processo inteiro. E você só está torcendo e confiando no fato de que esse modelo não vai alucinar, que também vai seguir suas instruções e, no fim, simplesmente dar uma opção estática. Isso funciona bem quando você tem, sabe, modelos de fronteira rodando em GPUs que custam milhões ou bilhões de dólares. Mas, quando você começa a fazer essas coisas localmente

08:50 ou com modelos muito quantizados, é aí que acho que muitas pessoas neste canal, especificamente, provavelmente já viram esses modelos desmoronarem. Em vez de dizer “Avance”, ele diz “Acho que o usuário deveria avançar”. E aí seu código quebra, porque agora é tipo: “Ah, certo. Bem, agora tenho que ir.” Ele não está me dando exatamente o que eu queria. Essas são meio que as peculiaridades, eu acho, de um LLM. E, só para realmente deixar esse ponto bem claro, é disso que estou falando quando digo que esse processamento paralelo dos dados também

09:20 acelera as coisas drasticamente. E então, o que você pode ver é o TypeChat, o modelo System 1 da Jev. TypeChat é o nome da empresa que está criando esses modelos. Ele pega instantaneamente os prompts e, dentre as opções disponíveis, essencialmente fornece uma pontuação de confiança, certo? Isso é parecido com a forma como os LLMs preveem tokens, certo? É como uma probabilidade, como se este token tivesse a maior probabilidade de aparecer em seguida. Mas, como a quantidade de opções que ele pode escolher é limitada, ele pode

09:51 ser paralelizado com muita eficiência. E, em comparação com algo como um GPT 5.6 tera, dá para ver que ele realmente percorre o processo e gera os tokens como se estivesse, sabe, construindo uma frase, essencialmente, para fornecer a resposta de que você precisa. Definir um número de entradas e restringir a saída apenas às opções que estou fornecendo faz com que você tenha, essencialmente, um modelo “livre de alucinações” — e estou usando aspas. Porque o

10:24 modelo não pode fornecer uma opção fora dos limites. Se você der três opções, ele só retornará aquela que tiver a maior probabilidade entre essas três. Agora, a questão é a precisão. Se você der, por exemplo, três opções que não têm nada a ver com a entrada, eu não fiz testes suficientes — meu amigo também não fez testes suficientes — para conseguir determinar como isso funciona. Ele simplesmente atribui probabilidade zero a tudo ou retorna a opção mais, digamos, sensata entre as

10:55 absurdas, a de maior probabilidade? Há algumas coisas que ainda precisam ser esclarecidas. Mas é assim que podemos pensar nisso. E, só para ilustrar novamente, você poderia ter uma tarefa como categorizar este e-mail e anexar o e-mail. Você diz que as únicas opções disponíveis são spam, phishing, promoção, FYI, ou qualquer outra coisa que você queira. E o que receberia de volta, fundamentalmente, seria uma matriz de probabilidades, com a opção de maior probabilidade. Então, de forma determinística, você pode simplesmente pegar a

11:26 opção com a maior probabilidade, a menor ou qualquer outra que esteja procurando e, em seguida, continuar com seu código. E é para isso que servem esses modelos. Eles servem para aproveitar os benefícios da IA e do treinamento nesse tipo de compreensão do mundo, sem precisar passar por todas as dificuldades e gargalos, digamos, dos LLMs tradicionais, mas ainda obtendo aquela saída determinística que, de fato, torna a automação possível, certo? Se você tem um código cujo resultado não consegue determinar com confiabilidade 100% das vezes, você não tem

11:58 código, tem um bug disfarçado. Sei que dei exemplos como classificar um e-mail ou determinar se algo é sim ou não, coisas bem binárias. Mas você pode ir além disso. Uma das áreas mais óbvias para isso é o roteamento de modelos. Então, digamos que, com base em um fator de complexidade ou algo assim, você forneça ao modelo System 1 o prompt do usuário e/ou o histórico, ou o que quer que queira usar, e diga: “Certo, quero classificar a complexidade deste modelo como muito complexa, de complexidade média, de baixa complexidade, ou algo assim.” Você também pode fazer roteamento de modelos com isso. O fato é que imagino que esses modelos sejam bem pequenos e possam rodar com muita eficiência em hardware de consumo, considerando como funcionam. Mas talvez a paralelização seja o problema aqui. De qualquer forma, ainda não sabemos o suficiente. A ideia, porém, é imaginar que agora temos sistemas determinísticos com todos os benefícios da IA. Podemos usá-los como ferramentas. Podemos

12:30 criar ferramentas mais confiáveis, e, na minha opinião, isso vai acabar se tornando um conceito fundamental para construir um sistema em torno da IA. Você sempre terá seu LLM para fazer, sabe, essencialmente o chat, certo? O raciocínio, o chat, a compreensão. Mas terá esses modelos para fazer, digamos, o trabalho pesado, certo? Escolher quais ferramentas chamar, escolher para onde o modelo deve ir, classificar se algo é bom ou ruim, sim ou não, esse tipo de coisa. É aí que esse modelo

13:01 se destaca, mas também é aí que muitos tokens são desperdiçados. Então, estou muito animado. Quero muito experimentar esses modelos, só para ver como funcionam e talvez testá-los em alguns casos de uso. Mas o que são esses modelos? Será que podemos rodá-los localmente? Porque, se pudermos rodar essas coisas localmente, a ideia de ter uma inteligência pessoal eficiente no seu computador é, quer dizer, é algo óbvio. Há tantas coisas passando pela minha cabeça, tipo: “Uau, eu tenho um

13:32 milhão de coisas para as quais adoraria conectar esse modelo, como qualquer coisa que envolva LLM.” Há várias ferramentas aí. E tenho certeza de que você está pensando: “Nossa, se eu tivesse um jeito determinístico de, ao fornecer algo, ele só poder me dar as respostas que espero.” Sim, isso seria muito bom. Você tem os benefícios dos dois. Use modelos de fronteira para inteligência de fronteira. Use este para tool calling, seleção, filtragem e categorização, sem precisar treinar um modelo personalizado para isso. Esse é o ponto principal. Você provavelmente poderia pegar, sabe, o Qwen 3.5 0.8B e fazer fine-tuning para

14:03 ele só fornecer uma entrada específica ou uma saída específica, ou um tipo específico de saída. Mas, no fim das contas, ainda é um LLM e, em algum momento, ele vai ficar quantizado demais, vai ultrapassar o contexto e vai falhar. E talvez este não falhe. Enfim, só queria fazer um vídeo sobre isso. Achei muito interessante. De novo, sabe, nunca sei quando quero fazer um vídeo. Nem sabia que ia fazer um vídeo. Estou num quarto de hotel qualquer e nem trouxe meu microfone. Então, peço desculpas pela qualidade do áudio deste vídeo, mas, de qualquer forma, espero que você ache isso interessante. Adoraria ouvir as opiniões de vocês

14:36 sobre isso, sobre as ferramentas que estão criando e talvez alguns casos de uso. Sinceramente, eu estava apenas esboçando algumas ideias com base na pouca experiência que tenho, mas me digam o que acham desses modelos System 1. Vou colocar o site e outras coisas na descrição para que vocês possam fazer sua própria pesquisa. Mas é isso. Notícias legais. Gostei. Enfim, obrigado. Tchau.

15:07 sobre isso, sobre as ferramentas que estão criando e talvez alguns casos de uso. Sinceramente, eu estava apenas esboçando algumas ideias com base na pouca experiência que tenho, mas me digam o que acham desses modelos System 1. Vou colocar o site e outras coisas na descrição para que vocês possam fazer sua própria pesquisa. Mas é isso. Notícias legais. Gostei. Enfim, obrigado. Tchau.

Transcrição original

[00:00] Hey everyone, Timothy Carambat, long time no talk. Uh I got it like I’ve always done with this channel, I make videos when there’s things I want to talk about. Uh that’s really the impetus of this channel. I’m not an influencer and in fact actually I never know when a video inspiration or news is going to strike and like for example I am unfortunately in SF right now at the same time as Dreamforce. So I’m just hold up in my hotel just working for the day and there’s this thing that recently came out and that’s what I want to talk

[00:31] about today. Talking about how this next model is not a traditional LLM but I see a huge amount of potential for where this is going. And so without wasting too much time, let’s talk about this new uh System 1 model or Jev. You may have seen this on Twitter, let me just show you kind of uh I guess the the marketing materials for this and then talk about why this is important. And so I think just to start off for anybody who has no idea what I’m about to talk about, uh we

[01:02] can just watch the launch video. I think the launch video is pretty good but it it it is confusing for people who maybe are familiar with you know ChatGPT and LLMs in general right now. >> I’m Diego Alameda, founder of Type [music] Safe AI and at OpenAI I co-created ChatGPT and RLHF, the post-training algorithm behind most frontier AI. Our team trained the first models to be superhuman at instruction following, what we now call chat. >> [music] >> And we asked ourselves, are models that

[01:34] are superhuman at chat AGI? The answer was obviously not, but the trillion-dollar question is why not? RLHF has led to LLMs that are optimized for human preferences and include issues such as mode dropping, overconfidence, and an overall lack of reliability. These flaws mean that LLMs require humans in the loop and almost no true automation can be done. >> [music] >> At Type Safe, we’ve spent 2 years building in stealth, and we’re finally ready to share our new type of foundation model that’s optimized for

[02:04] automation. System 1 models. With a new architecture, [music] new sampler, and new training algorithm, reinforcement learning for calibrated decisions. The improvements are clear if you see them side by side. Ask a System 1 model a ton of structured questions, just like you would an LM. Get the answers [music] back near instantly. Meanwhile, LMs take hundreds of times longer to finish responding. Look at how the LM generates sequentially, which is great for a natural conversation, but [music] totally useless for computers. LLMs

[02:36] extract intelligence from the tiny straw of auto regression, and similar to the jump that transformers made over RNNs, we are replacing sequential computation with parallel, because [music] that is obviously the future. Our System 1 models output decisions with probabilities and confidence instead of words, and they can’t hallucinate. They’re a lot more like code, reliable, fast, self-consistent, and type-safe. This opens up a whole new world of possibilities and applications. Today, [music] we’re releasing Jev, the first

[03:07] public System 1 model. It’s 100 times faster, so real-time AI is finally possible. 100 times cheaper with input tokens priced at $42 per billion tokens, and output tokens are free because they’re finally too cheap to meter. Jev is super smart, and its intelligence per dollar is literally off the [music] charts. This is just the beginning. We’re excited to see what you build with Jev. >> [music] >> As we say at Type-Safe, we’re building prod, not god.

[03:39] >> Now, that video was a lot to take in, and I don’t I have applied for the waitlist access, and like you did all that stuff, but I also have friends who do have access, and they have shared with me results, and like we kicked around the can on some things. So, I’m actually pretty well informed with the actual behavior of the model and I’m excited about it because when you talk about these models, it is not like it’s like a tool, right? Right now, everyone takes an AI model, any off-the-shelf model or frontier model and just throws

[04:10] everything at it hoping for the best output, right? If it needs to help you write emails, it helps you write emails, but if it needs to make a decision or categorize or classify something, people will throw those problems at frontier models because taking a classifier model and fine-tuning it is just so much work and a lot of you need a lot of data, there’s a lot of testing, there’s weird edge cases. So, some people just throw everything at frontier models. This isn’t a good thing to do. It does work,

[04:41] but it costs a lot of money at scale. This is I think where you can categorize system one models. They they don’t like reason. They don’t talk to you. It’s not chat. It’s more of like a deterministic way of using all of the benefits of a model like the kind of understanding of the world and language, but being able to get a deterministic, absolutely deterministic output where if you give it, “Hey, your only options are A, B, and C.” It can only ever choose A, B,

[05:12] and C. There’s some other things that they talked about in this video like the pricing. The pricing is per billion tokens, which is insane, but the one thing that I’m mostly interested in being local, right? Is what does it take to run this thing? Because if inference or I’m sorry, if input tokens are so cheap, they’re pricing it by the billions and output tokens are so cheap, they don’t even charge for them. To me, that seems like a type of model

[05:44] that could run on anything. If you look at traditional classification models like like BERT or something like that, if anybody knows what that is, just like a model that’s like, “Hey, I gave you input, give me an output.” And it’s been trained well enough to do that. Uh those work really well. You can run them. They’re very small. You can run them on CPU. You can run them on like little Raspberry Pis. They run quite well. Uh but they’re they’re still slow and they’re not deterministic. They can hallucinate. Anyway, to help kind of uh I guess like square this model, uh I

[06:14] came up with a like a drawing, I guess you could say, of kind of a traditional problem that I see people throwing at frontier models that this model could reliably help with so that you understand what it is that they’re working on. So, this is a very simple way of thinking about it, right? In blue is the prompt. Is this email spam? Now, typically, if you were to ask that to a frontier model, it would go and be like, “Well, looking at this email, blah blah blah blah blah.” If you’re building

[06:44] something that maybe does this in the background, right? Maybe it’s like a Chrome extension that goes to your server and it looks at an email and it does all this other stuff or maybe it’s like part of your email service and you can like filter whatever it is that you’re building, you cannot afford to be wasting tokens on latency. So, “Is this email spam?” You would say, “Return only JSON or a one or zero for true and false.” The model, if it’s a reasoning model, is going to go and think anyway and then give you that final output. And

[07:16] this is assuming that the model is smart enough, not heavily quantized, and isn’t going to in in general just start responding with regular text anyway. A lot of people have been doing this. This is kind of similar to how tool calling actually works today. It’s the model just producing tokens that then get parsed into whatever it is that the output is or the JSON block that you’re looking for. This is a this this works, but it is it is slow, right? It’s the same as making every single token. And there’s a

[07:47] similar class of problems where it’s maybe the selection is not so binary. It’s not a yes or no or a true or false. It’s a list of options that are specific to what you are doing. So, if I was, you know, doing a game, right? It would be like, “What’s the next action the user should take?” I would list all of the available options. And then the model would again, if it is a reasoning model, think, look at the screen, ingest all of this stuff, process all these tokens, and hopefully give me just the text of

[08:19] one of the items that I output. Keep in mind, it’s the same thing. [snorts] It’s still going over all of the context. It’s still going over the entire process. And you are just hoping and relying on the fact that this model will not hallucinate, not it also follow your instructions, and ultimately just give you a static option. This works well when you have, you know, frontier models running on multi-million dollars of GPUs or bi- billions of dollars of GPUs. But when you start doing this stuff locally

[08:50] or with heavily quantized models, it this is where I think a lot of people on this channel specifically probably have seen these models fall apart. Where instead of saying, “Move forward,” it says, “I think the user should move forward.” And then your code breaks because now it’s like, “Oh, okay. Well, now I got to go.” It’s not giving me exactly what I wanted. These are just kind of the quirks, I guess you would say, of an LLM. And just to really kind of drive home this point, this is where I’m talking about how this parallel processing also of data

[09:20] accelerates things dramatically. And so, what you can see is TypeChat, this the Jev System 1 model, TypeChat is the name of the company building these models. It instantly takes the prompts and from whatever options are available gives you essentially a confidence score, right? This is similar to how LLMs predict tokens, right? It’s like a probability, like this token has the highest probability of occurring next. But, because the amount of options that it can choose from are constrained, it can

[09:51] be parallelized very effectively. And compared to something like a GPT 5.6 tera, you can see that it actually goes through and generates the tokens as if it was, you know, building a sentence essentially of giving you the actual response you need. Given a defined number of inputs and constraining the output to only whatever it is the options that I’m giving you, makes it to where essentially you have a, and I’m using quotes here, hallucination-free model. Because the

[10:24] model cannot give you an out-of-bounds option. If you give it three options, it will only ever return the highest probability of those three options. Now, its accuracy is the issue. If you give it, for example, three options that have nothing to do with the input, uh I have not done enough testing in my my friend hasn’t done enough testing uh to be able to determine like, how does that work? Does it just give everything no probability, or does it just give the most, I guess you would say sensible of the

[10:55] nonsense, the highest probability? There’s there’s some things to work out here. But, that’s the way that it can be thought of. And so, just to kind of illustrate this again, you could have a task like categorize this email, and you attach the email. You tell it the only options available are spam, phishing, promotion, FYI, whatever it is you want to do. And what you would get back fundamentally is essentially a probability matrix of whatever the highest probability option is, and deterministically, you can just grab the

[11:26] highest one or the lowest one or whatever it is that you’re looking for, and then continue on with your code. And that’s what these models are for. They are for using the benefits of AI and training in this kind of world understanding, but not having to go through all of the, I guess you would say, pains and bottlenecks of traditional LLMs while still getting that deterministic output that actually makes automation possible, right? If you have code that you cannot reliably determine what the output will be 100% of the time, you don’t have

[11:58] code, you have a bug in disguise. I know I’ve given examples here of like, you know, classifying an email or like is something yes or no, very binary things. But you could go farther with this. Um one of the most obvious areas for this is model routing. So if you were to give it, like let’s just say based on a complexity factor or something like that, give the user prompt to the system one models and or the history or whatever it is that you want to do and say, “Okay, I want to classify the

[12:30] complexity of this model based on most complex, like medium complexity, low complex, whatever.” You can do model routing based on this, too. The fact is is that these models, I imagine, are quite small and can run, I would imagine, very effectively on consumer hardware given how they work. The parallelization though may be the issue here, but regardless, we don’t know enough yet. But the idea is that imagine basically now we have deterministic systems that have all the benefits of AI. We can use them as tools. We can

[13:01] build more reliable tools, and this is going to wind up, in my opinion, becoming a fundamental concept to building a system around AI. You’ll always have your LLM to do like the, you know, the chat essentially, right? The reasoning, the chat, the understanding, um but you’ll have these models to do, I guess you would say like the ugly work, right? Choosing which tools to call, choosing where the model should go, classifying, is this good, bad, yes, no, uh those kind of things. That’s where this

[13:32] shines, but that’s also where a lot of tokens get wasted. So, I’m I’m I’m actually really excited. I really want to try these models uh just to see how they work and kind of like put them maybe through some use cases, but also what are these models? Uh can we run these locally? Cuz if we can run these things locally, the idea of like an effective like personal intelligence on your computer is I mean, that’s that’s just like a no-brainer. Um there’s so many things I’m thinking of in my head of just like, “Wow, like I I I have a

[14:03] million things that I would love to plug this model in for like anything LLM.” There’s several tools there. And I’m sure you’re thinking like, “Oh man, if I had a deterministic way where if I gave it something, it could only ever give me the answers I expected.” Yeah, like that’s really nice. You get the benefits of both. Use Frontier for Frontier intelligence. Use this for like tool calling, selection, filtering, categorization without having to train a custom model to do it. That is the key point. You could probably take, you know, Qwen 3.5 0.8B, fine-tune it to

[14:36] only give you a specific input or output um or a specific output or type of output. But at the end of the day, it’s still an LLM, and at some point it’s going to get over quantized, it’s going to get over context, going to fail you. And this might not. So, either way. I just want to make a video about this. I thought it was really interesting. Again, I just you know, I never know when I want to make a video. I didn’t even know I was going to make a video. I’m in a random hotel room, and I didn’t even bring my mic. So, I apologize for the audio quality of this video, but either way, hopefully you find this interesting. I’d love to hear y’all’s

[15:07] thoughts on it, the tools you’re building, maybe use cases. Honestly, I was just outlining a few uh just from the limited experience I have, but let me know what you think about these system one models. I’m going to link the uh website and stuff in the description, so you can do your own research. But, yeah. cool news. I like this. Anyway, thanks. Bye.