Laya: adeus à IA TypeSafe Jev

Autoria: Data Science in your pocket · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Laya : Bye TypeSafe Jev AI · Canal: Data Science in your pocket · 05:43 · Assistir no YouTube

Tópicos: Agentes de IA, Automação de tarefas e workflows, Modelos de IA, Modelos locais e open source

Resumo

O vídeo apresenta Laya como um modelo de decisão multilíngue, não autoregressivo e de código aberto, voltado a produzir respostas estruturadas em vez de texto. O apresentador compara sua velocidade e calibração com as de TypeSafe Jev e explica como o modelo transforma uma entrada e um esquema em um objeto de dados em uma única passagem. Também descreve seus tipos de decisão, possíveis usos em produção e limitações, como desempenho desigual entre idiomas e necessidade de recalibrar probabilidades. Por fim, mostra a instalação e o uso básico do modelo.

Pontos-chave

Laya foi apresentado como um modelo de decisão, não como um modelo voltado à geração de texto.
O modelo processa a entrada e as perguntas de decisão em uma única passagem, sem loop de geração nem etapa de parsing.
As respostas são estruturadas e tipadas, e os esquemas são definidos no momento da solicitação.
O vídeo destaca velocidade, suporte multilíngue, hospedagem própria e licença Apache 2.0.
As três primitivas descritas são escolha entre opções, pontuação em uma escala e probabilidade de uma afirmação ser verdadeira.
Os usos sugeridos incluem roteamento de suporte e de agentes de IA, avaliação de risco, moderação de conteúdo e automação de workflows.
O apresentador alerta que Laya não é um oráculo universal zero-shot, que o desempenho multilíngue é desigual e que as probabilidades podem precisar de recalibração.
O vídeo apresenta instruções para instalar o pacote, carregar um checkpoint e fazer previsões com um esquema.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação de Laya e comparação inicial	O apresentador introduz Laya e compara seu desempenho com TypeSafe Jev em velocidade, calibração e suporte a idiomas.
01:34	Como Laya toma decisões	O vídeo descreve a arquitetura, a diferença entre decisões estruturadas e geração de texto e as primitivas de decisão do modelo.
03:41	Velocidade, calibração e limitações	O apresentador discute tempos de execução, métricas de desempenho e ressalvas sobre uso zero-shot e consistência multilíngue.
05:11	Usos em produção e instruções de instalação	São citados casos de uso, seguido de uma demonstração geral de instalação, carregamento de checkpoint e previsão.

Citações

Dê a ele um estado e uma pergunta tipada, e ele retorna uma resposta tipada com probabilidades matematicamente calibradas. — 00:00

Nem todo problema de IA precisa de um parágrafo. — 02:05

Três primitivas, uma passagem: escolha, pontuação e nulo. — 03:08

Laya é uma base rápida, não um oráculo universal zero-shot. — 04:41

Talvez o futuro nem sempre seja um LM maior. Às vezes, é um modelo muito menor que simplesmente toma a decisão certa. — 05:43

Conceitos e entidades

Laya (modelo): Modelo multilíngue de decisão descrito no vídeo como não autoregressivo e capaz de produzir respostas estruturadas.
TypeSafe Jev (modelo): Sistema usado no vídeo como referência de comparação para velocidade e calibração.
modern BERT large (modelo): Backbone encoder que, segundo o vídeo, serve de base para Laya.
Apache License 2.0 (conceito): Licença de código aberto atribuída a Laya durante a apresentação.
non-autoregressive (conceito): Abordagem em que o modelo toma decisões em uma única passagem, em vez de emitir tokens sequencialmente.
proper scoring rules (conceito): Regras de pontuação mencionadas como parte do treinamento de Laya para favorecer probabilidades calibradas.
Conway Innovations (empresa): Nome citado no encerramento ao mencionar onde encontrar o modelo.
Hugging Face (empresa): Plataforma mencionada como local para acessar o modelo e seus checkpoints.

Tradução completa (pt-BR)

00:00 Olá, pessoal. Bem-vindos de volta ao Data Science in a pocket. Temos um novo concorrente para o TypeSafe, que é o Laya, e um novo modelo da série de LLMs de tomada de decisão que vem acompanhando uma tendência na internet, como vocês podem ver. Laya: sistema multilíngue não autorregressivo de decisão única. Dê a ele um estado e uma pergunta tipada, e ele retorna uma resposta tipada com probabilidades calibradas matematicamente, em uma única passagem direta. Se olharem para a velocidade, ela é muito

00:31 boa: 33 milissegundos em 100 idiomas, treinado com aprendizado por reforço baseado em regras de pontuação estritamente próprias (RLCD). Se compararmos o Laya com o TypeSafe, os benchmarks são bastante interessantes. O mecanismo Type Decision 2.0 usa quatro rótulos; as emoções Die, seis rótulos. Rápido, mais bem calibrado, utilizável em vários idiomas e hospedado localmente. Como podem ver, o Laya é 7,8 vezes mais rápido e três vezes mais bem

01:03 calibrado. Os idiomas ficam em torno de 45 a 51, e o custo é de US$ 0. Ao observar outros benchmarks, os números também são muito bons. Inglês versus os demais. Velocidade em uma T4, calibração, Type Decision; os 51 idiomas são encaminhados por meio do preload. Se olharem aqui, este repo contém os três checkpoints e é o hub da família. O checkpoint em inglês fica na raiz do repo. Os outros dois são conjuntos de subpastas. Se olharem aqui,

01:34 O Laya Check é construído sobre um encoder backbone do ModernBERT Large, com cerca de 420 milhões de parâmetros. Multilíngue e Type Decision, com 320 e 420 milhões, respectivamente. Agora, vamos ver mais detalhes e como usar o Laya. É bem fácil, como podem ver: eles disponibilizaram todo o código aqui, e cada resultado traz metadados completos de encaminhamento que explicam por que as escolhas foram feitas. Laya, o modelo de decisão de 30 milissegundos. Um desafiante open source não autorregressivo

02:05 ao TypeScript Gen, feito para tomar decisões, não para gerar texto. Nem todo problema de IA precisa de um parágrafo. Um chamado de suporte precisa de três respostas: departamento, urgência e risco de cancelamento. Um LLM generativo produz texto, depois vem um parser e, em seguida, uma validação. Essa camada extra custa tokens, latência e complexidade de engenharia. Como podem ver aqui, essa é uma grande diferença entre um LLM generativo e um modelo Laya, que faz parte dos LLMs de decisão. O Pipeline A funciona assim, se vocês observarem o

02:36 LLM generativo: chamado, depois uma descrição automática, verificação do código e, então, a criação de um objeto de dados. Já com o Laya, você fornece o chamado, ele o processa e entrega um objeto de dados por conta própria. Conheçam o Laya, um modelo de decisão de sistema único. Latência de 30 milissegundos, mais de 100 idiomas, respostas tipadas, Apache 2.0. Um backbone feito para decisões, não para diálogos. Estado de entrada, backbone ModernBERT Large, cabeça de decisão, avaliador de marcadores de opções, cabeça de ação para escalonamento. Se vocês olharem

03:08 o total de parâmetros, são 420 milhões; o tamanho do modelo é de 0,4 bilhão, e os esquemas são definidos no momento da solicitação. Portanto, ele aceita infinitos esquemas. Qualquer esquema que você fornecer, ele consegue processar. Três primitivas, uma passagem direta: escolha, pontuação e nulo. Escolha: selecionar uma opção de um conjunto predefinido. Pontuação: posicionar a resposta em uma escala ordinal. Nulo: calibrar a probabilidade de uma afirmação ser verdadeira. Não autorregressivo significa de uma só vez, não token por token. Isso é o mais importante.

03:41 Um LLM generativo emite tokens sequencialmente, e cada token alimenta o seguinte. O Laya processa a entrada e as perguntas de decisão em uma única passagem direta. Sem loop de geração, sem camada de parsing. Se olharem para a pergunta um: 9 segundos; 10 perguntas: 158 milissegundos; 50 perguntas: 771 milissegundos. Uma pergunta leva cerca de 32 milissegundos em uma Tesla T4. Llama versus TypeSafe. Então, isso é

04:11 a diferença mais importante que estamos vendo. O Llama é muito rápido, como podem ver, custando cerca de oito a dez vezes menos. Falando do TypeSafe, ele gera texto estruturado, faz parsing e validação, e é operado pelo fornecedor. Já o Laya é não autorregressivo, usa uma única passagem direta, retorna tipos diretamente em JSON, pode ser hospedado localmente e é multilíngue. A velocidade só é útil se as decisões forem confiáveis. Pontuação própria, atualização no estilo GRPO

04:41 e calibração em primeiro lugar. Qual é a precisão geral? 0,766. A precisão suave é 0,471. O Brier score é 0,062. O ECE é 0,213. O MAE da pontuação é 242. E os casos nos evals vão de 400 a 2.000. Se olharem para a velocidade, ela é impressionantemente boa. O Laya é uma base rápida, não um oráculo universal de zero-shot. Lembrem-se disso. O desempenho zero-shot é bem fraco, como mostram os números.

05:11 O desempenho multilíngue é um pouco irregular, e as probabilidades precisam de recalibração. Onde o Laya se encaixa em produção? Encaminhamento de suporte, encaminhamento de agentes de IA, detecção de fraude e risco, moderação de conteúdo e automação de workflow. Alto volume, baixa latência e saída estruturada: é aí que o Laya mostra seu valor. Instale, carregue, decida. Antes de tudo, não estou dizendo que vocês devem usá-lo diretamente; basta usá-lo pelo Hugging Face. Estes são os códigos para isso. Instale, carregue o checkpoint e preveja seu

05:43 esquema. Talvez o futuro nem sempre seja um LM maior. Às vezes, é um modelo muito menor que simplesmente toma a decisão certa. 30 milissegundos, Apache 2.0, fine-tune primeiro. Instale o Laya com pip. Acesse Conway Innovations Laya no Hugging Face e no GitHub. Com isso, encerramos. Espero que experimentem o modelo e me contem nos comentários o que acharam.

Transcrição original

[00:00] So, hi everyone. Welcome back to Data Science in a pocket and we have a new competitor for Type Face J that is Laya and we have a new model in the decision-making LLM series that has been quite like catching some trend on the internet as you can see Laya. Multilingual non-autoregressive system one decision model. Give it a state and a typed question and it returns typed answer with mathematically calibrated probabilities and single forward pass. If you look at the speed, this is very

[00:31] good. 33 milliseconds across 100 languages trained with reinforcement learning against strictly proper scoring rules RLCD. If you look at Laya versus Type Face J, if you look at the benchmarks, they are quite interesting. Type decision 2.0 decisions engine use four labels, die emotions six labels. Fast, better calibrated, language usable, self-hosted a pocket. As you can see where Laya lands, 7.8 times faster, three times better

[01:03] calibrated. Language are about 45 to 51 and it costs you $0. Looking at different benchmarks also, the numbers are quite good. English versus the rest. Speed on one T4, calibration, type decision, all 51 languages routed via preload the matters. If you look here, this repo holds all three checkpoints and is the hub for the family. The English checkpoint is at the top repo root. The other two are bundles of sub folders. If you look here,

[01:34] Laya check It is built on a backbone encoder of modern BERT large with about 420 million parameters. Multilingual and type decision 320 and 420 million again. So, now let’s jump on to more details and how you can use Laya. Quite easy to use as you can see they have given all the codes here and every result carry full routing metadata explaining why the choices are made. Laya, the 30 millisecond decision model. A non-autoregressive open-source

[02:05] challenger to Type Script Gen, built for decisions, not text. Not every AI problem needs a paragraph. A support ticket needs three answers: department, urgency, churn risk. A generative alien produces text, then a parser, and then a validation. That extra layer costs tokens, latency, and engineering surface areas. As you can see here, for This is a major difference between a generative LLM and a Laya model that is from Decision LLMs. Pipeline A looks like, if you look at

[02:36] the generative LLM, ticket, then an auto awesome description, code verification, data object is created after that. But in case of Laya, you provide the ticket, it runs and gives you a data object single-handedly. Meet Laya, system one decision model. 30 millisecond latency, 100 plus languages, typed answers, Apache 2.0. A backbone built for decisions, not dialogue. Input state, modern BERT large backbone, decision head, option marker scorer, act escalate head. If you look

[03:08] at the total parameter, it’s 420 million, model size 0.4 billion, and schemas are defined as request time. So, it has infinite schemas. Whatever schema you give it, it is able to take that. Three primitives, one forward pass: choice, score, and null. Choice select one option from predefined set. Score place the answer on ordinal scale. Annual calibrate probability that a statement is true. Non-auto Auto regressive means one shot, not token by token. That is most important.

[03:41] Uh a generative LLM eliminates emits tokens sequentially, while each token feeds the next. Laya processes the input and the decision questions in a single forward pass. No generation loop, no parsing layer. If you look at question one, the 9 second 10 questions 158 seconds milliseconds 50 questions 771 milliseconds. One question takes about on Tesla T4 it takes about 32 milliseconds. Llama versus Type Safe Jeff. So this is

[04:11] the most important differentiation thing that we are seeing. Llama is very fast as you can see this costing about eight to 10 cross faster. Uh talking about Type Safe Jeff, generate structured text, parse, validate, vendor operated. While talking about Llama, it is non auto regressive single forward pass, return types JSON directly, and self-hostable multilingual. Speed is only useful if the decisions are reliable. Proper scoring, GRPO style

[04:41] update, calibration first. What is the overall accuracy? 0.766. Soft accuracy is 0.471. Bryce score is 0.062. EC is 0.213. Score MA is 242. And cases in ends are 400 to 2,000. If you look at the speed, this is very crazily good. Llama is a fast base, not a universal zero-shot oracle. Do remember that. Zero-shot is quite weak as you’ve given the numbers.

[05:11] Multilingual is a little uneven and probabilities need recalibration. Where Llama fits in productions? Support routing, AI agent routing, fraud and risk incident drag, content moderation, workflow automation. High volume plus low latency plus structured output equals to where Llama earns its keep. Install, load, decide. So first of all, I’m not saying that you should use it directly, just use it from hugging face and these are the codes to use. Install, load the checkpoint, and predict your

[05:43] schema. Maybe the future isn’t always a bigger LM. Sometimes it’s a much smaller model that simply makes the right decision. 30 milliseconds Apache 2.0 fine-tune first. Pip install LLaMA. Going to Conway Innovations LLaMA huggingface on GitHub. With this, it’s a wrap. I hope you try out the model and let me know in the comment section how you feel about it.