Cloudflare entra na disputa dos decision models com concorrente ao Jev

Author: Compilado do Código Fonte TV · Watch on YouTube

Video authored by the channel shown, not by IANIA; all rights belong to the creator. Transcript and summary generated automatically; the original-language content is preserved.

Original language: Portuguese

Original video: Cloudflare entra na disputa dos decision models com concorrente ao Jev · Channel: Compilado do Código Fonte TV · 05:36 · Watch on YouTube

Topics: AI agents, AI models, Local and open-source models

Summary

A Cloudflare lançou Clef e Clef Flash, decision models open source voltados a decisões rápidas e previsíveis para agentes. Diferentemente de uma LLM tradicional, eles classificam opções e retornam respostas estruturadas com probabilidades, sem gerar texto token por token. O vídeo compara desempenho e recursos dos modelos e explica como eles podem encaminhar solicitações, avaliar urgência e apoiar árvores de decisão. A proposta é deixar decisões estruturadas a cargo do decision model e usar uma LLM para raciocínio aberto e execução de ações.

Key points

Clef e Clef Flash são decision models open source desenvolvidos pela Cloudflare para apoiar decisões de agentes.
Os modelos classificam opções e retornam resultados estruturados com probabilidades.
O Clef aceita imagens e tem context window de 64.000 tokens, segundo a transcrição.
A Cloudflare publicou testes de latência, nos quais Clef Flash apresentou tempo menor que Clef.
O Clef foi desenvolvido com base no modelo Qwen e avalia opções válidas em paralelo.
A Cloudflare anunciou fine-tuning com reinforcement learning para adaptar o modelo a tarefas específicas.
Os modelos podem classificar solicitações de suporte, indicar a equipe responsável e estimar a urgência.
A proposta é combinar decision models para decisões estruturadas com LLMs para raciocínio aberto e execução.

Chapters

Start	Chapter	Summary
00:02	Cloudflare lança Clef e Clef Flash	O vídeo apresenta os decision models da Cloudflare e explica como eles diferem de uma LLM tradicional.
01:41	Latência e desenvolvimento dos modelos	São apresentados os testes de latência, a base Qwen do Clef e o serviço de fine-tuning anunciado pela empresa.
02:50	Como os decision models entram no fluxo de agentes	Os participantes descrevem a divisão de tarefas entre decisões estruturadas e o raciocínio aberto de uma LLM.
04:26	Decisões estruturadas no código	O vídeo explica como os resultados probabilísticos podem orientar regras e árvores de decisão e encerra com a divulgação do canal.

Quotes

A Cloudflare entra na disputa dos decision models com um concorrente ao Jev. — 00:02

A resposta é colocar o Clef no caminho crítico dos agentes, cuidando das decisões estruturadas. — 02:50

Você tem a resposta extremamente rápida nesse processo. — 04:26

No fim das contas, é o uso de um modelo de decisão para você fazer um if lá do teu código. — 04:58

Concepts and entities

Cloudflare, Clef, Clef Flash, Jev, Qwen, Workers AI, Hugging Face, decision model, fine-tuning com reinforcement learning

Full transcript (original language)

00:02 E a Cloud Flir entra na disputa dos Decision Models com um concorrente ao Jeff. >> Pois é, olha, a gente já falou do Jeff essa semana, daqui a pouco a gente fala sobre isso. E a Cláudio Ferra lançou já o Clef e o Clef Flash, que são dois decision models open source criados para ajudar agentes de a tomar decisões rápidas e previsíveis. O que muita gente já tá dizendo, é um grande IF, >> é um grande IF custoso, né? Diferentemente aí de uma LLM tradicional que gera textos e tool calls de forma aberta, um decision model recebe informações, classifica opções e

00:36 desenvolve respostas tipadas com probabilidades. [limpando a garganta] OK? Vamos pensar. Isso já existia antes, né? Fazer classificação, as as redes neurais, a IA tradicional lá atrás, antes da LLM já fazia isso também. Pois é. em um em atendimento, por exemplo, ela pode decidir se a solicitação é urgente, qual equipe deve recebê-la e qual encaminhar o caso para uma pessoa. Lembra até de testar muito tempo atrás, você colocava um texto e ele classificava o texto se era positivo, se era negativo, para você identificar, tipo, ah, isso aqui é um elogio, qual é a emoção e qual é o percentual, era

01:11 isso. Então o JV veio para fazer isso também programaticamente, tá? Os modelos estão disponíveis aí no Worker AI e no Huging Face sobre licença 2.0. O Clef também aceita imagens, possui contex Windows de 64.000 tokens conta 32 do JV e mantém compatibilidade com API do concorrente. Então eles ele ele está respondendo exatamente da mesma forma que o Jev. Se você já utilizou o Jev, pode utilizar o Clef, tá? O o primo primo rico dele, de repente, né?

01:41 >> Primo rico, acho que sim. é >> filme conhecido dele famoso, né? Nos testes de latência publicados pela Cloud FLIR, o Clef registrou mediana de 209,3 msos, enquanto o Clef Flash reduziu ali esse tempo em 38,8 msundos. >> Ó, eu vou eu vou até deixar aqui na própria publicação da Cloud Flir, tem aqui um o benchmark para você para você ficar vendo aqui, ó. OK. Ó, o Jeff alcançou 524 ms e o Laia foi mais rápido com apenas 5,8 msundos, embora a empresa afirme que essa velocidade envolve ali

02:16 uma perda considerável de qualidade. Além do desempenho, a Cloud Flir desenvolveu o Clef com base no modelo Quen, usando uma arquitetura que avalia as opções válidas em paralelo, sem precisar gerar uma resposta token por token. A empresa também anunciou um serviço de fine turunning com reinforcement learning para adaptar o modelo a tarefas específicas, como classificar solicitações de suporte, analisar casos de trust and save e identificar bots. Inicialmente o treinamento será realizado com o apoio de uma equipe especializada e posteriormente deverá ganhar uma

02:50 plataforma self service. A resposta é colocar o clev no caminho crítico dos agentes, cuidando das decisões estruturadas, enquanto uma LLM fica responsável pelo raciocínio aberto e pela execução das ações. É a mesma proposta que se tem ali no utilizando o Jeff. >> Então, eu acho que tem sim utilização, não acho que seja hype, até porque a gente tá falando de um modelo de foundation, ou seja, é um modelo grande, mas que o retorno dele é um retorno de decisão, né? Então aqui um exemplo mesmo

03:22 que a Cláudio Flir tá usando, ó. Por exemplo, você vai abrir um um ticket de suporte, ó, aqui um exemplo, aí uma pessoa escreve um texto. Então, por exemplo, tá falando aqui sobre API, tá retornando erro 500, dá. E aí o que que o modelo precisa dizer? Ah, que time que eu envio essa mensagem e se é urgente ou não. Ou seja, aí ela vai perguntar: “Pô, é pro time de cobrança? É pro time de venda ou é pro time técnico? Isso é urgente ou não?” Então são esses duas categorias que eles colocam ali e aí o o modelo decide e retorna. Ó, é 100%

03:53 técnico e é 100% urgente, entendeu? A partir da mensagem, muito chatbot lá atrás, pô, o próprio Watson da IBM, que você construíbots também lá atrás, ele fazia esse tipo de avaliação para você definir para que caminho ir um atendimento ou melhor departamento, né? Não que o decision model faça só isso, não é só para esse tipo de coisa. O interessante desse tipo de coisa é você implementar isso no código também, porque ele já retorna como se fosse um Jason, né, da vida, já retorna para você pegar os dados e tratar eles. Você não

04:26 precisa eh esperar por tokens >> serem gerados. Você você tem a resposta extremamente rápida nesse processo. Ou seja, tem uso, tem uso, obviamente tem uso. E ali, nesse caso ali, nesse exemplo, são duas, né? Meio que um sim ou não, mas na verdade você consegue elencar, não, olha, tem aqui um termômetro, se foi 30% para um, foi 20% para outro, 15% para outro, o que que o meu sistema vai fazer com esses números? Então você consegue ter uma árvore de decisões melhor baseada nesse retorno. >> Por isso que é um grande if que você vai

04:58 ter que definir, [risadas] >> depois você define o que que você faz com os resultados. >> É, então os pesos que você vai ter que utilizar no teu sistema, é isso que você vai ter que eh direcionar. Então, no fim das contas, é o uso de um modelo de decisão para você fazer um if lá do teu código. >> E esse aqui é um corte de uma notícia do compilado do código Fonte TV, >> onde toda semana tem episódio novo falando de programação, tecnologia, inteligência artificial e cybersegurança. >> Então já se inscreve aqui no canal do Compilado e acompanha os episódios completos. [música]

05:36 >> [música] [música]