Cloudflare entra na disputa dos decision models com concorrente ao Jev

Ver no idioma original →

Autoria: Compilado do Código Fonte TV · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: português

Vídeo original: Cloudflare entra na disputa dos decision models com concorrente ao Jev · Canal: Compilado do Código Fonte TV · 05:36 · Assistir no YouTube

Tópicos: Agentes de IA, Modelos de IA, Modelos locais e open source

Resumo

A Cloudflare lançou Clef e Clef Flash, decision models open source voltados a decisões rápidas e previsíveis para agentes. Diferentemente de uma LLM tradicional, eles classificam opções e retornam respostas estruturadas com probabilidades, sem gerar texto token por token. O vídeo compara desempenho e recursos dos modelos e explica como eles podem encaminhar solicitações, avaliar urgência e apoiar árvores de decisão. A proposta é deixar decisões estruturadas a cargo do decision model e usar uma LLM para raciocínio aberto e execução de ações.

Pontos-chave

• Clef e Clef Flash são decision models open source desenvolvidos pela Cloudflare para apoiar decisões de agentes.
• Os modelos classificam opções e retornam resultados estruturados com probabilidades.
• O Clef aceita imagens e tem context window de 64.000 tokens, segundo a transcrição.
• A Cloudflare publicou testes de latência, nos quais Clef Flash apresentou tempo menor que Clef.
• O Clef foi desenvolvido com base no modelo Qwen e avalia opções válidas em paralelo.
• A Cloudflare anunciou fine-tuning com reinforcement learning para adaptar o modelo a tarefas específicas.
• Os modelos podem classificar solicitações de suporte, indicar a equipe responsável e estimar a urgência.
• A proposta é combinar decision models para decisões estruturadas com LLMs para raciocínio aberto e execução.

Capítulos

Início	Capítulo	Resumo
00:02	Cloudflare lança Clef e Clef Flash	O vídeo apresenta os decision models da Cloudflare e explica como eles diferem de uma LLM tradicional.
01:41	Latência e desenvolvimento dos modelos	São apresentados os testes de latência, a base Qwen do Clef e o serviço de fine-tuning anunciado pela empresa.
02:50	Como os decision models entram no fluxo de agentes	Os participantes descrevem a divisão de tarefas entre decisões estruturadas e o raciocínio aberto de uma LLM.
04:26	Decisões estruturadas no código	O vídeo explica como os resultados probabilísticos podem orientar regras e árvores de decisão e encerra com a divulgação do canal.

Citações

A Cloudflare entra na disputa dos decision models com um concorrente ao Jev. — 00:02

A resposta é colocar o Clef no caminho crítico dos agentes, cuidando das decisões estruturadas. — 02:50

Você tem a resposta extremamente rápida nesse processo. — 04:26

No fim das contas, é o uso de um modelo de decisão para você fazer um if lá do teu código. — 04:58

Conceitos e entidades

• Cloudflare (empresa): Empresa que lançou Clef e Clef Flash e publicou testes de latência dos modelos.
• Clef (modelo): Decision model da Cloudflare que classifica opções e produz respostas estruturadas.
• Clef Flash (modelo): Versão do Clef citada como uma alternativa de menor latência.
• Jev (modelo): Decision model usado no vídeo como referência para comparar os lançamentos da Cloudflare.
• Qwen (modelo): Modelo usado como base para o desenvolvimento do Clef.
• Workers AI (ferramenta): Plataforma da Cloudflare onde, segundo o vídeo, os modelos estão disponíveis.
• Hugging Face (ferramenta): Plataforma mencionada como outro local onde os modelos estão disponíveis.
• decision model (conceito): Modelo que classifica opções e retorna decisões estruturadas, em vez de gerar texto aberto.
• fine-tuning com reinforcement learning (conceito): Abordagem anunciada para adaptar o modelo a tarefas específicas.

Tradução completa (pt-BR)

00:02 E a Cloudflare entra na disputa dos decision models com um concorrente ao Jev. >> Pois é, olha, a gente já falou do Jev esta semana; daqui a pouco a gente fala sobre isso. E a Cloudflare já lançou o Clef e o Clef Flash, que são dois decision models open source criados para ajudar agents a tomar decisões rápidas e previsíveis. O que muita gente já está dizendo é: é um grande if. >> É um grande if custoso, né? Diferentemente de uma LLM tradicional, que gera textos e tool calls de forma aberta, um decision model recebe informações, classifica opções e

00:36 desenvolve respostas tipadas com probabilidades. [limpando a garganta] OK? Vamos pensar. Isso já existia antes, né? Fazer classificação — as redes neurais, a IA tradicional lá atrás, antes das LLMs — já fazia isso também. Pois é. Em um atendimento, por exemplo, ela pode decidir se a solicitação é urgente, qual equipe deve recebê-la e para quem encaminhar o caso. Lembra que, muito tempo atrás, a gente testava isso: você colocava um texto e ele classificava o texto como positivo ou negativo, para identificar, tipo: “Ah, isso aqui é um elogio”, qual é a emoção e qual é o percentual. Era

01:11 isso. Então, o Jev veio para fazer isso também, programaticamente, tá? Os modelos estão disponíveis no Workers AI e no Hugging Face, sob licença 2.0. O Clef também aceita imagens, possui context window de 64.000 tokens, contra 32 do Jev, e mantém compatibilidade com a API do concorrente. Então, ele está respondendo exatamente da mesma forma que o Jev. Se você já utilizou o Jev, pode utilizar o Clef, tá? O primo rico dele, de repente, né?

01:41 >> Primo rico, acho que sim. É um filme conhecido dele, famoso, né? Nos testes de latência publicados pela Cloudflare, o Clef registrou mediana de 209,3 ms, enquanto o Clef Flash reduziu esse tempo em 38,8 ms. >> Ó, eu vou até deixar aqui a própria publicação da Cloudflare. Tem aqui um benchmark para você ficar vendo, ó. OK. Ó, o Jev alcançou 524 ms e o Llama foi mais rápido, com apenas 5,8 ms, embora a empresa afirme que essa velocidade envolve

02:16 uma perda considerável de qualidade. Além do desempenho, a Cloudflare desenvolveu o Clef com base no modelo Qwen, usando uma arquitetura que avalia as opções válidas em paralelo, sem precisar gerar uma resposta token por token. A empresa também anunciou um serviço de fine-tuning com reinforcement learning para adaptar o modelo a tarefas específicas, como classificar solicitações de suporte, analisar casos de trust and safety e identificar bots. Inicialmente, o treinamento será realizado com o apoio de uma equipe especializada e, posteriormente, deverá ganhar uma

02:50 plataforma self-service. A resposta é colocar o Clef no caminho crítico dos agents, cuidando das decisões estruturadas, enquanto uma LLM fica responsável pelo raciocínio aberto e pela execução das ações. É a mesma proposta que se tem utilizando o Jev. >> Então, eu acho que tem, sim, utilidade; não acho que seja hype, até porque a gente está falando de um foundation model, ou seja, é um modelo grande, mas cujo retorno é uma decisão, né? Então, aqui vai um exemplo mesmo

03:22 do que a Cloudflare está usando, ó. Por exemplo, você vai abrir um ticket de suporte. Ó, aqui vai um exemplo: uma pessoa escreve um texto. Então, por exemplo, está falando aqui sobre uma API que está retornando erro 500. E aí, o que o modelo precisa dizer? “Ah, para qual time eu envio essa mensagem e se é urgente ou não.” Ou seja, aí ele vai perguntar: “Pô, é para o time de cobrança? É para o time de vendas ou é para o time técnico? Isso é urgente ou não?” Então, são essas duas categorias que eles colocam ali, e aí o modelo decide e retorna: ó, é 100%

03:53 técnico e é 100% urgente, entendeu? A partir da mensagem, muito chatbot lá atrás — pô, o próprio Watson da IBM, que você construía também lá atrás — fazia esse tipo de avaliação para definir para qual caminho encaminhar um atendimento, ou para qual departamento, né? Não que o decision model faça só isso; não é só para esse tipo de coisa. O interessante desse tipo de coisa é você implementar isso no código também, porque ele já retorna como se fosse um JSON, né, da vida; já retorna os dados para você pegar e tratar. Você não

04:26 precisa esperar os tokens serem gerados. Você tem uma resposta extremamente rápida nesse processo. Ou seja, tem uso, tem uso, obviamente tem uso. E ali, nesse caso, nesse exemplo, são duas opções, né? Meio que um sim ou não. Mas, na verdade, você consegue elencar: “Não, olha, tem aqui um termômetro: se foi 30% para um, 20% para outro, 15% para outro, o que o meu sistema vai fazer com esses números?” Então, você consegue ter uma árvore de decisões melhor baseada nesse retorno. >> Por isso que é um grande if que você vai

04:58 ter que definir. [risadas] >> Depois, você define o que faz com os resultados. >> É, então, os pesos que você vai ter que utilizar no seu sistema: é isso que você vai ter que direcionar. Então, no fim das contas, é o uso de um decision model para você fazer um if lá no seu código. >> E esse aqui é um corte de uma notícia do compilado do Código Fonte TV, >> onde toda semana tem episódio novo falando de programação, tecnologia, inteligência artificial e cibersegurança. >> Então, já se inscreve aqui no canal do Compilado e acompanha os episódios completos. [música]

05:36 >> [música] [música]

Transcrição original

[00:02] E a Cloud Flir entra na disputa dos Decision Models com um concorrente ao Jeff. >> Pois é, olha, a gente já falou do Jeff essa semana, daqui a pouco a gente fala sobre isso. E a Cláudio Ferra lançou já o Clef e o Clef Flash, que são dois decision models open source criados para ajudar agentes de a tomar decisões rápidas e previsíveis. O que muita gente já tá dizendo, é um grande IF, >> é um grande IF custoso, né? Diferentemente aí de uma LLM tradicional que gera textos e tool calls de forma aberta, um decision model recebe informações, classifica opções e

[00:36] desenvolve respostas tipadas com probabilidades. [limpando a garganta] OK? Vamos pensar. Isso já existia antes, né? Fazer classificação, as as redes neurais, a IA tradicional lá atrás, antes da LLM já fazia isso também. Pois é. em um em atendimento, por exemplo, ela pode decidir se a solicitação é urgente, qual equipe deve recebê-la e qual encaminhar o caso para uma pessoa. Lembra até de testar muito tempo atrás, você colocava um texto e ele classificava o texto se era positivo, se era negativo, para você identificar, tipo, ah, isso aqui é um elogio, qual é a emoção e qual é o percentual, era

[01:11] isso. Então o JV veio para fazer isso também programaticamente, tá? Os modelos estão disponíveis aí no Worker AI e no Huging Face sobre licença 2.0. O Clef também aceita imagens, possui contex Windows de 64.000 tokens conta 32 do JV e mantém compatibilidade com API do concorrente. Então eles ele ele está respondendo exatamente da mesma forma que o Jev. Se você já utilizou o Jev, pode utilizar o Clef, tá? O o primo primo rico dele, de repente, né?

[01:41] >> Primo rico, acho que sim. é >> filme conhecido dele famoso, né? Nos testes de latência publicados pela Cloud FLIR, o Clef registrou mediana de 209,3 msos, enquanto o Clef Flash reduziu ali esse tempo em 38,8 msundos. >> Ó, eu vou eu vou até deixar aqui na própria publicação da Cloud Flir, tem aqui um o benchmark para você para você ficar vendo aqui, ó. OK. Ó, o Jeff alcançou 524 ms e o Laia foi mais rápido com apenas 5,8 msundos, embora a empresa afirme que essa velocidade envolve ali

[02:16] uma perda considerável de qualidade. Além do desempenho, a Cloud Flir desenvolveu o Clef com base no modelo Quen, usando uma arquitetura que avalia as opções válidas em paralelo, sem precisar gerar uma resposta token por token. A empresa também anunciou um serviço de fine turunning com reinforcement learning para adaptar o modelo a tarefas específicas, como classificar solicitações de suporte, analisar casos de trust and save e identificar bots. Inicialmente o treinamento será realizado com o apoio de uma equipe especializada e posteriormente deverá ganhar uma

[02:50] plataforma self service. A resposta é colocar o clev no caminho crítico dos agentes, cuidando das decisões estruturadas, enquanto uma LLM fica responsável pelo raciocínio aberto e pela execução das ações. É a mesma proposta que se tem ali no utilizando o Jeff. >> Então, eu acho que tem sim utilização, não acho que seja hype, até porque a gente tá falando de um modelo de foundation, ou seja, é um modelo grande, mas que o retorno dele é um retorno de decisão, né? Então aqui um exemplo mesmo

[03:22] que a Cláudio Flir tá usando, ó. Por exemplo, você vai abrir um um ticket de suporte, ó, aqui um exemplo, aí uma pessoa escreve um texto. Então, por exemplo, tá falando aqui sobre API, tá retornando erro 500, dá. E aí o que que o modelo precisa dizer? Ah, que time que eu envio essa mensagem e se é urgente ou não. Ou seja, aí ela vai perguntar: “Pô, é pro time de cobrança? É pro time de venda ou é pro time técnico? Isso é urgente ou não?” Então são esses duas categorias que eles colocam ali e aí o o modelo decide e retorna. Ó, é 100%

[03:53] técnico e é 100% urgente, entendeu? A partir da mensagem, muito chatbot lá atrás, pô, o próprio Watson da IBM, que você construíbots também lá atrás, ele fazia esse tipo de avaliação para você definir para que caminho ir um atendimento ou melhor departamento, né? Não que o decision model faça só isso, não é só para esse tipo de coisa. O interessante desse tipo de coisa é você implementar isso no código também, porque ele já retorna como se fosse um Jason, né, da vida, já retorna para você pegar os dados e tratar eles. Você não

[04:26] precisa eh esperar por tokens >> serem gerados. Você você tem a resposta extremamente rápida nesse processo. Ou seja, tem uso, tem uso, obviamente tem uso. E ali, nesse caso ali, nesse exemplo, são duas, né? Meio que um sim ou não, mas na verdade você consegue elencar, não, olha, tem aqui um termômetro, se foi 30% para um, foi 20% para outro, 15% para outro, o que que o meu sistema vai fazer com esses números? Então você consegue ter uma árvore de decisões melhor baseada nesse retorno. >> Por isso que é um grande if que você vai

[04:58] ter que definir, [risadas] >> depois você define o que que você faz com os resultados. >> É, então os pesos que você vai ter que utilizar no teu sistema, é isso que você vai ter que eh direcionar. Então, no fim das contas, é o uso de um modelo de decisão para você fazer um if lá do teu código. >> E esse aqui é um corte de uma notícia do compilado do código Fonte TV, >> onde toda semana tem episódio novo falando de programação, tecnologia, inteligência artificial e cybersegurança. >> Então já se inscreve aqui no canal do Compilado e acompanha os episódios completos. [música]

[05:36] >> [música] [música]