Jev: o modelo que matou a ideia central do ChatGPT? RLCD explicado

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Jev: The Model That Killed Chat GPT’s Core Idea? RLCD Explained · Canal: Fahd Mirza · 05:16 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Modelos de IA, Segurança de IA

Resumo

O vídeo apresenta a crítica de um dos criadores da técnica por trás do ChatGPT ao RLHF, método que ajusta modelos com base nas preferências humanas. Segundo essa crítica, otimizar respostas para agradar a avaliadores pode favorecer excesso de confiança e respostas que parecem corretas, mas não são. Como alternativa, a TypeSafe desenvolveu o RLCD, que busca decisões calibradas com probabilidades de confiança, em vez de texto conversacional. A empresa afirma que seu modelo Jev é mais rápido, barato e preciso em certas tarefas estruturadas, mas o vídeo ressalta que esses resultados ainda não foram verificados de forma independente e que o modelo não foi lançado.

Pontos-chave

RLHF ajusta modelos a partir de avaliações humanas das respostas, buscando produzir respostas que as pessoas prefiram.
A crítica apresentada é que esse treinamento pode incentivar respostas excessivamente confiantes ou aparentemente corretas, mas pouco confiáveis.
O RLCD busca otimizar a correção das decisões e a calibração da confiança, em vez da aprovação humana.
O Jev é apresentado como um modelo que retorna decisões estruturadas acompanhadas de uma probabilidade de confiança.
A confiança calibrada poderia permitir que um software automatize decisões acima de um limiar e encaminhe as demais a uma pessoa.
A TypeSafe afirma que o Jev é mais rápido e barato em tarefas de decisão do que chamadas comparáveis a LLMs.
A empresa também alega menor taxa de erros em saídas estruturadas e melhor custo por nível de precisão.
As alegações e os benchmarks são da própria TypeSafe; o modelo ainda não foi lançado nem avaliado independentemente.

Capítulos

Início	Capítulo	Resumo
00:01	A crítica ao método por trás do ChatGPT	O vídeo introduz a crítica de alguém que afirma ter ajudado a desenvolver a técnica de treinamento do ChatGPT.
01:04	Como funciona o RLHF e quais seriam seus limites	O apresentador explica o treinamento com avaliações humanas e a alegação de que ele pode favorecer respostas convincentes, mas pouco confiáveis.
02:06	RLCD e decisões com confiança calibrada	A TypeSafe apresenta o RLCD como alternativa que prioriza resultados corretos e decisões estruturadas com probabilidades de confiança.
03:42	Desempenho alegado e ressalvas sobre os dados	O vídeo relata as alegações da TypeSafe sobre velocidade, custo e precisão, mas observa que elas não foram verificadas independentemente.
04:45	O papel da aprovação humana e próximos testes	O apresentador questiona se a confiança calibrada é uma base melhor para sistemas autônomos e promete testar o modelo quando tiver acesso.

Citações

A técnica de treinamento em si — não o produto — seria um beco sem saída. — 01:04

Os modelos seriam feitos para parecer certos para uma pessoa no processo, não para estarem certos por conta própria. — 01:36

É um modelo feito para ser chamado por software, não para conversar com pessoas. — 03:10

Nada foi testado, nada foi comprovado. — 04:13

Conceitos e entidades

RLHF (conceito): Método de treinamento que usa avaliações humanas de respostas para ajustar o comportamento de um modelo.
RLCD (conceito): Abordagem descrita no vídeo que treina modelos para produzir decisões corretas acompanhadas de confiança calibrada.
Jev (modelo): Modelo da TypeSafe apresentado como voltado a decisões estruturadas com probabilidades de confiança.
TypeSafe (empresa): Empresa que desenvolveu o Jev e promove a abordagem RLCD.
ChatGPT (modelo): Assistente de IA usado no vídeo como exemplo de produto associado ao treinamento baseado em preferências humanas.
Diego Almeida (pessoa): Pessoa citada no vídeo como alguém que teria ajudado a desenvolver a técnica por trás do ChatGPT e criticado o RLHF.

Tradução completa (pt-BR)

00:01 O ChatGPT mudou o mundo para sempre. Ele não apenas lançou um produto. Redefiniu o que uma indústria inteira — e, sinceramente, a maioria das pessoas — pensa que a IA serve para fazer. Então, quando alguém que ajudou a desenvolver a técnica por trás dele se levanta e diz: “Acho que erramos”, vale a pena prestar atenção. Neste vídeo, vamos tentar descobrir: este é o próximo momento de Jeopardy do ChatGPT ou é só barulho? Vamos descobrir. Aqui é Fahad Miza, e eu

00:32 dou as boas-vindas a vocês ao canal. Um tuíte está viralizando agora, vindo justamente dessa pessoa, alguém que diz ter ajudado a inventar a técnica por trás do ChatGPT. E hoje ele está dizendo ao mundo que acha que ela foi um beco sem saída — não o produto, mas o próprio método de treinamento. E ele não está apenas criticando. Passou os últimos dois anos desenvolvendo em sigilo o oposto. O nome dele é Dio Almeida, e a empresa dele é Typesafe. Este vídeo

01:04 não é patrocinado por essa empresa, aliás. E, para entender o que ele criou, primeiro você precisa entender do que está se afastando. RLHF, aprendizado por reforço com feedback humano. Esse é o método em que um modelo de linguagem bruto passa por fine-tuning com humanos classificando suas respostas. Assim, o modelo aprende a produzir respostas de que as pessoas gostam. É por isso que o ChatGPT soa prestativo e concorda com as pessoas, em vez de apenas prever a próxima palavra da internet. Quase todos os

01:36 outros modelos que você vê hoje se baseiam nessa ideia, de uma forma ou de outra. A alegação de Diego é que otimizar um modelo para agradar a um avaliador humano incorpora silenciosamente falhas específicas. Ele cita a menção desnecessária a modelos, o excesso de confiança e a falta de confiabilidade. Segundo ele, modelos treinados dessa maneira são feitos para parecer certos para uma pessoa envolvida no processo, não para estarem certos por conta própria. Isso não é problema para um chatbot. Mas se torna um problema real

02:06 no momento em que você quer que um modelo tome decisões dentro de um software sem ninguém monitorando. E é aí que a história de verdade começa. Em vez disso, a Typesafe criou o que chama de RLCD, aprendizado por reforço para decisões calibradas. Olhe para os dois lado a lado: a diferença é óbvia. O RLHF treina com humanos classificando respostas, buscando aprovação, e produz texto conversacional com excesso de confiança incorporado como custo. O RLCD treina com base em

02:40 se o resultado estava realmente correto, buscando uma pontuação de confiança precisa, e produz decisões tipadas acompanhadas de uma probabilidade. Ambos usam a mesma base de aprendizado por reforço, mas otimizam coisas completamente diferentes. E aí a história, como você já sabe, avança. A diferença que você consegue ver aparece diretamente nesse resultado. Um modelo de chat com RLHF dá uma frase: aceite ou deixe para lá. O modelo deles, chamado

03:10 Jev, dá uma decisão tipada e uma pontuação de confiança calibrada. Assim, seu código pode dizer: aja automaticamente acima de 90% de confiança e encaminhe para uma pessoa abaixo disso. É um modelo feito para ser chamado por software, não para conversar com pessoas. E essa é uma diferença enorme. E, como ele não gera texto conversacional token por token, eles afirmam que é radicalmente mais rápido e barato para esse tipo de decisão. O

03:42 próprio exemplo deles mostra cerca de um décimo de segundo e uma fração de centavo, contra vários segundos e mais de um centavo para uma chamada comparável de LLM. Eles compartilharam alguns benchmarks que reforçam ainda mais o argumento. Uma taxa alegada de 0% de erros de saída estruturada, contra uma porcentagem baixa de um dígito nos modelos da GPT e da Claude, e um gráfico de precisão por dólar em que o Jev fica bem acima de todos os outros em custo para uma precisão semelhante.

04:13 Vale lembrar que tudo isso vem dos próprios dados divulgados pela Typesafe, não foi verificado de forma independente, e o modelo ainda não foi lançado. Há uma lista de espera bem longa, pelo que parece, mas nada foi testado, nada foi comprovado. Por enquanto, são apenas palavras no blog deles, sem verificação independente. Mas enfim, veja: a verdadeira questão não é se o Jev é rápido. É se otimizar a confiança calibrada em vez da aprovação humana é, de fato, uma base melhor

04:45 para uma IA que age por conta própria, ou se as falhas do RLHF são, na verdade, um recurso, e não um defeito, para tudo que ainda precisa de uma pessoa envolvida no processo. Então, contem nos comentários o que vocês acham; estou muito curioso para saber. Vocês sempre acrescentam algo valioso. Assim que eu tiver acesso ao modelo deles, vou fazer outro vídeo, e vamos mesmo levá-lo ao limite para ver como a coisa desanda. É isso. Contem nos comentários o que vocês acham. Obrigado por

05:16 tudo

Transcrição original

[00:01] Jet GPT changed the world forever. It didn’t just launch a product. It reset what an entire industry and honestly what most people think AI is even for. So when someone who helped build the technique behind it, stands up and says, “I think we got it wrong.” That’s worth paying attention to. This video is us trying to figure out is this the next Jet Jeopardy moment or just noise. Let’s find out. This is Fahad Miza and I

[00:32] welcome you to the channel. There is a tweet blowing up right now from that exact person, someone who says he helped invent the technique behind Chat GPT. And today he’s telling the world he thinks it was a dead end, not the product, the training method itself. And he’s not just criticizing it. He spent last two years in stealth building the opposite. His name is Dio Almeida and his company is Typesafe. This video is

[01:04] not sponsored by this company at all by the way. And to understand what he built, you first need to understand what he is walking away from. RLHF, reinforcement learning from human feedback. That’s the method where a raw language model gets fine-tuned by having humans rank its answers. So the model learns to produce responses people like. This is why chat GPT sounds helpful and agreeable instead of just predicting the next word of the internet. Almost every

[01:36] other model you see today runs on this idea some form or another. Diego’s claim is that optimizing a model to please a human judge quietly bakes in specific flaws, he names modropping, overconfidence, and unreliability. Models trained this way, he argues, are built to sign sound right to a person in the loop, not to be right on their own. That’s fine for a chatbot. It’s a real

[02:06] problem the moment you want a model making decisions inside software with nobody watching and that is where the real story starts. So instead type safe built what they call RLCD reinforcement learning for calibrated decisions. Look at these side by side and split is obvious. RLHF trains on humans ranking answers chasing approvals and it outputs conversational text with overconfidence baked in as a cost. RLCD trains on

[02:40] whether the outcome was actually correct chasing and accurate confidence score and it outputs the typed decisions with a probability attached. Same reinforcement learning backbone underneath both completely different things they are optimizing for. And then the story you know moves forward. The difference you can see shows up directly in this output. And RLHF chat model gives you a sentence take it or leave it. Their model called

[03:10] Jeff gives you a typed decision plus a calibrated confidence score. So your code can say act automatically above 90% confidence escalate to a human below that. It’s a model built to be called by software, not talked to by people. And that’s a major difference. And because it’s not generating conversational text token by token, they claim it radically faster and cheaper for those decisions style leaks. Their

[03:42] own demo shows roughly a tenth of second and fraction of a cent versus several seconds and over a cent for comparable LLM call. They have shared some of the benchmarks which pushed the arguments further. A claimed 0% structured output error rate versus low single digit for GPT and claude models and an accuracy per dollar chart where Jeff sits well above everyone else cost for similar accuracy.

[04:13] All of this worth remembering is type safe’s own reporting not independently verified model is not out yet. There is a very long wait list I guess but nothing has been tested, nothing has been proven. It’s all at the moment words on their blog post, not even independently verified. But anyway, look, the real question is not that is Jeff fast. It’s whether optimizing for calibrated confidence instead of human approval is actually a better foundation

[04:45] for AI that acts on its own or whether RLHF’s flaws are a feature, not a bug for anything that still needs a human in the loop. So, let me know your thoughts in the comments as very keen to know them. You guys always add value. So as soon as I get my access to their model, I will be making another video and we are going to really really stretch it to its seams to see how the cookie is crumbling. That’s it. Let me know your thoughts in the comments. Thank you for

[05:16] all the