Agentes de IA estão abandonando o inglês para pensar mais rápido

Autoria: Better Stack · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: AI Agents Are Ditching English to Think Faster · Canal: Better Stack · 02:34 · Assistir no YouTube

Tópicos: Agentes de IA, Inferência e otimização de modelos, Modelos de IA

Resumo

Pesquisadores de Stanford e da Together AI desenvolveram um agente que usa raciocínio latente: em vez de converter cada etapa de pensamento em texto, ele reutiliza diretamente estados internos do modelo. O Hybrid Agent alterna entre esse modo latente e o modo texto, permitindo que use ferramentas e que seus pensamentos sejam inspecionados por meio de texto aproximado. Nos testes, o sistema usou até metade dos tokens, foi cerca de duas vezes mais rápido e, segundo as estimativas da equipe, custou aproximadamente três vezes menos para executar. Ainda é um sistema de pesquisa, e os mecanismos de inference padrão não oferecem suporte a esse tipo de geração híbrida.

Pontos-chave

No raciocínio latente, o modelo reutiliza seu estado interno em vez de decodificar e reprocessar um token de texto a cada etapa.
O Hybrid Link adapta os estados internos do modelo para que possam ser usados como entradas em novas etapas de raciocínio.
O agente alterna entre o modo latente e o modo texto, no qual pode escrever chamadas Python, usar ferramentas e ler os resultados.
Como o Hybrid Link aproxima seus resultados de embeddings de tokens reais, é possível inspecionar os pensamentos latentes como texto aproximado.
Em um teste, a acurácia no Math 500 caiu de 84,6% para 44,8% quando os vetores latentes foram substituídos por vetores de outro problema.
A equipe treinou o modelo para interpretar seus pensamentos latentes e depois usou reinforcement learning para melhorar a resolução de problemas.
O modelo aprendeu por conta própria a usar cada vez mais o modo latente, sem receber instruções explícitas sobre quando ativá-lo.
O sistema usou até metade dos tokens, executou cerca de duas vezes mais rápido e foi estimado como aproximadamente três vezes mais barato que agentes baseados apenas em texto.
Os checkpoints de 8 bilhões e 14 bilhões de parâmetros estão disponíveis no Hugging Face sob a licença MIT, mas é necessário usar a infraestrutura de inference desenvolvida pela equipe.

Capítulos

Início	Capítulo	Resumo
00:00	Por que pensar em texto pode ser ineficiente	O vídeo apresenta o raciocínio latente como uma alternativa a traduzir cada etapa do pensamento do modelo em palavras.
00:30	O funcionamento do raciocínio latente	O modelo reutiliza seus estados internos, mas essa abordagem inicialmente dificultava o uso de ferramentas e a inspeção dos pensamentos.
01:02	Hybrid Link e alternância entre modos	O adaptador permite ao agente alternar entre raciocínio latente e texto, além de tornar seus estados internos inspecionáveis como texto aproximado.
01:33	Exemplo e evidências experimentais	Um exemplo mostra o agente consultando informações sobre a velocidade do som, e testes indicam que seus pensamentos latentes contribuem para a acurácia.
02:03	Resultados, limitações e disponibilidade	O sistema reduziu tokens, tempo e custo estimado, mas ainda depende de uma infraestrutura de inference própria; seus checkpoints estão disponíveis no Hugging Face.

Citações

O inglês é uma língua bem ruim para pensar, pelo menos se você for uma IA. — 00:00

Ele pula completamente o processamento de qualquer vocabulário, então é mais rápido e carrega mais informação por etapa. — 00:30

Você pode pegar qualquer etapa latente, procurar o token mais próximo no vocabulário e obter um texto aproximado legível. — 01:33

Nunca disseram ao modelo quando usar o modo latente, mas, com o tempo, ele aprendeu sozinho a pensar cada vez mais nele. — 02:03

Usou até metade dos tokens, executou cerca de duas vezes mais rápido e, segundo as estimativas, custou aproximadamente três vezes menos. — 02:34

Conceitos e entidades

latent reasoning (conceito): Abordagem em que o modelo prossegue o raciocínio reutilizando estados internos, em vez de converter cada etapa em texto.
Hybrid Agent (modelo): Agente de pesquisa que combina raciocínio latente com etapas em texto para usar ferramentas e produzir respostas.
Hybrid Link (ferramenta): Adaptador que projeta estados internos do modelo para perto de embeddings de tokens e permite alternar entre modos latente e texto.
Qwen3 (modelo): Modelo-base ao qual os pesquisadores acoplaram o Hybrid Link.
Stanford (empresa): Instituição cujos pesquisadores participaram do desenvolvimento do agente apresentado.
Together AI (empresa): Empresa que colaborou com pesquisadores de Stanford no desenvolvimento do agente.
Math 500 (conceito): Avaliação matemática usada para medir a acurácia do modelo nos experimentos descritos.
Hugging Face (empresa): Plataforma onde foram disponibilizados os checkpoints de 8 bilhões e 14 bilhões de parâmetros.

Tradução completa (pt-BR)

00:00 O inglês é uma língua bem ruim para pensar, pelo menos se você é uma IA. Toda vez que um modelo raciocina sobre um problema, ele precisa comprimir um enorme vetor interno com milhares de dimensões em uma única palavra e, depois, reconstruir tudo a partir dessa palavra no passo seguinte. E se os agents de IA pudessem simplesmente ignorar o inglês e pensar usando a própria língua interna? Uma equipe de Stanford e Together AI acabou de criar um agent que faz exatamente isso. E o mais legal é que ainda dá para ler os pensamentos dele. Veja como funciona. Pesquisadores vêm experimentando algo chamado raciocínio latente. E a forma como isso

00:30 funciona é que, em vez de decodificar um token, gerar um embedding de novo e alimentá-lo de volta ao modelo, o modelo pega o estado oculto da última camada e alimenta esse vetor diretamente como a próxima entrada. Ele ignora completamente o processamento de qualquer vocabulário, então é mais rápido e carrega mais informação por passo. O problema é que os raciocinadores latentes não conseguiam chamar ferramentas, porque uma chamada de ferramenta precisa ser texto, e ninguém conseguia ler o que eles estavam pensando, o que é um problema real quando se precisa auditar ou depurar um agent. Mas agora, pesquisadores desenvolveram algo chamado hybrid agent, que resolve os dois problemas. O que eles fizeram foi conectar um pequeno adaptador

01:02 chamado Hybrid Link a um modelo base Qwen-3, que tem uma projeção de duas camadas com uma conexão residual e cerca de 10 milhões de parâmetros, em um modelo de 4 bilhões de parâmetros. A função dele é traduzir o estado oculto de saída do modelo de volta para algo que se pareça com um embedding de entrada. Quando o modelo emite um token latente especial, ele muda para o modo latente e começa a fazer um loop com seus estados ocultos por meio do Hybrid Link, sem nenhuma decodificação. Ele também decide por conta própria quando parar. Assim que a saída do adaptador fica mais próxima do embedding do token latente de fechamento, o modelo volta ao modo de texto

01:33 , escreve uma chamada em Python, lê o resultado e continua. E, como o Hybrid Link é treinado para chegar perto de embeddings de tokens reais, você pode pegar qualquer passo latente, procurar o token mais próximo no vocabulário e obter um pseudotexto legível. No exemplo do repo, o modelo perguntou quanto tempo o som leva para percorrer 10 km e, pela leitura do trecho latente, podemos ver que o modelo estava recordando 343 m/s e depois decidiu pesquisar para confirmar. No fim, ele responde à pergunta em cerca de 29 segundos. Eles também mostraram que o modelo realmente depende desses pensamentos

02:03 latentes. Quando trocaram os vetores latentes do modelo de 8 bilhões por vetores de um problema diferente, a precisão dele em Math 500 caiu de 84,6 para 44,8%. Para treiná-lo, primeiro ensinaram o modelo a ler os próprios pensamentos latentes e, depois, usaram aprendizado por reforço para torná-lo melhor em resolver problemas. E o interessante é que nunca disseram ao modelo quando usar o modo latente, mas, com o tempo, ele aprendeu por conta própria a fazer cada vez mais do seu raciocínio nesse modo. E os resultados foram bem impressionantes. Em comparação com agents comuns baseados em texto, o hybrid agent usou até metade dos tokens,

02:34 foi cerca de duas vezes mais rápido e, segundo as estimativas deles, custava aproximadamente três vezes menos para executar. Mas vale lembrar que isso ainda é um sistema de pesquisa, e os mecanismos de serving padrão ainda não oferecem suporte a esse tipo de geração híbrida. Então, a equipe teve que criar a própria stack de inference. Mas os checkpoints de 8 bilhões e 14 bilhões já estão no Hugging Face sob a licença MIT, então você pode executar por conta própria o inspetor de pensamentos latentes. E, se quiser ficar por dentro das últimas novidades em pesquisa e engenharia de IA, não deixe de se inscrever no canal Better Stack.

Transcrição original

[00:00] English is a pretty terrible language for thinking, at least if you’re an AI. Every time a model reasons through a problem, it has to squeeze a huge internal vector with thousands of dimensions down into a single word, and then rebuild everything from that one word on the next step. So, what if AI agents could skip English entirely and think in their own internal language instead? So, a team from Stanford and Together AI just built an agent that does exactly that. And the coolest thing is that you can still read its thoughts. Here’s how it works. So, researchers have been experimenting with something called latent reasoning. And the way it

[00:30] works is that instead of decoding a token, re-embedding it, and feeding it back in, the model takes its last layer hidden state and feeds that vector straight back in as the next input. It completely skips processing any vocabulary, so it’s faster and it carries more information per step. The problem is that latent reasoners couldn’t call tools because a tool call has to be text, and nobody could read what they were thinking, which is a real issue when you need to audit or debug an agent. But now, researchers have developed something called hybrid agent, which solves both of these problems. So, what they did was attach a tiny adapter

[01:02] called Hybrid Link to a Qwen-3 base model, which has a two-layer projection with a residual connection and about 10 million parameters on a 4-billion parameter model, and its job is to translate the model’s output hidden state back into something that looks like an input embedding. When the model emits a special latent token, it switches into latent mode and starts looping its hidden states through that Hybrid Link with no decoding at all. And it also decides on its own when to stop. Once the adapter’s output lands closest to the embedding of the closing latent token, the model drops back into text

[01:33] mode, writes a Python call, reads the result, and keeps going. And because Hybrid Link is trained to land near real token embeddings, you can take any latent step, look up the nearest token in the vocabulary, and get a readable pseudo text back. In the example from the repo, the model asked how long sound takes to travel 10 km, and from its latent span readout, we can see that the model was recalling 343 m/s and then deciding to search to verify it, and in the end it answers the question in about 29 seconds. They also showed that the model genuinely relies on those latent

[02:03] thoughts. When they swapped the 8 billion models latent vectors with ones from a different problem, its math 500 accuracy dropped from 84.6 to 44.8% and to train it, they first taught the model how to read its own latent thoughts, and then they used reinforcement learning to make it better at solving problems. And the interesting thing is that they never told the model when to use latent mode, but over time it learned on its own to do more and more of its thinking there. And the results were pretty impressive. Compared to regular text-based agents, hybrid agent used up to half as many tokens,

[02:34] ran about two times faster, and by their estimates, it was roughly three times cheaper to run. But keep in mind that this is still in a research system, and standard serving engines don’t support this kind of hybrid generation yet. So, the team had to build their own inference stack. But the 8 billion and 14 billion checkpoints are already on Hugging Face under the MIT license, so you can run the latent thought inspector yourself. And if you want to stay up-to-date with the latest in AI research and engineering, be sure to subscribe to the Better Stack channel.