Kairos 1: um modelo que interpreta o USUÁRIO, não o assistente (13 vitórias em 17)

Autoria: Prompt Engineer 48 · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Kairos 1: A Model That Plays the USER, Not the Assistant (13 Wins of 17) · Canal: Prompt Engineer 48 · 03:08 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Modelos de IA

Resumo

O vídeo apresenta Kairos 1, um modelo criado para simular o comportamento de usuários humanos, em vez de atuar como assistente. Em resultados divulgados pela Diachronic, Kairos 1 lidera 13 de 17 comparações, incluindo avaliações de estilo de comunicação, padrões de informação e reação a erros. O apresentador ressalta que os resultados vêm de um checkpoint inicial e que algumas diferenças são mínimas; além disso, a página recomenda comparar pontuações apenas dentro de cada gráfico. A possível utilidade do modelo para testar chatbots e agents com usuários simulados é uma hipótese do apresentador, que também observa não ter encontrado informações sobre preço, data de lançamento ou acesso à API.

Pontos-chave

Kairos 1 foi desenvolvido para simular usuários humanos, não para atuar como assistente.
A página da Diachronic informa que os resultados apresentados vêm de um checkpoint inicial.
No índice de simulação de usuários, Kairos 1 obteve 86,11, contra 77,82 de Persimmon.
O modelo liderou 13 das 17 comparações apresentadas.
A maior diferença citada foi no benchmark User LM, com mais de 23 pontos de vantagem sobre Fable 5.1.
Em algumas avaliações, como Sim Arena math, a diferença em relação a Gemini 3.1 Pro foi praticamente um empate.
Kairos 1 não venceu todas as comparações: perdeu quatro, incluindo avaliações de opinião, ciências sociais, chat e A-line X.
Os resultados são divulgados pela própria Diachronic, e o vídeo recomenda aguardar avaliações independentes.
O apresentador sugere que modelos de usuários simulados poderiam ajudar a testar chatbots e agents antes de serem usados por pessoas reais.
O apresentador não encontrou informações sobre preço, data de lançamento ou acesso à API.

Capítulos

Início	Capítulo	Resumo
00:00	Kairos 1 e a simulação de usuários	O vídeo apresenta a proposta do modelo e a alegação de que ele simula diferenças individuais no comportamento humano.
01:04	Resultados do índice e benchmarks comportamentais	São comparadas as pontuações de Kairos 1 em estilo de comunicação, padrões de informação, reação a erros e outros testes.
02:07	Comparações, limites e perdas	O apresentador contextualiza comparações com Gemini 3.1 Pro, aponta quatro avaliações em que Kairos 1 não liderou e pede cautela com os resultados.
03:08	Possível uso e informações ausentes	O vídeo sugere testar chatbots e agents com usuários simulados, mas observa que não encontrou dados sobre preço, lançamento ou acesso à API.

Citações

Um modelo criado para agir como o usuário humano, não como o assistente. — 00:00

Os modelos de fronteira de hoje só entendem médias populacionais. — 00:31

Isso é basicamente um empate. — 02:07

Isso não diz que Kairos é um assistente melhor. — 02:37

Você pode testar seu chatbot ou seu agent com usuários realistas antes que pessoas reais o utilizem. — 03:08

Conceitos e entidades

Kairos 1 (modelo): Modelo apresentado como capaz de simular diferenças individuais no comportamento de usuários humanos.
Diachronic (empresa): Empresa que apresenta Kairos 1 e divulga os resultados dos benchmarks discutidos no vídeo.
Kevin Bank (pessoa): Fundador da Diachronic, citado como autor da publicação de lançamento do modelo.
User Sim Index (conceito): Índice que reúne quatro pontuações de semelhança com o comportamento humano.
User LM (conceito): Benchmark que avalia se um modelo consegue escrever mensagens realistas de usuários a partir de uma intenção.
Sotopia hard (conceito): Benchmark voltado a situações de negociação, colaboração e conflito.
Gemini 3.1 Pro (modelo): Modelo cujos resultados aparecem em alguns benchmarks comportamentais, com dados provenientes de um relatório publicado.
Persimmon (modelo): Modelo comparado com Kairos 1 no índice de simulação de usuários e em outras avaliações.
Fable 5.1 (modelo): Modelo comparado com Kairos 1 em benchmarks comportamentais e de avaliação humana.
Grok 4.6 (modelo): Modelo comparado com Kairos 1 em diferentes componentes do índice de simulação de usuários.

Tradução completa (pt-BR)

00:00 Certo. Neste vídeo, vamos analisar Kairos 1, um modelo criado para agir como o usuário humano, não como o assistente. No benchmark próprio, ele marca 86, e o seguinte marca 78. Vamos ver o que isso significa. A maioria dos modelos é treinada para ser o assistente. Kairos 1 interpreta o outro lado da conversa. Ele interpreta o usuário. A Diachronic diz: “Os modelos de ponta de hoje só entendem médias populacionais, e Kairos foi criado para reproduzir as diferenças individuais que nos tornam humanos.” Esta é a publicação de lançamento de Kevin Bank, fundador da Diachronic. Ele o chama de primeiro modelo do mundo

00:31 criado para simular o comportamento humano individual e diz que ele supera Persimmon, Astra, Fable e Gemini em 13 benchmarks de simulação. Vamos à página e conferir. Antes de olharmos os números, uma observação: a página diz que esses resultados vêm de um checkpoint inicial de treinamento. Portanto, este nem sequer é o modelo final. Primeiro, o índice de simulação de usuário. Ele é a média de quatro pontuações de semelhança com humanos. Kairos 1 fica com 86,11. Persimmon fica com 77,82. Grok 4.6, com 70,38. GPT-6 Astra, com 58,18, e Fable

01:04 5.1, com 56,52. São mais de oito pontos de vantagem sobre o próximo colocado. Agora, as quatro partes: estilo de comunicação, 82 contra 66 de Persimmon; padrões de informação, 95, o maior número da página; e reação a erros, que é como um usuário reage quando o assistente erra, 84, enquanto Grok 4.6 fica em 52. Esclarecimento é a disputa mais acirrada: 83,52 para Kairos e 82,9 para Grok 4.6. Então, é uma vitória, mas por pouco. Depois,

01:36 os benchmarks comportamentais. UserLM testa se um modelo consegue escrever mensagens realistas de usuários a partir de uma intenção. Kairos fica com 91,71, e Fable 5.1, com 68,5. São mais de 23 pontos, a maior diferença de toda a página. Sotopia hard trata de negociação, colaboração e conflito. Kairos fica com 47,6, e o próximo melhor é Fable, com 32. Ainda fica abaixo de 50, então é um teste difícil, mas Kairos está mais de 15 pontos à frente. Agora, Gemini 3.1 Pro não aparece no gráfico geral. Ele aparece

02:07 aqui, nos benchmarks comportamentais, e a página diz que os números dele vêm do relatório OD Sim publicado, enquanto os demais vêm da avaliação usada para esta comparação. E, em alguns desses casos, a vantagem é minúscula. Sim Arena math: 71,52 contra 71,5 de Gemini. Basicamente, um empate. Human Eval email: 51,24 contra 50,8. Agora, a parte honesta: a página apresenta as 17 comparações, e Kairos lidera em 13; nas outras quatro, não. Human Eval opinion: 42 contra 43 de Fable. Soc

02:37 Sci 210: 75 contra 78 de Gemini. Human Eval chat: 24 contra 27 de Fable. E Align X: 72 contra 77 de GPT-6 Astra. Além disso, lembre-se de que isso diz respeito à simulação de usuários. Não diz que Kairos é um assistente melhor. Esses números também são apresentados pela Diachronic, e a própria página diz para comparar as pontuações apenas dentro de cada gráfico. Então, aguardem testes independentes. Por que você iria querer um modelo que age como usuário? Na minha opinião, para testes. Você pode testar seu chatbot ou seu agent com usuários realistas

03:08 antes que pessoas de verdade interajam com ele. Essa parte é um palpite meu. Não é algo que a página diga. O que não encontrei na página foram informações sobre preço, data de lançamento ou acesso à API, então ainda não posso dizer como usá-lo. Neste vídeo, vimos que Kairos venceu 13 de 17 comparações com um checkpoint inicial. Acesse a página; o link está na descrição, e me diga o que você acha. Até a próxima.

Transcrição original

[00:00] All right. In this video, we look at Kairos 1, a model built to act like the human user, not the assistant. On its own benchmark, it scores 86, and the next one scores 78. Let’s go ahead and see what that means. So, most models are trained to be the assistant. Kairos 1 plays the other side of the chat. It plays the user. Diachronic says, “Today’s frontier models only understand population averages, and Kairos is built to copy the individual differences that make us human.” This is the launch post from Kevin Bank, he the founder of Diachronic. He calls it the world’s

[00:31] first model built to simulate individual human behavior, and says it beats Persimmon, Astra, Fable, and Gemini across 13 simulation benchmarks. Let’s go to the page and check that. One thing before we look at numbers, the page says these results come from an early training checkpoint. So, this is not even the final model. First, the user sim index. It is the average of four human-likeness scores. Kairos 1 gets 86.11. Persimmon is 77.82. Grok 4.6 is 70.38. GPT-6 Astra is 58.18, and Fable

[01:04] 5.1 is 56.52. That is more than eight points clear of the next one. Now, the four parts: communication style, 82 against Persimmon’s 66, information patterns, 95 the highest number on the page, and error reaction, which is how a user reacts when the assistant gets it wrong, 84, and Grok 4.6 is at 52. Clarification is the closer one, 83.52 for Kairos, and 82.9 for Grok 4.6. So, that is a win, but a small win. Then,

[01:36] the behavioral benchmarks. User LM LM tests if a model can write realistic user messages from an intent. Kairos gets 91.71, and Fable 5.1 gets 68.5. That is more than 23 points, the biggest gap on the whole page. Sotopia hard is about negotiation, collaboration, and conflict. Kairos gets 47.6, and the next best is Fable at 32, still under 50, so it is a hard test, but it is more than 15 points ahead. Now, Gemini 3.1 Pro is not in the overall chart. It shows up

[02:07] here in the behavioral benchmarks, and the page says its numbers come from its published OD Sim report, while the rest come from the evaluation used for this comparison. And on some of these, the lead is tiny. Sim Arena math 71.52 against Gemini’s 71.5. That is basically a tie. Human Eval email 51.24 against 50.8. Now, the honest part, the page reports all 17 comparisons, and Kyros leads on 13, on four it does not. Human Eval opinion 42 against Fable’s 43. Soc

[02:37] Sci 210 75 against Gemini’s 78. Human Eval chat 24 against Fable’s 27. And a line X 72 against GPT-6 Astra 77. Also, mind you, this is about simulating users. It does not say Kyros is a better assistant. These are also numbers presented by their chronic, and the page itself says to compare scores only within a chart. So, wait for independent tests. So, why would you want a model that acts like a user? My take is testing. You can try your chatbot or your agent against realistic users

[03:08] before real people touch it. That part is my guess. It is not something the page says. What I could not find on the page is pricing, a release date, or API access, so I cannot tell you how to run it yet. So, in this video, we have seen Kyros won 13 wins out of 17 from an early checkpoint. Go ahead and check the page, link in the description, and let me know what you think. I’ll see you in the next one.