Kimi K3.1 inventou as pontuações dos benchmarks
Autoria: Matthew Berman · Assistir no YouTube
Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.
Idioma original: inglês
Vídeo original: Kimi K3.1 Invented the Benchmark Scores · Canal: Matthew Berman · 00:00 · Assistir no YouTube
Tópicos: Avaliação e benchmarks de IA, Geração de conteúdo com IA, Modelos de IA
Matthew Berman pede ao Kimi K3.1 Pro que crie uma imagem de gráfico com as pontuações de benchmarks do modelo. A imagem mostra categorias amplas, como programação, raciocínio, matemática e tarefas agênticas. Quando questionado se os números eram precisos, o modelo admite que eram valores fictícios usados como placeholders.
Pontos-chave
Seção intitulada “Pontos-chave”- O modelo gera uma imagem de gráfico com pontuações de benchmarks.
- As categorias exibidas incluem programação, raciocínio, matemática e tarefas agênticas.
- O apresentador questiona se os números apresentados são precisos.
- O modelo responde que os números são placeholders inventados.
Capítulos
Seção intitulada “Capítulos”| Início | Capítulo | Resumo |
|---|---|---|
| 00:00 | Gráfico de benchmarks gerado pelo modelo | O apresentador pede ao Kimi K3.1 Pro uma imagem de gráfico com suas pontuações. |
| 00:00 | Categorias amplas de avaliação | O gráfico agrupa os resultados em programação, raciocínio, matemática e tarefas agênticas. |
| 00:00 | Pontuações inventadas | Questionado sobre a precisão dos números, o modelo admite que eram placeholders fictícios. |
Citações
Seção intitulada “Citações”Esses números não parecem precisos. — 00:00
Programação, raciocínio, matemática, tarefas agênticas. — 00:00
Não, são placeholders inventados. — 00:00
Conceitos e entidades
Seção intitulada “Conceitos e entidades”- Kimi K3.1 Pro (modelo): Modelo solicitado a criar um gráfico com pontuações de benchmarks.
- benchmarks (conceito): Avaliações cujas pontuações são apresentadas no gráfico gerado pelo modelo.
- Matthew Berman (pessoa): Apresentador que questiona a precisão dos números exibidos.
Tradução completa (pt-BR)
Seção intitulada “Tradução completa (pt-BR)”00:00 Esses números não parecem precisos. Crie uma imagem de um gráfico exibindo os benchmarks do Kimiko K3.1 Pro. Foi isso que ele criou. E a primeira coisa que notei é que ele só tem estas categorias amplas: programação, raciocínio, matemática, tarefas agênticas. [música] Então, perguntei. Eu disse: “Esses números são mesmo precisos?” Não, são espaços reservados inventados.
Transcrição original
[00:00] Those numbers don’t look accurate. Create an image of a graph showing off the benchmarks of Kimiko K3.1 Pro. This is what it created. And the first thing I notice is it just has these broad categories: coding, reasoning, mathematics, agentic tasks. [music] So, I asked it. I said, “Are those numbers actually accurate?” No, they are invented placeholders.