O truque de evals de direção autônoma que nenhum benchmark de IA supera
Autoria: LangChain · Assistir no YouTube
Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.
Idioma original: inglês
Vídeo original: The Self-Driving Eval Trick No AI Benchmark Beats · Canal: LangChain · 00:33 · Assistir no YouTube
Tópicos: Avaliação e benchmarks de IA, Modelos multimodais, Robótica e sistemas autônomos
O palestrante explica que sua visão sobre evals foi influenciada pelo trabalho em uma empresa de direção autônoma. Embora a equipe acompanhasse métricas e evals, a decisão de colocar um modelo no carro dependia de revisar um vídeo com muitos exemplos. Em grupo, eles assistiam aos trechos, faziam anotações e discutiam acertos e erros. Para ele, examinar 100 ou 1.000 exemplos não tem substituto melhor.
Pontos-chave
Seção intitulada “Pontos-chave”- A experiência em direção autônoma moldou a visão do palestrante sobre evals.
- A equipe acompanhava métricas e evals para os modelos de visão.
- A liberação de um modelo para uso no carro dependia da revisão de um vídeo com exemplos.
- A equipe assistia aos trechos em conjunto, fazia anotações e discutia os resultados.
- A revisão direta de muitos exemplos é apresentada como um eval difícil de superar.
Capítulos
Seção intitulada “Capítulos”| Início | Capítulo | Resumo |
|---|---|---|
| 00:00 | Evals na direção autônoma | O palestrante relaciona sua visão sobre evals à experiência em uma empresa de direção autônoma. |
| 00:00 | A revisão em vídeo como critério de liberação | Além das métricas, a equipe revisava um vídeo com trechos curtos antes de colocar um modelo no carro. |
| 00:33 | Discussão coletiva de exemplos | A equipe assistia aos vídeos, anotava acertos e erros e avaliava muitos exemplos diretamente. |
Citações
Seção intitulada “Citações”Grande parte da minha visão sobre evals vem do período em que trabalhei com direção autônoma. — 00:00
O critério para colocar um modelo no carro era esse vídeo extenso. — 00:00
Não há eval melhor do que olhar 100 exemplos ou 1.000 exemplos. — 00:33
Conceitos e entidades
Seção intitulada “Conceitos e entidades”- evals (conceito): Avaliações usadas para observar o desempenho dos modelos.
- self-driving (conceito): Direção autônoma, contexto em que a equipe avaliava os modelos de visão.
- vision models (conceito): Modelos de visão que, segundo o palestrante, ajudam o carro a dirigir.
- DQA (conceito): Sigla mencionada para identificar o vídeo usado na revisão dos modelos.
Tradução completa (pt-BR)
Seção intitulada “Tradução completa (pt-BR)”00:00 Então, boa parte da minha tese sobre evals vem do meu tempo trabalhando com direção autônoma. Em uma empresa de direção autônoma, o produto é o carro que dirige, e o que faz o carro andar são os modelos de visão, certo? É claro que tínhamos evals, é claro que havia métricas que acompanhávamos, e isso era muito importante. Mas o requisito para colocar um modelo no carro era essa grande grade. Eu tinha esse vídeo de DQA, com cerca de uma hora e meia ou duas horas, que tinha, sabe, clipes de sete segundos. Nós nos sentávamos em equipe e tínhamos um projetor no equivalente à sala de estar do escritório e
00:33 ficávamos sentados assistindo a uns 30 minutos, uma hora de vídeo, fazendo anotações e conversando sobre ele, dizendo: “Sabe, olha, aqui ele acerta mesmo, ali erra”, e simplesmente não existe eval melhor do que olhar para 100 exemplos ou 1.000 exemplos.
Transcrição original
[00:00] So a lot of my thesis on evals comes from my time working in self-driving. At a self-driving company, the product is the car that drives and like the thing that makes it drive is the vision models, right? Of course we had evals, of course there were metrics that we looked at and that was very important. But the gate to get a model on the car was this big grid. I was this this DQA video, this like hour and a half or two-hour video that had, you know, seven-second clips. We sat down as a team and we had a projector in the living room equivalent of the office and
[00:33] we sat and we watched like 30 minutes, an hour of video and we took notes and talked about it and said, you know, oh, like it actually gets this right there and this wrong there and there’s just no better eval than looking at 100 examples or 1,000 examples.