O que ainda falta para chegarmos à AGI?

Author: Cortes do Rafael Quintanilha · Watch on YouTube

Video authored by the channel shown, not by IANIA; all rights belong to the creator. Transcript and summary generated automatically; the original-language content is preserved.

Original language: Portuguese

Original video: O que ainda falta para chegarmos à AGI? · Channel: Cortes do Rafael Quintanilha · 09:35 · Watch on YouTube

Topics: AI agents, AI evaluation and benchmarks, Software engineering with AI, AI models

Summary

Os participantes discutem como os modelos SOTA já são bons o suficiente em programação e sugerem avaliar capacidades menos óbvias, como operar aplicativos por computer use. Um dos apresentadores relata usar um modelo para montar uma planilha, criar uma thumbnail e produzir uma visualização 3D de um estúdio no Blender a partir de fotos e medidas. Eles relacionam essas tarefas à AGI, destacando a necessidade de interações variadas e percepção espacial, mas afirmam que os modelos ainda precisam de instruções para seguir boas práticas de desenvolvimento. No fim, comparam o custo por tarefa e os limites de uso dos modelos mencionados.

Key points

Os modelos SOTA já são considerados suficientemente capazes para muitas tarefas comuns de programação, tornando menos informativos alguns testes simples.
O computer use permite que modelos operem aplicativos pelo mouse, mesmo sem uma conexão por API ou MCP.
Um modelo foi usado para criar uma visualização 3D de um estúdio no Blender com base em fotos, medidas aproximadas e instruções.
Os apresentadores defendem que a avaliação de modelos deve incluir tarefas variadas e menos óbvias, além de programação.
Percepção espacial e capacidade de modelagem 3D são apontadas como habilidades relevantes para avançar em direção à AGI.
O modelo pode produzir uma solução mínima e desorganizada se não receber instruções explícitas sobre boas práticas de código.
O custo por tarefa influencia se as pessoas estão dispostas a testar modelos em tarefas complexas e demoradas.
Os participantes observam diferenças nos subsídios e limites de uso dos modelos e mencionam que uma opção de uso pode ser proibitiva para o uso diário.

Chapters

Start	Chapter	Summary
00:00	Modelos SOTA e o que vem depois	Os participantes discutem se ainda faz sentido comparar modelos principalmente por suas capacidades de programação.
01:03	Testes de computer use e criação 3D	Um apresentador descreve testes de uso do computador e mostra como gerou uma visualização 3D do estúdio no Blender.
04:17	A IA como interface para qualquer aplicativo	A conversa aborda como operar aplicativos diretamente pode reduzir a dependência de APIs e ampliar os usos da IA.
05:20	Capacidades necessárias para avançar rumo à AGI	Os participantes relacionam tarefas abertas, percepção espacial e modelagem 3D à discussão sobre AGI.
07:28	Boas práticas de código e custo por tarefa	Eles observam que o modelo precisa de instruções para organizar melhor o código e comparam custos e limites de uso.

Quotes

Pedi para ele montar uma planilha para mim. — 02:06

Acho que a gente vai começar a olhar pra IA com mais ambição. — 04:17

Para caminhar para AGI, os modelos têm que começar a desenvolver esse tipo de capacidade de outras interações. — 05:53

Ele vai fazer a parada com a complexidade que você entregar para ele. — 07:59

Concepts and entities

AGI, SOTA, Computer Use, API, Blender, Three.js, Canva, MCP, Codex, GPT-6 Astra, Astra 6, Fable 5.1, Anthropic, OpenAI, Artificial Analysis

Full transcript (original language)

00:00 Esse é um corte do podcast limite semanal que acontece toda segunda-feira às 7:00 da noite comigo e com o Vini lá da AI Coders. Se você quer ficar por dentro de tudo que acontece de relevante no mundo da IA, considere-se inscrever no canal através do link que está tanto na descrição quanto no comentário fixado. >> O o Rafa, mas falando agora da nossa pauta aqui de hoje, né? A gente viu então que o mercado inteiro conseguiu chegar com um modelo SOTA. Você tem ali Fable 5.1. Olhando ali, né, o topo dos

00:30 benchmarks, cara, tá todo mundo ali na beiradinha. Olhando para programação especificamente, você vai falar: “Pô, todos eles têm um modelo que já tão bom o suficiente para desenvol- desenvolver bem software”. E aí, cara? Que que vem depois disso? O que que o modelo agora, eh, para a gente olhar e começar a comparar modelos, o que que ele tem que ter para ele ser muito além do que a gente tá acostumado com uma definição de SOTA? Você já tem alguma coisa em mente, Rafa? Eu tenho algumas ideias aqui, mas eu queria ouvir o seu seu lado primeiro. >> Tenho, cara. Eu acho que

01:03 a gente vai começar a ser cada vez mais ambicioso com o uso da IA, se é que isso é possível, tá? E eu tive essa realização ou essa percepção, né, depois do do lançamento do GPT-6 Astra, porque os testes que eu fiz, sinceramente, Vini, nem fui fazer teste de programação por algumas razões. Primeiro, para eu poder fazer um teste de programação em vídeo, que eu possa colocar aqui no YouTube para vocês verem, ou vai ser algo muito pequeno, que obviamente ele vai resolver, >> Uhum.

01:34 >> ou vai ser a ou eu vou ter que fazer algo muito complexo para eu poder perceber a a nuance do detalhe, que aí não vai caber no vídeo, tá? >> Perfeito. >> Então, você fazer a análise de programação desses modelos SOTA hoje em dia, na minha visão, perdeu um pouco de de de de sentido, que eu vou vou abrir aqui, vou fazer uma tarefa, óbvio que ele vai resolver. Eles já ficaram bons o suficiente. Ah, vale a pena de fazer esses testes nos modelos menores, tudo mais. Beleza. Dito isso, qual foi o teste que eu fiz lá? Eu fiz um teste do computer use, né? Passei para ele um uma maçaroca de

02:06 dados, pedi para ele montar uma planilha para mim. É, fiz um teste para ele fazer uma thumb do YouTube, operando o Canva no no mouse, né? Em vez de ele, tipo, usar MCP, usar o mouse lá. Cara, ficou assim, 80%. Ficou 80%. >> Tipo, o Will Smith comendo macarrão. >> É. Não, assim, dá para você ajustar uma Ficou Ficou assim, algumas questões de texto que poderiam ser melhores, mas que eu nem culpo ele, porque eu não disse como que eu gostaria, né? Então, eu falei: “Cara, faz isso aqui”. Então, às vezes, você ajeitando numa skill ali,

02:39 ele faria melhor. Então, o que que eu quero dizer com isso aqui, Vinícius? Ah, e hoje eu fiz um teste dele operando o Blender para fazer um render 3D do do Quero fazer uma reforma do meu estúdio aqui. Falei: “Cara, eu vou fazer a reforma do estúdio. Deixa eu fazer aqui como que ficaria. Deixa eu visualizar como ficaria”. Pessoal, ficou excelente. Muito, muito bom. Eu vou até mostrar aqui, que eu acho que >> Ixi, vai vazar o estúdio do Rafinha. >> Que eu acho que, cara, eu Não, eu acho que vale a pena o pessoal ver aqui, porque assim, só para vocês terem pegarem uma noção do que que a gente pode fazer, tá?

03:12 É, deixa eu compartilhar aqui rapidão, pessoal. E aí, Vinícius, eu vou passar a palavra para você. Só porque eu quero Eu quero mostrar Queria que o pessoal entendesse. >> Esse é o meu, né? >> É. >> É. >> Queria que o pessoal entendesse que é assim, você pega isso aqui é um é um site three three JS, onde eu tirei, basicamente, fiz umas um render 3D. Não, isso aqui foi feito no Blender e exportado para o three JS. Então, eu tô tô com ele no Blender e aí ele gerou essa view aqui para mim.

03:45 >> Massa, hein? >> E isso aqui, cara, foi feito com as medidas que eu tirei, né? Assim, anotando de raspão, de qualquer jeito e depois jogando no, né, tirando umas fotos e ele já era assim pra mim, ó, a view, ó, vai ser aqui a view, a view da câmera, como que seria. Inclusive eu falei qual era a minha câmera, ele botou aqui, ó, 16 mm, vai ficar mais ou menos assim na câmera. >> Pô, caraca. >> É, aí eu falei assim, cara, eu quero colocar, eh, um, um standing desk, igual você tem aí, Vini. Aí pô, dá pra botar aqui, ó, e ele levanta e e a base, pra

04:17 eu ver [risadas] exatamente como ia ficar. Cara, isso aqui foi feito, eh, com, sei lá, umas meia hora do chat GPT operando ali o Blender e fazendo site 3JS e com uma, com um rascunho e uma foto. Então, o que que eu quero dizer com isso aqui, tá? Eu acho que a gente vai começar a olhar pra IA, Vini, com mais, com mais ambição, assim, onde que a gente consegue botar ela que hoje a gente não consegue usar? O que que, é meio que assim, a gente tá a IA está

04:49 eliminando a barreira da API, né? Então, aqui, a gente antes >> Falou disso também já, né? >> a gente precisava ficar ali dependendo da API pra poder conectar. Com o Astra, a gente tá tendo, né, claro, os outros modelos já também, mas eu acho que o Astra ficou tão bom ao ponto de que a gente já pode olhar com pode cravar que três, seis meses pra trás daqui >> máximo, né? Virou API, qualquer coisa virou API, você consegue usar a IA pra operar qualquer app que você queira.

05:20 >> Tá? Então, eu acho que é pra essa uma das gerações que nós estamos indo. >> O Rafa, sabe o que que é muito louco, cara? Que você me falou nisso. Eh, a gente começa a olhar pra uma, o seguinte a seguinte perspectiva. Se você olhar pro modelo hoje, pensando, ah, o modelo é feito pra desenvolvimento de software, cara, você vai focar só em desenvolver software. Só que quando você começa a abrir a possibilidade, pô, será que dá pra fazer isso? Por exemplo, eu já tava usando o computer use do Codex pra um monte de coisa já, pra fazer coisa no XCAD ou para para fazer edição. Ele dava umas na vaiada, só que era um tipo de coisa que a gente nem sabia que dava para testar.

05:53 E aí entra muito na ideia de AGI, que é até o cara lá da da Nvidia falou, pô, o Astra 6 é AGI. Porque, cara, para ser AGI, você você tem que dar uma tarefa, tipo, o que o Rafa fez e falar assim, cara, tá aqui uma foto, tá aqui as medidas do escritório, monta aqui um um negócio lá no meu Blender 3D. E sem uma conexão de MCP, ele tem que descobrir como é que a parada funciona, vai navegando e faz funcionar. Na minha visão, ainda não é AGI, tá? Mas para a gente caminhar para AGI, os modelos eles têm que começar a desenvolver esse tipo de capacidade de

06:25 outras interações e, pensando em robótica e tudo mais, a capacidade de percepção espacial, a capacidade de realmente de modelar 3D, que isso vai dar toda a questão da do entendimento do modelo, cara, isso, ao meu ver, é onde o o modelo ele começa a se destacar. E aí você até trouxe aqui, né, Rafa, já o AGI 3. Poxa, um >> Até mesmo >> Não, gabaritou. E até alguns meses atrás o AGI 2 era uma parada muito distante de se conseguir fazer. E no AGI 3 ele gabaritou. Então, tipo, tá, ele

06:56 gabaritou. Será que no 4, como é que ele ficaria no 5? Então, assim, é um é um modelo que ele chega chamando muita atenção, não na parte óbvia que a gente estava acostumado, mas na parte não óbvia, que aí entra a pesquisa científica, o desenvolvimento de novas drogas, novas eh proteínas, eh E aí, o que que chama muita atenção, Rafa? Eu testei ele, eu não fiz vídeo dele ainda, falei, pô, vou testar ele a fundo. Testei com tarefas complexas de desenvolvimento de software. E eu peguei erros básicos de para paradigma de desenvolvimento de

07:28 software ou de boas práticas, tá? Que são erros que eu poderia passar num markdown ou que poderia passar numa uma especificação de desenvolvimento e ele respeitaria. Eh, ou seja, o que que eu percebi? O harness do Codex não tá limitando o modelo, trazendo para ele assim, ó, prova de desenvolver software, faça desse jeito. Ele tá mais amplo. No primeiro output do código que eu fiz mais complexo, ele não usou lib nenhuma para fazer o código. Ele criou tudo do zero. E boa parte do código não tava com uma organização bonitinha do código. E aí eu passei o próximo prompt para seguir boas

07:59 práticas de indentação, don’t repeat yourself, tudo mais, solid. Cara, aí melhorou bastante a implementação. Então, o que que eu percebo? Ele é um modelo que ele vai fazer a parada com a complexidade que você entregar para ele. Se eu falar, faz um software para mim, ele vai fazer o mínimo viável daquele software. Por exemplo, eh um um menuzinho lá que ele fez em React. Ele repetiu o mesmo bloco de de de de formatação várias vezes. Aí eu falei, cara, mas isso não tá legal, melhora a organização. Ele foi lá e organizou tudo certinho. Mas eu vejo que de fato, tanto e aí é outro ponto interessante, eh o

08:34 que dá para fazer com Astra, né, nessa parte também de mexer com computer use e tudo mais, dá para fazer muita coisa com Fable 5.1. A diferença tá no custo, né? E aí por isso que as pessoas não não testavam antes como tão testando agora. Porque, cara, eu vou testar fazer um Blender 3D, vai torrar meus tokens tudo, não. Deixa para lá, vou fazer as paradas aqui. Então, onde que eu [limpando a garganta] vejo que o Astra tá tá muito bem? Ele tá muito bem questão de custo por tarefa, mas eh até postei no X,

09:04 comparado hoje o subsídio da Anthropic com o subsídio da OpenAI, por incrível que pareça, o subsídio da Anthropic tá tá bancando mais tokens pro pro eh Fable 5.1 que do que a OpenAI pro pro pro Astra, né? Porque, cara, meu Astra comeu minha minha assinatura no meu limite semanal em duas horas. >> Absurdo. Eh assim, a gente falou que a gente falou que um pouco mais cedo, eh a diferença do de subsídio já foi muito maior, era quatro vezes, agora caiu mais ou menos para duas vezes, se você for usar o Artificial Analysis, custo por

09:35 tarefa do Artificial Analysis de balizador, mas obviamente que vai depender do que você tá usando. Por exemplo, me parece que utilizar o Astra no X High para cima ficou praticamente proibitivo, não dá para usar mais no daily drive. Eu tô errando em nisso?