O problema do Gemini é se chamar Gemini?

Author: Cortes do Rafael Quintanilha · Watch on YouTube

Video authored by the channel shown, not by IANIA; all rights belong to the creator. Transcript and summary generated automatically; the original-language content is preserved.

Original language: Portuguese

Original video: O problema do Gemini é se chamar Gemini? · Channel: Cortes do Rafael Quintanilha · 08:23 · Watch on YouTube

Topics: AI evaluation and benchmarks, Claude, AI models

Summary

Os participantes defendem que o Gemini 3.8 Flash foi julgado cedo demais e que suas capacidades devem ser avaliadas em comparação com modelos da classe Flash, não apenas com modelos de fronteira. Embora tenha bom desempenho em benchmarks e seja barato, ele pode precisar de mais etapas para concluir tarefas, o que afeta a velocidade e a experiência de uso. A conversa também destaca que o harness e a maturidade do produto em que o modelo é usado influenciam a percepção sobre ele. Por fim, eles comentam o preço atrativo do plano estudantil do Google no Brasil e criticam lançamentos pouco acessíveis ou pouco divulgados.

Key points

Avaliações feitas logo após o lançamento podem ser precipitadas, especialmente quando algumas pessoas testaram o modelo com antecedência.
O Gemini 3.8 Flash tem resultados fortes em alguns benchmarks, mas não deve ser tratado como um modelo de fronteira em todos os aspectos.
O modelo pode alcançar bons resultados usando mais etapas, o que pode deixá-lo lento apesar de sua rapidez.
Os participantes consideram que o preço baixo compensa, em parte, o maior número de etapas necessário para algumas tarefas.
Comparações e expectativas podem mudar conforme o nome ou a marca atribuídos a um modelo.
O plano estudantil do Google pode tornar o acesso ao Gemini mais atraente para usuários no Brasil.
O harness e a maturidade de produtos como o Antigravity afetam a experiência com o modelo.
Disponibilizar produtos apenas em certas regiões ou deixá-los escondidos pode reduzir o interesse e o hype.

Chapters

Start	Chapter	Summary
00:00	O Gemini 3.8 Flash foi julgado cedo demais?	Os participantes discutem o acesso antecipado a modelos e defendem que é preciso tempo para avaliá-los após o lançamento.
02:34	Desempenho, etapas e custo	A conversa aborda os resultados em benchmarks e o fato de o modelo poder precisar de mais etapas, apesar do baixo custo.
05:13	Assinatura do Gemini e experiência de uso	Os participantes comentam o plano estudantil no Brasil e apontam o harness e a maturidade do Antigravity como fatores relevantes.
06:49	Lançamentos pouco acessíveis e percepção do modelo	A conversa critica produtos limitados por região ou difíceis de encontrar e retoma a avaliação do Gemini 3.8 Flash.

Quotes

Não dá para dizer que o 3.8 Flash é um modelo ruim se faz menos de 24 horas que ele foi lançado. — 01:02

Ele é meio que vítima do próprio sucesso, né? — 02:34

O problema do Gemini não é o modelo, é o harness dele. — 06:15

Se você lançar o negócio e não deixar as pessoas usarem, você mata completamente o hype do seu produto. — 07:20

O Gemini 3.8 Flash não é tão ruim quanto estão tentando vender no mercado. — 08:23

Concepts and entities

Gemini 3.8 Flash, Google, Antigravity, Harness, Deep SWE, Cursor Bench, GLM-5.3-Flash, Claude Opus, Google Spark

Full transcript (original language)

00:00 Esse é um corte do podcast Limite Semanal que acontece toda segunda-feira às 7 horas da noite comigo e com o Vini lá da AI Coders. Se você quer ficar por dentro de tudo que acontece de relevante no mundo da IA, considere se inscrever no canal através do link que está tanto na descrição quanto no comentário fixado. >> Vamos trazer um carinho aqui o nosso queridíssimo Gem 3.8 Flash, que não é tão querido por algumas pessoas, tá, Rafa? Tem a galera aí que é que não gosta dele não, cara. Assim, eu não

00:31 tenho nada contra, mas >> também tem favor >> não. Pior que eu tenho a favor, cara. Eu acho que ele é um modelo injustiçado, cara. Na real, eu acho que e aqui eu vou fazer um parênteses, tá? Toda vez que vocês verem lançamento de modelo, pessoal, você vê as pessoas falando: “Ah, é ideenciador tudo conspirando, tudo numa mesma direção”. E eu e o Rafa falando um negócio um pouco diferente, é que tem um bolo da galera que é convidado, pode testar antes. Então, cara, naturalmente quando você testa o modelo antes,

01:02 >> pô, você vai ter as suas percepções diferentes. Agora que passou alguns dias do lançamento, que eu e o Rafa estamos conseguindo ter uma visão melhor desses modelos que foram lançados. O cara que tem um mês de antecedência, pô, ele vai ter uma perspectiva completamente diferente. E aí quando vem esses mesmos caras tem acesso antecipado a esses modelos e sai um 3.8 flash, os caras vem criticar, pô, tem que dar a chance pro modelo de você testar. Não dá para você falar que o 3.8 flash é um modelo zoado se tem menos de 24 horas que ele saiu, minha perspectiva, tá? Então, nesse sentido, achei que ele foi um modelo injustiçado.

01:32 >> Não que a Google não tenha cavado a injustiça da própria Google, né? No sentido de >> tem culpa, tem culpa >> der motivo para isso, né? Mas que o lançamento do 3.8 flash chama muita atenção, Rafa. Eh, eu vi você fazendo na tua live, né? Mas o o ponto principal aqui dele é que ele não é um modelo para competir com o modelo de fronteira. E ele tá tanto lá no no Deep SWE, se a gente observar bem aqui, ó, ele tá pontuando nível do Astra no DPSW. Isso é muito bizarro para pensar nas tesques do

02:02 DPSW. E aí você vai falar assim: “Ah, mas foi B maxet, tá?”, mas no cursor Bentch também ele tá pontuando bem aqui, ó. Ele tá pário com Gro 4.6 e ele não é um modelo feito para competir com esses caras, cara. Se bobear é um modelo que aí eu tô total achismo, tá? Mas corre o risco dele ser um modelo do tamanho do Deepsek, por exemplo, ou um pouco maior do Seekic, rodando na Google por conta da velocidade que ele tem. O modelo que atende todas as multimodalidades de input e tá performando bem. O problema, na minha visão, é que pelo fato dele

02:34 performar bem nesses benchmarks, ele cria uma expectativa muito alta de que ele vai ser o mesmo nível em todos os aspectos. E não é, por exemplo, se você >> ele é meio que vítima do próprio sucesso, né, Vini? >> Exatamente. [limpando a garganta] E uma coisa muito óbvia tá aqui, ó. Olha quantas etapas o Astra demorou para ter o mesmo resultado. 29 etapas. Essa que é a grande coisa que eu ia chamar atenção aqui. Você vê que em termos de inteligência intrínseca dele, ele é inferior porque a quantidade de etapas que ele precisa, ele precisa

03:05 resolver tarefa >> é muito. Por isso, por mais que ele seja um modelo rápido, >> ele acaba ficando lento, né? Assim, >> porque ele ele tem que tomar muitas muitas etapas para conseguir concluir o o problema. Exatamente. Então, apesar dele tá um modelo muito lá lá no topo também conseguindo resolver as tarefas, ele precisa de muito mais. E a percepção disso é muito visível quando você começa a usar modelo, porque você vai ver que ele vai dar umas viajadas no começo, ele não vai pegar, tem umas coisas que você vai ver ele fazendo, falar: “Pô, tá viajando”. Por quê? Porque ele é um modelo que precisa de mais etapas. E aí,

03:37 naturalmente ele precisa de mais etapas, então, mas ele consegue entregar o resultado das tarefas. Mas ainda assim, ele custa barato para caramba, Rafa. mesmo tendo que fazer 166 passos enquanto o GPT gastou 29 apenas ou e o Cloud Opus gastou 99, cara, ele custou $2.36. >> Então, na minha visão, é um modelo que vem para brigar com modelos da classe Flash. Ele é um cara que a gente deveria estar comparando com o GLM 5.3 Flash, comparando com talvez nem sei o Sonic 5,

04:08 talvez ali Sonic 5 classe Flash, né? É, mas modelos assim não é para tá comparando com os modelos de fronteira. >> Você acha justo comparar ele com GPT Luna? >> Não, não acho. Acho que ele tá acima. >> Só que tem um detalhe, >> Rafa, se a gente fizesse um teste social, muda o nome do Gemnight 3.8 flash paraa GLM 5.4 Flash. Caraca, eu isso aí eu queria ver, hein. Mas vamos ver no chat, chat. Vamos lá. Se o Gl 3.8 Flash fosse GLM 5.4 Flash, vocês acham

04:42 que a percepção desse modelo mudaria? Quero ouvir do chat aqui, ó. Olha [roncando] o Vinícius super chat. >> Com certeza. >> Com certeza, né, Rafa? >> Com certeza. >> Quero ver no chat aqui. Manda aí. Manda um se você acha que mudaria, manda dois se seria diferente. >> É. E aproveitar também pessoal do chat aí para dando a opinião sobre quem testou o Gemini. Eu fui muito criticado, Vini. Fui muito criticado, levei muito rate. >> Eu inclusive critiquei, tá? Fui lá no, fiz questão de comentar no corte lá. [risadas] >> Eu eu tomei muito rate no meu vídeo de

05:13 guia de assinaturas, porque eu nem mencionei o Gemini. Eh, e de fato eu não mencionei primeiro porque eu realmente não uso a assinatura do Gemini e eu realmente não achava que valia a pena, considerando que quando eu gravei o vídeo tinha um Gemnight 3.7, né? Aí saiu o vídeo do Gemnight, aí saiu o Gemnight 3.8, que é um modelo que realmente surpreendeu e eu acho que agora faz sentido. Mas tem uma particularidade de novo aqui pro nosso mercado brasileiro, que é o fato que o Gemini,

05:44 muita gente consegue ele com desconto de estudante, >> tá? o plano de A do Google. E aí ele fica realmente num preço bem atrativo, porque aí hoje você consegue ter esse plano de A do Google, né, com desconto de estudante a R$ 24, que seria ali, vamos botar arredondando ali um plano de $ e vai te dar acesso ao Gemini na web e vai te dar acesso ao Gemini via Antigravery com modelo hoje, se você for olhar o Gemnight 3.8 flash aí que tá brigando com OP Sol e GPT6 Astra. O o

06:15 Leonardo trouxe um ponto. >> O Leonardo trouxe um ponto muito bom, Rafa. É que o problema do Jam não é o modelo, cara. É o Harnes dele. Concordo. >> Ele ele assim ele sendo usado no cursor é uma parada. >> Você usando ele dentro da antigraft, cara. Aí >> é o An Graver. É o ATG é um produto bem pouco maduro, né? E e a gente também tem aqui >> Pois é, né? Mas aí é Google, né? Aí tem aquele, aí tem aquela parte chata que eu sempre tenho que vir aqui lembrar o pessoal que talvez seja mais novo aqui do chat. A Google pessoal tem fama de

06:49 matar os seus produtos do nada. Ela começa um produto, ela testa muita coisa, ela é muito desconectada dentro da empresa. Veja, né, >> pô? Fala, alguém perguntou, não sei se foi na minha live, não sei se foi aqui no limite semanal, alguma coisa tipo: “Ah, por que ninguém fala do Google Park?” Eu te pergunto, por que que ninguém fala do Google Spark? que ninguém sabe do Google Park. Você sabe o que que é o Google Spark? Vin? >> Eu sei, [risadas] cara. >> Você sabe porque você tá trabalhando no nicho agora? Porque testar essa parada outro dia. Mes

07:20 >> pergun >> Mas sabe o que que é o erro deles? R pessoal fale no chat aí. Quem já tem mania de soltar as paradas só protegida para quem é dos Estados Unidos? Ah, isso aqui é só aí, >> pô. Aí tu pede o hype do negócio, cara. >> O negócio é uma hoje em dia, >> é, >> entendeu? É, hoje em dia com com os lançamentos acontecendo a velocidade que eles acontecem eh com cada com a competição entre as empresas, com modelo chinês, com o modelo open source, com o modelo sei lá o quê, se você lançar o negócio e não deixar as pessoas usarem,

07:52 você mata completamente o hype, né, da sua do seu produto. >> Exato. Exatamente. >> Então, o Codex falando aí, o Spark ficou dentro do Gemini escondido para cara. Extremamente escondido. >> É, eu Lucas aqui, ó. vi no dia do lançamento, nunca mais vi, por aí vai, né? >> Exato. Mas aí, Rafa, pô, eu vi que você falou do do Gemini, você testou na live, teve um vídeo você falou bem do Gemini, a galera veio de rate, você teve coragem, tá, cara? Porque hoje em dia no Brasil, se você tem uma opinião diferente do que os caras da gringa lá, você já ah, mas enfim, parabéns pela

08:23 coragem. Mas eu concordo contigo, Gem 3.8 flash, ele não é um modelo tão ruim quanto estão tentando vender no mercado. Aí, aí eu lembro de novo, sempre olhe bem para quem tá trazendo a opinião. Se essa pessoa recebeu acesso antecipado de uma empresa só e fala mal de todas as outras, aí tem coisa. Yeah.