O problema do Gemini é se chamar Gemini?

Autoria: Cortes do Rafael Quintanilha · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: português

Vídeo original: O problema do Gemini é se chamar Gemini? · Canal: Cortes do Rafael Quintanilha · 08:23 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Claude, Modelos de IA

Resumo

Os participantes defendem que o Gemini 3.8 Flash foi julgado cedo demais e que suas capacidades devem ser avaliadas em comparação com modelos da classe Flash, não apenas com modelos de fronteira. Embora tenha bom desempenho em benchmarks e seja barato, ele pode precisar de mais etapas para concluir tarefas, o que afeta a velocidade e a experiência de uso. A conversa também destaca que o harness e a maturidade do produto em que o modelo é usado influenciam a percepção sobre ele. Por fim, eles comentam o preço atrativo do plano estudantil do Google no Brasil e criticam lançamentos pouco acessíveis ou pouco divulgados.

Pontos-chave

Avaliações feitas logo após o lançamento podem ser precipitadas, especialmente quando algumas pessoas testaram o modelo com antecedência.
O Gemini 3.8 Flash tem resultados fortes em alguns benchmarks, mas não deve ser tratado como um modelo de fronteira em todos os aspectos.
O modelo pode alcançar bons resultados usando mais etapas, o que pode deixá-lo lento apesar de sua rapidez.
Os participantes consideram que o preço baixo compensa, em parte, o maior número de etapas necessário para algumas tarefas.
Comparações e expectativas podem mudar conforme o nome ou a marca atribuídos a um modelo.
O plano estudantil do Google pode tornar o acesso ao Gemini mais atraente para usuários no Brasil.
O harness e a maturidade de produtos como o Antigravity afetam a experiência com o modelo.
Disponibilizar produtos apenas em certas regiões ou deixá-los escondidos pode reduzir o interesse e o hype.

Capítulos

Início	Capítulo	Resumo
00:00	O Gemini 3.8 Flash foi julgado cedo demais?	Os participantes discutem o acesso antecipado a modelos e defendem que é preciso tempo para avaliá-los após o lançamento.
02:34	Desempenho, etapas e custo	A conversa aborda os resultados em benchmarks e o fato de o modelo poder precisar de mais etapas, apesar do baixo custo.
05:13	Assinatura do Gemini e experiência de uso	Os participantes comentam o plano estudantil no Brasil e apontam o harness e a maturidade do Antigravity como fatores relevantes.
06:49	Lançamentos pouco acessíveis e percepção do modelo	A conversa critica produtos limitados por região ou difíceis de encontrar e retoma a avaliação do Gemini 3.8 Flash.

Citações

Não dá para dizer que o 3.8 Flash é um modelo ruim se faz menos de 24 horas que ele foi lançado. — 01:02

Ele é meio que vítima do próprio sucesso, né? — 02:34

O problema do Gemini não é o modelo, é o harness dele. — 06:15

Se você lançar o negócio e não deixar as pessoas usarem, você mata completamente o hype do seu produto. — 07:20

O Gemini 3.8 Flash não é tão ruim quanto estão tentando vender no mercado. — 08:23

Conceitos e entidades

Gemini 3.8 Flash (modelo): Modelo discutido pelos participantes, que destacam seu desempenho em benchmarks, custo baixo e necessidade de mais etapas em algumas tarefas.
Google (empresa): Empresa responsável pelo Gemini e criticada na conversa por lançar produtos com acesso limitado ou pouco destaque.
Antigravity (ferramenta): Produto mencionado como uma das formas de usar o Gemini, embora os participantes considerem que ainda é pouco maduro.
Harness (conceito): Camada de execução e uso que, segundo os participantes, pode influenciar a experiência com um modelo.
Deep SWE (conceito): Benchmark citado na conversa para comparar o desempenho dos modelos em tarefas de software.
Cursor Bench (conceito): Benchmark mencionado como outro indicador do desempenho do Gemini 3.8 Flash.
GLM-5.3-Flash (modelo): Modelo citado como referência de comparação mais adequada para o Gemini 3.8 Flash.
Claude Opus (modelo): Modelo usado na conversa para comparar o número de etapas necessárias e o custo.
Google Spark (ferramenta): Produto mencionado como exemplo de algo que, segundo os participantes, recebeu pouca atenção e ficou difícil de encontrar.

Tradução completa (pt-BR)

00:00 Esse é um corte do podcast Limite Semanal, que acontece toda segunda-feira às 7 horas da noite, comigo e com o Vini, lá da AI Coders. Se você quer ficar por dentro de tudo que acontece de relevante no mundo da IA, considere se inscrever no canal pelo link que está tanto na descrição quanto no comentário fixado. >> Vamos trazer um carinho aqui para o nosso queridíssimo Gemini 3.8 Flash, que não é tão querido por algumas pessoas, tá, Rafa? Tem uma galera que não gosta dele, cara. Assim, eu não

00:31 tenho nada contra, mas >> também tem a favor >> não. Pior que eu tenho a favor, cara. Eu acho que ele é um modelo injustiçado, cara. Na real, acho que… E aqui vou fazer um parêntese, tá? Toda vez que vocês virem lançamento de modelo, pessoal, vão ver as pessoas falando: “Ah, é direcionado, tudo conspirando, tudo numa mesma direção”. E eu e o Rafa falando uma coisa um pouco diferente: tem um bolo de gente que é convidada e pode testar antes. Então, cara, naturalmente, quando você testa o modelo antes,

01:02 >> pô, você vai ter percepções diferentes. Agora que já se passaram alguns dias do lançamento, eu e o Rafa estamos conseguindo ter uma visão melhor desses modelos que foram lançados. O cara que tem um mês de antecedência, pô, vai ter uma perspectiva completamente diferente. E aí, quando esses mesmos caras que têm acesso antecipado a esses modelos saem criticando um 3.8 Flash, os caras têm que dar uma chance para você testar o modelo. Não dá para falar que o 3.8 Flash é um modelo zoado se faz menos de 24 horas que ele saiu, na minha perspectiva, tá? Então, nesse sentido, achei que ele foi um modelo injustiçado.

01:32 >> Não que o Google não tenha cavado a própria injustiça, né? No sentido de >> tem culpa, tem culpa >> ter dado motivo para isso, né? Mas o lançamento do 3.8 Flash chama muita atenção, Rafa. Eu vi você fazendo isso na tua live, né? Mas o ponto principal dele é que não é um modelo para competir com os modelos de fronteira. E ele está tanto lá no Deep SWE — se a gente observar bem aqui, ó, está pontuando no nível do Astra no DPSW. Isso é muito bizarro, pensando nas tarefas do

02:02 DPSW. E aí você vai falar assim: “Ah, mas foi no BMax, tá?”, mas no Cursor Bench também está pontuando bem aqui, ó. Está páreo com Grok 4.6, e não é um modelo feito para competir com esses caras, cara. Se bobear, é um modelo que — aí estou totalmente no achismo, tá? — corre o risco de ser do tamanho do DeepSeek, por exemplo, ou um pouco maior que o Qwen, rodando no Google por conta da velocidade que tem. É um modelo que atende a todas as modalidades de entrada multimodal e está performando bem. O problema, na minha visão, é que, pelo fato de ele

02:34 performar bem nesses benchmarks, cria-se uma expectativa muito alta de que ele vai estar no mesmo nível em todos os aspectos. E não está. Por exemplo, se você… >> Ele é meio que vítima do próprio sucesso, né, Vini? >> Exatamente. [limpa a garganta] E uma coisa muito óbvia está aqui, ó. Olha quantas etapas o Astra levou para chegar ao mesmo resultado: 29 etapas. Essa é a grande coisa para a qual eu queria chamar atenção aqui. Você vê que, em termos de inteligência intrínseca, ele é inferior, porque, para resolver a tarefa, precisa de muitas etapas. Ele precisa

03:05 resolver a tarefa >> leva muito tempo. Por isso, por mais que seja um modelo rápido, >> acaba ficando lento, né? Assim, >> porque ele precisa passar por muitas, muitas etapas para conseguir concluir o problema. Exatamente. Então, apesar de também estar lá no topo, conseguindo resolver as tarefas, precisa de muito mais etapas. E isso fica muito visível quando você começa a usar o modelo, porque vai ver que ele vai dar umas viajadas no começo, não vai entender; tem coisas que você vai ver ele fazendo e vai falar: “Pô, tá viajando”. Por quê? Porque é um modelo que precisa de mais etapas. E aí,

03:37 naturalmente, ele precisa de mais etapas, mas consegue entregar o resultado das tarefas. Ainda assim, custa barato para caramba, Rafa, mesmo tendo que fazer 166 passos, enquanto o GPT gastou apenas 29, ou o Claude Opus gastou 99, cara. Custou US$ 2,36. >> Então, na minha visão, é um modelo que vem para brigar com modelos da classe Flash. É um modelo que a gente deveria comparar com o GLM 5.3 Flash, talvez… Nem sei, o Sonic 5,

04:08 talvez o Sonic 5 da classe Flash, né? É, mas modelos assim não são para comparar com os modelos de fronteira. >> Você acha justo comparar com o GPT Luna? >> Não, não acho. Acho que está acima. >> Só que tem um detalhe, >> Rafa: se a gente fizesse um teste social e mudasse o nome do Gemini 3.8 Flash para GLM 5.4 Flash… Caraca, isso aí eu queria ver, hein? Mas vamos ver no chat, chat. Vamos lá. Se o GLM 3.8 Flash fosse GLM 5.4 Flash, vocês acham

04:42 que a percepção desse modelo mudaria? Quero ouvir o chat aqui, ó. Olha [ronca] o super chat do Vinícius. >> Com certeza. >> Com certeza, né, Rafa? >> Com certeza. >> Quero ver no chat aqui. Manda aí. Manda um se você acha que mudaria, manda dois se seria diferente. >> É. E aproveitem também, pessoal do chat, para dar a opinião sobre quem testou o Gemini. Fui muito criticado, Vini. Fui muito criticado, levei muito hate. >> Eu inclusive critiquei, tá? Fui lá, fiz questão de comentar naquele corte. [risadas] >> Eu levei muito hate no meu vídeo de

05:13 guia de assinaturas, porque nem mencionei o Gemini. E, de fato, não mencionei primeiro porque realmente não uso a assinatura do Gemini e não achava que valia a pena, considerando que, quando gravei o vídeo, tinha o Gemini 3.7, né? Aí saiu o vídeo do Gemini, depois saiu o Gemini 3.8, que é um modelo que realmente surpreendeu, e acho que agora faz sentido. Mas há uma particularidade aqui para o nosso mercado brasileiro: o fato de que muita gente consegue o Gemini com desconto de estudante,

05:44 tá? O plano de IA do Google. E aí fica realmente num preço bem atrativo, porque hoje você consegue ter esse plano de IA do Google, né, com desconto de estudante, por R$ 24 — arredondando, seria um plano de US$ 5 —, e vai ter acesso ao Gemini na web e ao Gemini via Antigravity com o modelo de hoje. Se você for olhar o Gemini 3.8 Flash, está brigando com Opus e GPT-6 Astra. O…

06:15 O Leonardo trouxe um ponto. >> O Leonardo trouxe um ponto muito bom, Rafa. É que o problema do Gemini não é o modelo, cara. É o harness dele. Concordo. >> Ele, assim, sendo usado no Cursor, é uma coisa. >> Você usando ele dentro do Antigravity, cara, aí… >> É o Antigravity. O Antigravity é um produto bem pouco maduro, né? E a gente também tem aqui… >> Pois é, né? Mas aí é Google, né? Aí tem aquela parte chata que eu sempre tenho que vir aqui lembrar o pessoal que talvez seja mais novo no chat. O Google, pessoal, tem fama de

06:49 matar os próprios produtos do nada. Começa um produto, testa muita coisa e é muito desconectado dentro da empresa. Veja, né? >> Pô, fala… Alguém perguntou, não sei se foi na minha live, se foi aqui no Limite Semanal, alguma coisa tipo: “Ah, por que ninguém fala do Google Park?” Eu te pergunto: por que ninguém fala do Google Spark? Ninguém sabe o que é o Google Park. Você sabe o que é o Google Spark, Vini? >> Eu sei, cara. [risadas] >> Você sabe porque está trabalhando nesse nicho agora? Porque foi testar essa coisa outro dia. Mas…

07:20 >> Pergun… >> Mas sabe qual é o erro deles? Pessoal, falem no chat aí: quem já tem mania de lançar as coisas só para quem é dos Estados Unidos? Ah, isso aqui é só aí. >> Pô, aí tu perde o hype do negócio, cara. >> O negócio é uma… hoje em dia… >> É. >> Entendeu? É, hoje em dia, com os lançamentos acontecendo na velocidade em que acontecem, com a competição entre as empresas, com modelo chinês, com modelo open source, com modelo sei lá do quê, se você lançar o negócio e não deixar as pessoas usarem,

07:52 você mata completamente o hype do seu produto, né? >> Exato. Exatamente. >> Então, o Codex falando aí: o Spark ficou dentro do Gemini, escondido para caramba. Extremamente escondido. >> É, eu, Lucas, aqui, ó: vi no dia do lançamento, nunca mais vi, por aí vai, né? >> Exato. Mas aí, Rafa, pô, eu vi que você falou do Gemini, você testou na live, teve um vídeo em que você falou bem do Gemini, a galera veio de hate. Você teve coragem, tá, cara? Porque hoje em dia, no Brasil, se você tem uma opinião diferente da dos caras da gringa, você já… Ah, mas enfim, parabéns pela

08:23 coragem. Mas eu concordo contigo: Gem 3.8 flash não é um modelo tão ruim quanto estão tentando vender no mercado. Aí, aí eu lembro de novo: sempre olhe bem para quem está trazendo a opinião. Se essa pessoa recebeu acesso antecipado de uma empresa só e fala mal de todas as outras, aí tem coisa. É.

Transcrição original

[00:00] Esse é um corte do podcast Limite Semanal que acontece toda segunda-feira às 7 horas da noite comigo e com o Vini lá da AI Coders. Se você quer ficar por dentro de tudo que acontece de relevante no mundo da IA, considere se inscrever no canal através do link que está tanto na descrição quanto no comentário fixado. >> Vamos trazer um carinho aqui o nosso queridíssimo Gem 3.8 Flash, que não é tão querido por algumas pessoas, tá, Rafa? Tem a galera aí que é que não gosta dele não, cara. Assim, eu não

[00:31] tenho nada contra, mas >> também tem favor >> não. Pior que eu tenho a favor, cara. Eu acho que ele é um modelo injustiçado, cara. Na real, eu acho que e aqui eu vou fazer um parênteses, tá? Toda vez que vocês verem lançamento de modelo, pessoal, você vê as pessoas falando: “Ah, é ideenciador tudo conspirando, tudo numa mesma direção”. E eu e o Rafa falando um negócio um pouco diferente, é que tem um bolo da galera que é convidado, pode testar antes. Então, cara, naturalmente quando você testa o modelo antes,

[01:02] >> pô, você vai ter as suas percepções diferentes. Agora que passou alguns dias do lançamento, que eu e o Rafa estamos conseguindo ter uma visão melhor desses modelos que foram lançados. O cara que tem um mês de antecedência, pô, ele vai ter uma perspectiva completamente diferente. E aí quando vem esses mesmos caras tem acesso antecipado a esses modelos e sai um 3.8 flash, os caras vem criticar, pô, tem que dar a chance pro modelo de você testar. Não dá para você falar que o 3.8 flash é um modelo zoado se tem menos de 24 horas que ele saiu, minha perspectiva, tá? Então, nesse sentido, achei que ele foi um modelo injustiçado.

[01:32] >> Não que a Google não tenha cavado a injustiça da própria Google, né? No sentido de >> tem culpa, tem culpa >> der motivo para isso, né? Mas que o lançamento do 3.8 flash chama muita atenção, Rafa. Eh, eu vi você fazendo na tua live, né? Mas o o ponto principal aqui dele é que ele não é um modelo para competir com o modelo de fronteira. E ele tá tanto lá no no Deep SWE, se a gente observar bem aqui, ó, ele tá pontuando nível do Astra no DPSW. Isso é muito bizarro para pensar nas tesques do

[02:02] DPSW. E aí você vai falar assim: “Ah, mas foi B maxet, tá?”, mas no cursor Bentch também ele tá pontuando bem aqui, ó. Ele tá pário com Gro 4.6 e ele não é um modelo feito para competir com esses caras, cara. Se bobear é um modelo que aí eu tô total achismo, tá? Mas corre o risco dele ser um modelo do tamanho do Deepsek, por exemplo, ou um pouco maior do Seekic, rodando na Google por conta da velocidade que ele tem. O modelo que atende todas as multimodalidades de input e tá performando bem. O problema, na minha visão, é que pelo fato dele

[02:34] performar bem nesses benchmarks, ele cria uma expectativa muito alta de que ele vai ser o mesmo nível em todos os aspectos. E não é, por exemplo, se você >> ele é meio que vítima do próprio sucesso, né, Vini? >> Exatamente. [limpando a garganta] E uma coisa muito óbvia tá aqui, ó. Olha quantas etapas o Astra demorou para ter o mesmo resultado. 29 etapas. Essa que é a grande coisa que eu ia chamar atenção aqui. Você vê que em termos de inteligência intrínseca dele, ele é inferior porque a quantidade de etapas que ele precisa, ele precisa

[03:05] resolver tarefa >> é muito. Por isso, por mais que ele seja um modelo rápido, >> ele acaba ficando lento, né? Assim, >> porque ele ele tem que tomar muitas muitas etapas para conseguir concluir o o problema. Exatamente. Então, apesar dele tá um modelo muito lá lá no topo também conseguindo resolver as tarefas, ele precisa de muito mais. E a percepção disso é muito visível quando você começa a usar modelo, porque você vai ver que ele vai dar umas viajadas no começo, ele não vai pegar, tem umas coisas que você vai ver ele fazendo, falar: “Pô, tá viajando”. Por quê? Porque ele é um modelo que precisa de mais etapas. E aí,

[03:37] naturalmente ele precisa de mais etapas, então, mas ele consegue entregar o resultado das tarefas. Mas ainda assim, ele custa barato para caramba, Rafa. mesmo tendo que fazer 166 passos enquanto o GPT gastou 29 apenas ou e o Cloud Opus gastou 99, cara, ele custou $2.36. >> Então, na minha visão, é um modelo que vem para brigar com modelos da classe Flash. Ele é um cara que a gente deveria estar comparando com o GLM 5.3 Flash, comparando com talvez nem sei o Sonic 5,

[04:08] talvez ali Sonic 5 classe Flash, né? É, mas modelos assim não é para tá comparando com os modelos de fronteira. >> Você acha justo comparar ele com GPT Luna? >> Não, não acho. Acho que ele tá acima. >> Só que tem um detalhe, >> Rafa, se a gente fizesse um teste social, muda o nome do Gemnight 3.8 flash paraa GLM 5.4 Flash. Caraca, eu isso aí eu queria ver, hein. Mas vamos ver no chat, chat. Vamos lá. Se o Gl 3.8 Flash fosse GLM 5.4 Flash, vocês acham

[04:42] que a percepção desse modelo mudaria? Quero ouvir do chat aqui, ó. Olha [roncando] o Vinícius super chat. >> Com certeza. >> Com certeza, né, Rafa? >> Com certeza. >> Quero ver no chat aqui. Manda aí. Manda um se você acha que mudaria, manda dois se seria diferente. >> É. E aproveitar também pessoal do chat aí para dando a opinião sobre quem testou o Gemini. Eu fui muito criticado, Vini. Fui muito criticado, levei muito rate. >> Eu inclusive critiquei, tá? Fui lá no, fiz questão de comentar no corte lá. [risadas] >> Eu eu tomei muito rate no meu vídeo de

[05:13] guia de assinaturas, porque eu nem mencionei o Gemini. Eh, e de fato eu não mencionei primeiro porque eu realmente não uso a assinatura do Gemini e eu realmente não achava que valia a pena, considerando que quando eu gravei o vídeo tinha um Gemnight 3.7, né? Aí saiu o vídeo do Gemnight, aí saiu o Gemnight 3.8, que é um modelo que realmente surpreendeu e eu acho que agora faz sentido. Mas tem uma particularidade de novo aqui pro nosso mercado brasileiro, que é o fato que o Gemini,

[05:44] muita gente consegue ele com desconto de estudante, >> tá? o plano de A do Google. E aí ele fica realmente num preço bem atrativo, porque aí hoje você consegue ter esse plano de A do Google, né, com desconto de estudante a R$ 24, que seria ali, vamos botar arredondando ali um plano de $ e vai te dar acesso ao Gemini na web e vai te dar acesso ao Gemini via Antigravery com modelo hoje, se você for olhar o Gemnight 3.8 flash aí que tá brigando com OP Sol e GPT6 Astra. O o

[06:15] Leonardo trouxe um ponto. >> O Leonardo trouxe um ponto muito bom, Rafa. É que o problema do Jam não é o modelo, cara. É o Harnes dele. Concordo. >> Ele ele assim ele sendo usado no cursor é uma parada. >> Você usando ele dentro da antigraft, cara. Aí >> é o An Graver. É o ATG é um produto bem pouco maduro, né? E e a gente também tem aqui >> Pois é, né? Mas aí é Google, né? Aí tem aquele, aí tem aquela parte chata que eu sempre tenho que vir aqui lembrar o pessoal que talvez seja mais novo aqui do chat. A Google pessoal tem fama de

[06:49] matar os seus produtos do nada. Ela começa um produto, ela testa muita coisa, ela é muito desconectada dentro da empresa. Veja, né, >> pô? Fala, alguém perguntou, não sei se foi na minha live, não sei se foi aqui no limite semanal, alguma coisa tipo: “Ah, por que ninguém fala do Google Park?” Eu te pergunto, por que que ninguém fala do Google Spark? que ninguém sabe do Google Park. Você sabe o que que é o Google Spark? Vin? >> Eu sei, [risadas] cara. >> Você sabe porque você tá trabalhando no nicho agora? Porque testar essa parada outro dia. Mes

[07:20] >> pergun >> Mas sabe o que que é o erro deles? R pessoal fale no chat aí. Quem já tem mania de soltar as paradas só protegida para quem é dos Estados Unidos? Ah, isso aqui é só aí, >> pô. Aí tu pede o hype do negócio, cara. >> O negócio é uma hoje em dia, >> é, >> entendeu? É, hoje em dia com com os lançamentos acontecendo a velocidade que eles acontecem eh com cada com a competição entre as empresas, com modelo chinês, com o modelo open source, com o modelo sei lá o quê, se você lançar o negócio e não deixar as pessoas usarem,

[07:52] você mata completamente o hype, né, da sua do seu produto. >> Exato. Exatamente. >> Então, o Codex falando aí, o Spark ficou dentro do Gemini escondido para cara. Extremamente escondido. >> É, eu Lucas aqui, ó. vi no dia do lançamento, nunca mais vi, por aí vai, né? >> Exato. Mas aí, Rafa, pô, eu vi que você falou do do Gemini, você testou na live, teve um vídeo você falou bem do Gemini, a galera veio de rate, você teve coragem, tá, cara? Porque hoje em dia no Brasil, se você tem uma opinião diferente do que os caras da gringa lá, você já ah, mas enfim, parabéns pela

[08:23] coragem. Mas eu concordo contigo, Gem 3.8 flash, ele não é um modelo tão ruim quanto estão tentando vender no mercado. Aí, aí eu lembro de novo, sempre olhe bem para quem tá trazendo a opinião. Se essa pessoa recebeu acesso antecipado de uma empresa só e fala mal de todas as outras, aí tem coisa. Yeah.