Pixel Canary: o modelo stealth gratuito que supera modelos caros

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Pixel Canary: The Free Stealth Model Beating Expensive Models · Canal: Fahd Mirza · 08:52 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Engenharia de software com IA, Modelos de IA

Resumo

O vídeo testa o Pixel Canary, um modelo de origem desconhecida que está disponível gratuitamente em algumas plataformas e apresenta um resultado alto no Next.js Agent Eval. No primeiro teste, ele cria um configurador de ternos 3D, mas a execução leva pouco mais de uma hora e o resultado visual tem limitações. No segundo, identifica um bug sutil em uma consulta Oracle SQL, explica o problema e respeita a instrução de corrigir apenas o trecho necessário. O apresentador destaca o desempenho, o custo zero e possíveis motivos para lançar um modelo stealth antes de revelar sua origem.

Pontos-chave

A origem e os responsáveis pelo Pixel Canary não são conhecidos, e o vídeo afirma que não há um artigo público sobre o modelo.
O modelo aparece com 90% no Next.js Agent Eval, segundo o benchmark mostrado no vídeo.
No teste de criação de um configurador de ternos 3D, o modelo levou cerca de 1 hora e 4 minutos; os controles funcionaram, mas a renderização do traje foi considerada fraca.
No teste de SQL, encontrou a ausência de region ID em um self-join e distinguiu o bug de uma falha-isca introduzida pelo apresentador.
O modelo explicou os números incorretos antes e depois da correção e apontou possíveis efeitos posteriores no ranking.
Ele seguiu a instrução de fornecer apenas o trecho corrigido, sem reescrever a consulta inteira.
O apresentador considera que o acesso gratuito pode ser valioso para projetos pessoais, protótipos e workloads com agents.
O vídeo sugere que modelos stealth podem ser lançados para coletar dados de uso real, testar o desempenho ou construir reputação antes de uma divulgação pública.

Capítulos

Início	Capítulo	Resumo
00:01	Apresentação do Pixel Canary e do primeiro teste	O apresentador apresenta o modelo, comenta seu benchmark e prepara um teste de criação de um configurador de ternos 3D.
02:05	Resultado do configurador 3D	O modelo conclui a tarefa após mais de uma hora, mas a demonstração revela limitações na renderização, apesar de alguns controles funcionarem.
05:12	Depuração de uma consulta Oracle SQL	O Pixel Canary encontra a ausência de region ID no self-join, explica os efeitos do erro e segue a instrução de corrigir apenas o trecho necessário.
07:17	Preço, utilidade e possíveis motivos para o lançamento stealth	O apresentador destaca o acesso gratuito e sugere que modelos stealth podem servir para testar o uso real ou criar reputação antes de um lançamento público.

Citações

Ninguém sabe quem criou esse modelo. — 00:01

A sessão levou 1 hora e 4 minutos. — 04:40

Encontrou o bug real, que era a ausência de region ID no self-join. — 06:14

Ele apenas corrigiu o bug, e só isso. — 06:45

Talvez para obter dados de uso real e testar o desempenho antes de se comprometer com um lançamento público. — 08:20

Conceitos e entidades

Pixel Canary (modelo): Modelo de origem desconhecida testado no vídeo em tarefas de programação e análise de SQL.
Next.js Agent Eval (conceito): Benchmark citado no vídeo, no qual o Pixel Canary aparece com resultado de 90%.
Hermes Agent (ferramenta): Agent usado para executar o primeiro teste com o Pixel Canary.
Blender (ferramenta): Ferramenta usada no teste para modelar o terno 3D por meio de um script Python.
Three.js (ferramenta): Biblioteca usada para carregar o modelo 3D no navegador e oferecer controles interativos.
GPT-6 Astra (modelo): Modelo citado como referência de comparação de desempenho e preço.
Claude Fable 5.1 (modelo): Modelo citado como comparação de desempenho e como uma opção cara.
Mask Compute (empresa): Serviço mencionado pelo apresentador em uma divulgação sobre aluguel de GPU.
Fahd Mirza (pessoa): Apresentador do vídeo e responsável pelo canal Fahd Mirza.

Tradução completa (pt-BR)

00:01 Os modelos stealth estão se tornando algo comum no dia a dia. Hoje, vamos falar do Pixel Canary, que está disponível gratuitamente em algumas plataformas. Ninguém sabe quem o criou. Não há artigo público nem informações sobre quem está por trás dele. Mas o nome Pixel combina com o celular Pixel do Google. Só que sabe de uma coisa? Ninguém sabe quem é o dono desse modelo. Mas veja este benchmark: ele está com 90% no Next.js Agent Eval, bem ao lado do GPT-6 Astra e apenas sete pontos

00:32 atrás do Claude Fable 5.1, que custa 72 centavos por milhão de tokens, o modelo mais caro que existe. O Pixel Canary está completamente grátis no momento. Ninguém sabe o que vai acontecer no futuro. Então, o que vou fazer é colocá-lo à prova no primeiro teste, em que vamos com tudo. Já o configurei com o Hermes Agent, e este é o prompt que vou usar. Não há nenhum app para consertar no

01:03 momento. Nenhum bug para investigar. Vamos construir do zero um configurador completo e personalizado de ternos em 3D. O Blender modela o terno sem interface gráfica usando um script Python, exporta como GLB e, em seguida, um frontend em 3.js carrega o modelo no navegador, com controles ao vivo para o tecido, a lapela e os botões. O modelo precisa fazer tudo de ponta a ponta. Iniciar o servidor por conta própria e verificar se está funcionando antes de terminar. Um aviso:

01:34 pela minha experiência até agora, este modelo é bem lento. Então, de qualquer forma, vamos ver como ele se sai. Ele começou a pensar. Se quiserem adivinhar qual é esse modelo e quem é o provedor, é só me dizer nos comentários e veremos quem acertou no fim do dia. Além disso, recentemente comecei este boletim informativo semanal gratuito sobre IA, no qual vocês podem se inscrever em fahadmirza.substack.com. E, se quiserem ajudar o canal, tornem-se membros.

02:05 Depois de mais de uma hora, o modelo voltou com a resposta e disse que concluiu a tarefa. Antes de executar isso no navegador diante de vocês, ainda não testei. Pelo que ele está dizendo sobre os recursos, cobriu tudo. E, se vocês olharem o raciocínio, ele pensou bastante. Lembra assustadoramente o CLO 3D ponto 8. Além disso, alguns dos trechos do raciocínio são muito parecidos com o modelo da CLO, mas eu

02:35 não sei qual é o modelo nem o provedor. E dá para ver que ele pensou bastante. Estou mostrando esses dados brutos porque é isso que mostra a diferença em relação a outros modelos. Agora vou executar. Vou fazer o que ele está me dizendo para executar. Dá para ver que está carregando agora. O modelo também está girando, o que é bom. A rotação automática está ativada. Então, vou deixá-lo girar automaticamente. A textura do terno não está boa, como vocês já podem ver.

03:07 Então, primeiro vou clicar em rosa, talvez. A sombra está boa, aliás. Parece que demora um pouco para aparecer. E vocês estão vendo os botões? Conseguem identificá-los? Bem, poderia estar melhor. Certo, agora vamos mudar para vermelho, que vai ficar visível. Sim, a textura da cor está aparecendo. Verde. Laranja. A cor do tecido está funcionando bem. E este terno?

03:38 Posso aumentar o número de botões ao vivo? Vamos escolher três. Onde está o três? É este aqui, eu acho. Certo, vamos redefinir a câmera. Redefini a câmera. Agora está se movendo. Os botões um, dois, três. Tem um quarto botão? Mas poderia estar bem melhor, não é? Diz para rolar para aplicar zoom, então vou rolar com o mouse. Sim, a rolagem funciona. E posso girá-lo assim? Sim, posso com o mouse.

04:09 Pelo menos esta parte está melhor do que a do modelo stealth de ontem. Qual era mesmo? Na verdade, esqueci o nome. Fizemos isso ontem. De qualquer forma, vou conferir depois. Algo como Bunny… Space Bunny. Enfim, vamos voltar à lapela entalhada. Não acontece muita coisa com esse estilo de lapela, mas talvez seja bem sutil porque essa renderização no three.js não é muito boa.

04:40 Enfim, é isso. Vou fazer o movimento de 360 graus para orbitar. Pronto. Certo, mas a renderização do terno estava melhor no outro. Neste aqui, não acho nem que seja um terno. Certo, vamos fazer outro teste, porque este é um modelo de programação, então vou partir para a programação. E, a propósito, quando cancelei aquela sessão, este foi o tempo que levou: 1 hora e 4 minutos.

05:12 Certo, o próximo teste é bem brutal. É um relatório complexo de vendas em Oracle, com views materializadas, CTEs, funções de janela, crescimento ano a ano, acompanhamento de cotas, tudo em uma única consulta. Como vocês podem ver, estou criando uma view materializada. Ela é executada sem problemas. Ah, aliás, sem erros, mas retorna números errados. Queremos ver se o Pixel Canary consegue encontrar exatamente onde está o bug sutil nesta consulta e por que ele ocorre. E já pedi a este modelo que encontrasse

05:43 esse bug e me desse apenas o trecho corrigido. Não estou apenas verificando se ele consegue corrigir o problema, mas também se segue as instruções. Ele não deve reescrever a consulta inteira. E, a propósito, se vocês estão procurando alugar uma GPU por um preço muito bom, encontram o link para Mask Compute na descrição do vídeo. Desta vez, o modelo voltou com uma resposta realmente impressionante. Encontrou o bug de verdade, que era a falta do ID da região no self-join. Também havia uma pista falsa que eu incluí. Ele reproduziu o problema com dados reais, mostrou os números exatos, incorretos antes e corretos depois da correção, e ainda apontou a contaminação das classificações nas etapas seguintes. Acho que foi um desempenho analítico sólido, como o de um DBA depurando SQL com otimização de desempenho. E o raciocínio é muito bom. Ele até importou SQLite só para ver se conseguia testar a consulta convertendo-a para

06:14 a sintaxe do SQLite, embora entendesse perfeitamente que era um relatório em SQL Oracle. Além disso, não reescreveu nada. Apenas corrigiu o bug, só isso. Então, o seguimento de instruções também é muito bom, algo que realmente queremos nos nossos modelos de programação. Uma coisa que quero dizer claramente é que o que torna o Pixel Canary interessante não é apenas o número do benchmark. É o preço. Como vocês

06:45 podem ver neste gráfico, o Claude v1.5.1 custa 72 centavos por milhão de tokens, o GPT-6 Astra da OpenAI custa 89 centavos, e o Pixel fica entre eles em desempenho, mas com custo absolutamente zero. E, se for um modelo open source, o custo continuará sendo zero, além dos nossos custos de infraestrutura, inclusive em formato de competição. Para os desenvolvedores, isso muda completamente os cálculos. Vocês têm capacidade de programação de nível de ponta para

07:17 seus projetos pessoais, protótipos e cargas de trabalho com agents, sem mexer no orçamento. E posso dizer por experiência própria que, sabe, eu não uso o Fable. Não é só porque não gosto dele. É um modelo muito bom, mas simplesmente não tenho como pagar. O mesmo vale para o GPT-6 extra nos principais projetos de produção. E mesmo para fazer estes vídeos enquanto avalio os modelos, realmente não posso usar este por causa do preço. É aí que esses modelos de pesos

07:48 abertos são muito úteis, especialmente os modelos gratuitos, mesmo quando acessados por API. Um último ponto: alguns comentários perguntam por que lançariam um modelo stealth. Acho que talvez seja para obter dados de uso no mundo real e testar o desempenho sob pressão antes de se comprometerem com um lançamento público, como fizemos aqui. Ou talvez, às vezes, para construir uma reputação discretamente antes de revelar quem está por trás. E lembrem-se de que também existem plataformas provedoras de modelos tentando entrar nesse mercado, e

08:20 elas estão oferecendo o modelo de graça. É o caso da plataforma de modelos que estou usando. E não estou fazendo propaganda gratuita para ninguém. Mas dá para ver que esse é outro motivo para lançar modelos stealth. Enfim, é isso. Digam o que acham. Tornem-se membros e compartilhem o canal com as pessoas da sua rede. Obrigado por todo o apoio.

08:52 Eles estão disponibilizando isso de graça. É, como estou usando uma das plataformas de modelos. E não estou fazendo marketing gratuito para ninguém. Mas você pode ver que esse é outro ângulo de como esses modelos furtivos funcionam. Enfim, é isso. Me diga o que você acha. Por favor, torne-se membro e compartilhe o canal com sua rede. Obrigado por todo o apoio.

Transcrição original

[00:01] Stealth models are becoming a daily norm now. Today, we are dealing with Pixel Canary, which is available for free at few of the platforms. Nobody knows who built it. It has no public paper, no or behind it. But the name Pixel matches with Google’s Pixel phone, but you know what? No one knows who owns this model, but look at this benchmark. It’s sitting at 90% on Next.js Agent Eval. Right next to GPT-6 Astra and just seven points

[00:32] behind Claude Fable 5.1, which costs 72 % million tokens, the most expensive model out there. Pixel Canary, it is completely free at the moment. No one knows what happens in the future. So, what I’m going to do, I’m going to put it through the paces through the first test, where we are going all in. I already have configured it with Hermes Agent, and this is the prompt which I’m going to use. No app to fix at the

[01:03] moment. No bug to hunt. We are building from scratch a full 3D bespoke suit configuration. Blender models the suit headless using a Python script, exports it as a GLB, and then a 3.js front end loads it in the browser with live fabric, lapel, and button controls. The model has to do all of it end-to-end. Start the server itself and verify it works before it’s done. One heads-up,

[01:34] in my experience so far, this model is quite slow slow. So, anyway, we will see how it goes. It has started thinking. If you want to guess which model is this and who is the provider, just let me know in the comments and we will see who is right at the end of the day. Also, recently, I have started this free weekly AI newsletter, which you can subscribe at fahadmirza.substack.com. And if you want to help out the channel, please become a member.

[02:05] After more than an hour, the model has come back with the response, and it says that it has done the task. Before I go and run this in the browser in front of you, I haven’t tested it yet. What it is telling us in terms of features, it has covered it all. And if you look at the thinking, it has thought a lot. Eerily reminds me of CLO 3D point 8. Plus, um, some of the thinking streaks are very eerily similar to CLO’s model, but I’m I

[02:35] don’t know which model and provider that is. And you can see that it has thought a lot. And the reason why I show you this raw data is that because this is what shows you, um, the difference with other models. Let me now run this. What it is telling me to run. So, you can see it is loading at the moment. The turntable is also turning, which is good. Auto rotate is on. So, I will just let it auto rotate. The suit texture is not good, as you can already see.

[03:07] So, I’m just going to first, just click on maybe peak. The shadow looks good, by the way. And takes bit of a time to come through, it seems. And you see the button, can you spot them? Well, it could have been better. Okay, now let’s maybe turn it to red, which will be visible. Yeah, the color texture is there. Green. Orange. The fabric color is working fine. How about this suit?

[03:38] Can I increase the buttons live? Let’s do three. Where’s the three? This is the three, I don’t know. Okay, let’s reset the camera. I have reset the camera. Now it is moving through. The one, two, three buttons. Is there any fourth button? But, could have been much better, right? It says scroll to zoom, so I’m just going to scroll now with my mouse. Yep, scroll works. And can I rotate it like this? Yes, I can with my mouse.

[04:09] At least this part is better than the yesterday’s stealth model, which was uh which one was that? I actually forgot the name of. Uh we did it yesterday. Anyway, I’ll check it later. Something like bunny something uh space bunny. Anyway, so let’s go back to nosh. Not much is happening with this label style, but maybe it is quite subtle because this rendering is not that good in three.js.

[04:40] Anyway, so this is what it is. I’m just going to do the 360 zoom to do the orbit. There you go. Okay, but there is the suit rendering was better in the other one, but this one I don’t think so it is even a suit. Okay, let’s do another test because it’s a coding model, so I’m just going to go with the coding stuff. And by the way, as I cancelled that session, this is how long it took, 1 hour 4 minutes.

[05:12] Okay, so the next test is quite a brutal one. It is a complex Oracle sales report, materialized views, CTEs, Windows functions, year-on-year growth, quota tracking, all-in-one query. As you can see, I’m creating a materialized view. It runs clean. Oh, by the way, no errors, but returns wrong numbers. And we want to see if Pixel Canary can find exactly where and why there is a subtle bug in this query. And I have already asked this model to go and find

[05:43] that bug and only give me that fixed chunk. Not only I’m just looking at if it is able to fix it, but also if if it follows the instruction or not. It must not rewrite the query the whole query. And by the way, if you’re looking to rent a GPU on very good price, you can find the link to Mask Compute in videos description. And this time, the model has come back with a genuine impressive response. It found the real bug, which was missing

[06:14] region ID in the self-join. There was also a decoy which I planted. It reproduced it with actual data, showed exact wrong numbers before and after the fix, and even flagged the downstream rank contamination. I think it’s a solid analytical performance, just like a DBA who would be doing a SQL debugging with performance optimization. And the thinking is quite good. It even imported SQLite just to see if it could test out the query by converting it to

[06:45] SQLite syntax, while totally understanding it was a SQL Oracle SQL report. In addition to that, it didn’t really um rewrite anything. It just fixed the bug, and that’s about it. So, instruction following is also quite good, which really we want for our coding models. One thing I really do want to say out loud is that what makes this Pixel Canary interesting is not just the benchmark number. It’s the price. As you

[07:17] can see on this chart, Claude v1.5.1 sits at 72 cents per million tokens, GPT-6 Astra from OpenAI at 89 cents, and Pixel is sitting right between them on performance at uh absolutely zero cost. And And if it is an open model, um the cost will stay zero in addition to our infra cost, and even in contest format. For developers, that changes the calculations entirely. You are getting frontier level coding capability for

[07:48] your side projects, prototypes, and agentic workloads without touching your budget. And I can tell you from experience that when, you know, I don’t use Fable. Not just because I don’t like it. It is really good model, but I simply cannot afford it. Um same goes for GPT-6 extra for the major production uh projects. And even, you know, making these videos while I’m evaluating, I really um cannot use this model due to the affordability. That is where these open

[08:20] weight models come very handy, and especially these free models, even if they are through API based. One final point is that some of the comments are asking that why would they release a stealth model? So, I think maybe to get the real-world usage data and stress test performance before committing to a public launch, just like we did here. Um and maybe sometimes to build reputation quietly before revealing who is behind it. And remember, there are also model providers platforms who are trying to get into the game, and

[08:52] they are providing it for free. Uh just like I’m using it from one of the model platform. And I’m not doing free marketing for anyone. So, but you can see that that is uh another angle of doing these stealth models. Anyway, that’s it. Let me know what do you think. Please become a member and share the channel among your network. Thank you for all the support.