Testei 4 modelos para o n8n para você não precisar testar

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: I Tested 4 Models for n8n So You Don’t Have To · Canal: n8n · 07:27 · Assistir no YouTube

Tópicos: Agentes de IA, Automação de tarefas e workflows, Avaliação e benchmarks de IA, Geração de conteúdo com IA, Modelos de IA

Resumo

O vídeo compara quatro modelos usados no n8n Assistant para criar a mesma automação: uma ferramenta de auditoria de SEO e AEO. O apresentador avalia o tempo e o custo de construção, além da qualidade dos fluxos, das auditorias e da apresentação dos resultados. DeepSeek teve bom desempenho com custo baixo, enquanto GPT-6 Astra ficou em primeiro lugar na avaliação final dos fluxos. O apresentador ressalta que foi apenas um teste, não um benchmark, e que os resultados podem variar conforme o prompt.

Pontos-chave

Os quatro modelos receberam o mesmo prompt para criar uma ferramenta de auditoria de SEO e AEO, com pontuação de 0 a 100.
O teste foi executado em ambiente self-hosted, com os modelos conectados por meio do OpenRouter.
Opus 5.5 confundiu as credenciais de Appify e TypeSafe, enquanto GPT-6 Astra pediu a chave de API antes de testar o fluxo.
DeepSeek reconheceu a chave de API do OpenRouter e a utilizou para acessar Jev.
Os modelos foram testados com páginas consideradas ruins, medianas e boas para SEO e AEO.
Opus 5.5 e GPT-6 Astra buscaram contexto adicional além do artigo do Google; os modelos mais fracos se limitaram ao contexto recebido.
DeepSeek custou US$ 0,26 e teve bons resultados de qualidade e apresentação; Meta custou US$ 0,35 e teve desempenho inferior.
Na avaliação final dos fluxos, GPT-6 Astra ficou em primeiro, seguido por Opus 5.5, DeepSeek e MuseSpark 1.3.
O apresentador enfatiza que os resultados vêm de um único teste, não de um benchmark, e podem mudar com um prompt diferente.

Capítulos

Início	Capítulo	Resumo
00:00	Objetivo e prompt do teste	O apresentador explica a comparação entre quatro modelos e apresenta o prompt para criar uma ferramenta de auditoria de SEO e AEO.
01:37	Configuração e construção dos fluxos	Os modelos são configurados no n8n Assistant e o apresentador relata como cada um lidou com as credenciais e os testes.
03:11	Resultados das auditorias	Os fluxos são avaliados com páginas de qualidades diferentes, considerando as pontuações, a análise e a apresentação dos resultados.
05:25	Custos e classificação final	O apresentador compara os custos e o desempenho dos modelos e esclarece que a avaliação corresponde a um único teste, não a um benchmark.

Citações

Usei estes quatro modelos, em vez do assistente do n8n, para criar a mesma automação. — 00:00

Não há muitos detalhes no prompt porque quero testar os modelos e ver como usam as ferramentas disponíveis. — 01:04

Meu modelo favorito até agora é o DeepSeek, porque foi o único que percebeu que eu tinha uma chave de API do OpenRouter. — 03:11

O melhor desempenho foi do GPT-6 Astra, seguido por Opus 5.5, DeepSeek e, por último, MuseSpark 1.3. — 06:57

Este é um único teste. Não se trata de um benchmark. — 07:27

Conceitos e entidades

n8n (ferramenta): Plataforma usada para montar e executar os fluxos de automação comparados no vídeo.
n8n Assistant (ferramenta): Assistente do n8n usado para selecionar modelos e criar a automação a partir de um prompt.
OpenRouter (ferramenta): Serviço por meio do qual os modelos foram conectados e que foi usado por DeepSeek para acessar Jev.
Jev (ferramenta): Ferramenta indicada no prompt para auxiliar nas avaliações da auditoria.
GPT-6 Astra (modelo): Modelo da OpenAI que obteve a melhor colocação na avaliação final dos fluxos.
Opus 5.5 (modelo): Modelo da Anthropic que buscou contexto adicional, mas teve custo considerado alto pelo apresentador.
DeepSeek v4.1 flash (modelo): Modelo que reconheceu a chave de API do OpenRouter e teve bom desempenho com custo baixo.
MuseSpark 1.3 (modelo): Modelo da Meta incluído na comparação e que ficou em último lugar na avaliação final dos fluxos.

Tradução completa (pt-BR)

00:00 Vou usar estes quatro modelos em vez do assistente do n8n para criar a mesma automação. Então, ao final deste vídeo, saberemos quanto tempo levou e quanto custou criá-la com cada um deles. E, claro, ao longo do caminho, você verá exatamente como é a experiência de criar com cada um. A primeira coisa que quero mostrar é esta tabela. Peguei os dados do artificialintelligence.ai, e eles nos ajudam a entender o que esperar de cada um desses modelos. Porque, embora um modelo seja mais burro que o outro, o custo por tarefa daquele modelo parece ser muito, muito menor.

00:31 Mas, ainda assim, este não é um benchmark do n8n Assistant, nem vamos realmente criar esse benchmark neste vídeo. Mas isso vai ajudar você a entender o que esperar de modelos mais fracos e também como eles se saem com modelos melhores. Obviamente, meu prompt será o mesmo para os quatro: criar uma ferramenta de auditoria de SEO e AEO. Ela deve começar com um formulário onde alguém cola uma URL. Em seguida, o workflow acessa essa página, faz uma auditoria de SEO e AEO e fornece uma pontuação geral de 0 a 100. Use Jev para tomar as decisões na auditoria. Use o que mais precisar para o restante. Também dei alguns detalhes adicionais sobre como deveria funcionar,

01:04 e buscar informações sobre o que é considerado um bom SEO e AEO. A única dica que dei foi a URL deste artigo do Google, que explica muito bem o que é AO e GEO — que, quero dizer, geralmente são a mesma coisa —, mas que levam a esses tipos de hacks que realmente não são eficientes, não funcionam. E esta página explica ao LLM que ele não deve se concentrar nisso. Mas, como você pode ver no prompt, não há muitos detalhes. Isso porque quero realmente testar esses modelos e ver quão eficientes são no uso das ferramentas disponíveis para criar nossa

01:37 automação. Certo, vamos começar. Antes de mais nada, tudo está rodando em self-hosting, então criei um container para cada provedor/modelo. Caso você estivesse debaixo de uma pedra e não saiba como configurar o n8n Assistant, basta acessar as configurações, clicar em n8n Assistant e, aqui, você poderá selecionar seu modelo. Como pode ver nesta janela, selecionei Muse Spark 1.3 Contributor como modelo. Na outra janela, estamos usando Cloud Opus 5.5. A propósito, todos estão conectados pelo OpenRouter. Isso só facilita as coisas para nós.

02:07 Depois temos o OpenAI GPT-6 Astra. E, por fim, DeepSeek V4.1 Flash. Pronto, colei o prompt em cada janela. Nenhum deles errou nada exatamente, exceto pelas credenciais. Então vamos começar pelo Anthropic. Até agora, este é, na verdade, o modelo mais decepcionante, especialmente pelo preço. Ele acabou confundindo minha chave de API do Appify com a chave de API do TypeSafe. Então, só precisei dizer para remover a chave do Appify dali e, na verdade,

02:39 usar minha chave de API do TypeSafe, o que é meio constrangedor. Agora, passando para o OpenAI: como ele foi inteligente o bastante para me pedir a chave de API antes de testar qualquer coisa, depois que forneci a chave, ele fez o teste ao vivo e tudo aparentemente funcionou sem problemas. E, sinceramente, este modelo tem sido ótimo até agora. Passando para o Meta, tudo o que precisei dizer foi para testar o workflow. Pelo visto, ele testou. E foi isso. Até agora, meu modelo favorito tem sido o DeepSeek, simplesmente porque foi o único que percebeu que eu tinha uma chave de API do OpenRouter.

03:11 E, como eu tinha essa chave de API do OpenRouter, ele usou o OpenRouter para usar o Jev. Então, quero dizer, isso merece mesmo um sinal de positivo. Mas agora vamos fazer o teste definitivo: enviar artigos que sabemos com certeza que são ruins. Esta página é considerada ruim em termos de SEO e AO. Esta é mediana. E esta é considerada um artigo muito bom. Certo, estes são os resultados depois de executar os workflows. A propósito, isto está dentro do formulário. Se quiséssemos enviar isso pelo Slack, Telegram ou qualquer outra coisa, poderia ser feito.

03:45 Mas também quis mostrar como ele lidaria com a estilização, como esta. Quanto ao OpenAI, ele deu uma nota de 63 em 100, o que não é bom, considerando que esta URL não tem um bom SEO nem AO. E, quanto ao restante da auditoria, quero dizer, acho que é um pouco genérica. Há muitos indícios de que foi escrita por IA. A estilização geral não é tão boa. E, sinceramente, ele nos deu muitas informações sobre como melhorar aquele site específico. Então, é

04:21 melhor em termos de estilização, mas não conseguiu nos dar mais contexto sobre o que fazer. Entre todos os resultados, acho que este foi o mais cauteloso, mas também é o que menos responde como uma IA. Também acho que esta pontuação é muito boa. Gostei de ele ter separado a pontuação de SEO da pontuação de AEO. Então, diria que se saiu muito bem. Agora vamos dar uma olhada no DeepSeek e no Meta. Primeiro, DeepSeek. Adorei esta estilização. Quase fico com medo de estar sendo tendencioso demais a favor deste modelo sem motivo algum,

04:51 mas esta pontuação é bem sólida. A estilização geral, como eu disse, é ótima. E as observações são bem parecidas com as do Opus 5.5. Por último, mas não menos importante, o Meta deu uma nota de 8 em 100. Então parece ser o modelo mais rigoroso. E… a estilização geral é a pior, assim como a auditoria. Acho que a parte de IA está aceitável, mas, em termos de SEO, não foi muito bom. Todos os modelos conseguiram ler o artigo do Google.

05:25 Uma diferença que notei é que os modelos mais fracos ficaram apenas com o contexto obtido daquela URL. Já o Opus e o OpenAI buscaram mais contexto e acrescentaram outros aspectos à auditoria. Fiz com que cada workflow testasse todos os sites. Só para garantir que o vídeo não ficasse entediante, adicionei a esta tabela todos os testes que fiz. As pontuações em verde são os valores intermediários. Então, o Meta ficou com 8, enquanto o OpenAI ficou com 63. Os valores intermediários são 35 e 17.

05:55 As pontuações do Anthropic são, em geral, razoáveis, enquanto as do Meta são altas ou baixas demais. Também verifiquei o custo final no OpenRouter, e isso é realmente surpreendente: o Meta nos custou US$ 0,35, o que é aceitável, mas ele não teve um desempenho tão bom. Mas o DeepSeek custou US$ 0,26 e se saiu muito bem. A estilização, por exemplo, ficou perfeita. Até o tempo que levou para criar tudo não foi tão alto, e ele não teve problemas como o Meta. Quanto ao OpenAI,

06:25 na criação, mas não foi o modelo com o melhor desempenho nem com a melhor estilização. Por outro lado, o modelo da Anthropic teve um desempenho razoavelmente bom, mas o custo foi alto demais. Agora, só para deixar claro sobre esta tabela, troquei os nomes pelos nomes dos modelos. A última pontuação, e provavelmente uma das mais importantes, diz respeito ao workflow e ao que ele realmente produziu, porque essas pontuações são apenas uma média do que ele conseguiu criar. Mas também queremos entender como, de fato,

06:57 queríamos adicionar uma etapa com participação humana ou simplesmente incluir o Slack como forma de me enviar uma mensagem. Essas são todas iterações que acabariam custando mais dinheiro e tempo se a automação principal não fosse bem construída. Então, apliquei meu próprio sistema de auditoria a esses workflows, e o de melhor desempenho foi o GPT-6 Astra, seguido pelo Opus 5.5, depois o DeepSeek e, por último, o Muse Spark 1.3. E, só para deixar claro, este é um único teste. Não se trata de um benchmark. Os modelos certamente se comportarão de maneira diferente,

07:27 especialmente quando seu prompt é tão genérico quanto o exemplo usado neste vídeo. É isso por hoje. Se quiser ver mais testes, conte para mim nos comentários, deixe uma curtida e inscreva-se para acompanhar mais vídeos. Até o próximo vídeo. Até lá.

Transcrição original

[00:00] I just use these four models instead of the n8n assistant to build me the same automation. So by the end of this video, we’ll know how long it took and how much it costs to build with each one of them. And of course, along the way, you’ll see exactly how is the experience building with each. First thing I want to show is this table. I got the data from artificialintelligence .ai, and it helps us understand what to expect from each one of these models. Because despite one model being dumber than the other, the cost per task for that model seems to be much, much cheaper.

[00:31] But then again, this isn’t a benchmark for the n8n Assistant, nor will we be actually building that benchmark on this video, but it’ll help you understand what to expect from weaker models and also how it performs with better models. Obviously, my prompt will be the same for all four, which is build an SEO and AO audit tool, It should start with a form where someone pastes a URL. The workflow then goes to that page, audits it for SEO and AO, and gives an overall score from 0 to 100. use jev for the judgment calls in the audit use whatever else you need for the rest i also gave it some additional details on how it should go on

[01:04] and fetch for what is a successful seo as well as aeo The only hint I actually gave it was the URL to this Google article that successfully explains what is AO as well as geo, which, I mean, are usually the same thing, but they lead to these kind of hacks that really don’t. aren’t efficient they don’t work and this page explains to the llm that it should not be looking at that but as you can see in the prompt there’s not much details that’s because i want to actually test these models and see how efficient they are in using the available tools to go on and build our

[01:37] automation all right let’s get to it first things first everything is running self -hosted so i’ve created a container for each different provider slash model just in case you’ve been living under a rock and you don’t know how to configure the n8n assistant just come over to settings click on n8n assistant and in here you should be able to select your model and as you can see in this window i have muse spark 1 .3 contributor as the model selected in my other window we’re using cloud opus 5 .5 by the way all of them are connected through OpenRouter this is just to make it

[02:07] easier for us then we have openai gpt6 astra And finally, DeepSeek v4 .1 flash. So there you go, pasting the prompt into each different window. Neither of them got anything exactly wrong aside from the credentials. So let’s start from Anthropic. So far, this is actually the most disappointing model, especially because of how pricey it is. It ended up confusing my Appify API key with the TypeSafe API key. So all I had to tell it was to remove the Appify key from there and actually

[02:39] use my TypeSafe API key. which is kind of embarrassing. Now, moving over to OpenAI, because it was smart enough to ask me for the API key before actually testing anything, after I gave it that API key, it went on, did the live test, everything, apparently worked smoothly. And honestly, this model has been great so far. Moving on to meta, all I had to say was test the workflow. It apparently did. And That’s it. Now, my favorite model till now has been the DeepSeek model, just because it’s the only one that recognized that I had an OpenRouter API key.

[03:11] And because I had that OpenRouter API key, it used OpenRouter to use Jeff. So I mean, doing this is definitely a thumbs up. But now let’s do the ultimate test, which is sending over articles that we already know by a fact that they are bad. So this page is considered bad SEO and AO wise. This one is average. And this one is considered a very good article. All right, so these are the results after executing the workflows. By the way, this is inside of the forum. If we wanted to send this through Slack, Telegram, whatever, it could just be it.

[03:45] But also because I wanted to show how it would deal with the styling of it like this. As for OpenAI, it gave a 63 out of 100, which isn’t good considering this URL does not have a good SEO and AO. And the rest of its auditing is, I mean, I feel like it’s a bit generic. There’s a lot of indicators that NAI wrote it. The overall styling isn’t that great. And honestly, it did give us a lot of information on how to improve that specific website. So it’s

[04:21] better styling, but it failed to give us more context on what to do. From all of the results, I feel like this is the one that played it the safest, but it’s also the one that answers not so much like an AI. I also think this score is quite good. I like that it separated the SEO score from the AEO score. So I’d say it did pretty well. Now let’s take a look at DeepSeek as well as Meta. First, DeepSeek. I loved this styling. I’m almost scared that I’m being too biased towards this model with none reason

[04:51] whatsoever, but this score is pretty solid. The overall styling, like I said, is pretty great. And the observations are pretty similar to the ones from Opus 5 .5. Now, last but not least, Meta, it gave it an 8 out of 100. So it seems like the harshest model. And… The overall styling is the worst, as well as the auditing. I feel like the AI part is okay, but SEO wise, it really wasn’t that great. All of the models successfully read the Google article.

[05:25] One difference I noticed is the weaker models just stayed with whatever context it got from that URL. And Opus, as well as OpenAI, went on to actually fetch for more context and add more auditing angles. I had each workflow test all of the websites. Just to make sure the video didn’t get boring, I added all the tests that I made to this table. The green scores here are numbers in between. So meta is 8, while OpenAI is 63. So the ones in between are 35 and 17.

[05:55] the Anthropic scores are mostly fine, while the Meta scores are either too high or too low. I also checked OpenRouter for the last cost, and this is really surprising because Meta cost us $0 .35, which is okay, but it didn’t perform that well. But then there’s DeepSeek that cost us $0 .26, and it performed pretty well. Like the styling was on point. Even the time that it took to build everything wasn’t that high, and it didn’t have issues like Meta did. As for OpenAI,

[06:25] in building it, but it wasn’t the one that performed the best or styled it the best. But then we have the Anthropic model that performed reasonably well, but the cost for that was just too high. Now, just to be clear about this table, I changed it over to the model’s names instead. Now, the last and probably one of the most important scores is about the workflow and actually what it produced, because these scores is just an average from whatever it came up with. But we also want to understand how actually

[06:57] wanted to add human in the loop or just include Slack as how it would message me. Those are all iterations that would end up costing you more money and time if the core automation isn’t well built. So I ran my own auditing system on top of those workflows and the best performing one is GPT-6 Astra, followed by Opus 5 .5, then DeepSeek, and lastly, MuseSpark 1 .3. And just to be clear, this is a single test. This is not meant to be a benchmark. Models will certainly behave differently

[07:27] especially when your prompt is as generic as the example used in this video. That is it for today. If you want to see more tests, let me know down in the comment section, leave a like, and subscribe for more. See you in the next video. Till then.