Haiku ou GPT Luna: qual funciona melhor no Hermes?

Autoria: Cortes do Rafael Quintanilha · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Haiku ou GPT Luna: qual funciona melhor no Hermes? · Canal: Cortes do Rafael Quintanilha · 07:45 · Assistir no YouTube

Tópicos: Agentes de IA, Ferramentas de desenvolvimento com IA, Modelos de IA

Resumo

O apresentador mostra como configurar o Hermes para usar créditos da API da Anthropic com uma chave de API, em vez de depender da assinatura Claude ou de um plugin. Ele configura o Claude Haiku 3.5 e demonstra o uso de uma ferramenta para consultar vídeos do canal no YouTube. Embora o Haiku precise de uma pista adicional para encontrar um vídeo específico, o apresentador destaca sua velocidade e o compara ao GPT-4o Luna. Com base no teste, recomenda o Haiku 3.5 para usar como assistente pessoal no Hermes.

Pontos-chave

É possível configurar o Hermes para usar uma chave de API da Anthropic e créditos da conta.
O uso de uma chave de API pode evitar consumir o limite da assinatura Claude e facilitar a separação entre usos pessoais e compartilhados.
Segundo o apresentador, a integração direta da assinatura Claude no Hermes depende de condições específicas, e o plugin pode exigir manutenção.
Na configuração mostrada, Claude Haiku 3.5 precisa ser inserido como modelo personalizado porque ainda não aparece na lista do Hermes.
O Haiku 3.5 consulta uma ferramenta do canal no YouTube, mas precisa de uma pista para localizar o vídeo correto.
No teste apresentado, o Haiku alcança entre 118 e 136 tokens por segundo.
O GPT-4o Luna registra cerca de 13 a 15 tokens por segundo no teste comparativo.
O apresentador muda sua recomendação e passa a preferir Haiku 3.5 para um assistente pessoal no Hermes.

Capítulos

Início	Capítulo	Resumo
00:00	Créditos de API no Hermes	O apresentador explica a proposta de usar créditos da API da Anthropic em um assistente pessoal instalado em uma VPS.
02:01	Assinatura Claude, créditos e alternativas	Ele descreve as limitações do uso da assinatura no Hermes e apresenta os créditos da Anthropic e um plugin como alternativas.
04:37	Configuração do Haiku 3.5 e teste	O apresentador insere o nome personalizado do modelo e testa consultas ao canal do YouTube com uma ferramenta.
06:43	Comparação de velocidade com GPT-4o Luna	Ele compara a velocidade dos modelos e conclui que prefere Haiku 3.5 para usar como assistente pessoal no Hermes.

Citações

A primeira vantagem é que você não vai consumir o limite da sua assinatura Claude. — 01:31

Você tem que inserir o nome personalizado. — 04:37

Não é tão inteligente, mas, depois de uma pequena pista, conseguiu encontrar. — 06:12

Estamos falando de o Haiku ser 10 vezes mais rápido que o Luna. — 07:14

Conceitos e entidades

Hermes (ferramenta): Assistente pessoal que o apresentador configura para usar modelos por meio de uma API.
Anthropic (empresa): Empresa cuja API e cujos créditos são usados na configuração demonstrada.
Claude Haiku 3.5 (modelo): Modelo configurado no Hermes e recomendado pelo apresentador pela velocidade observada no teste.
GPT-4o Luna (modelo): Modelo comparado ao Haiku 3.5 em um teste de velocidade no Hermes.
HostGator (empresa): Provedora da VPS onde o Hermes do apresentador está instalado.
Jev (pessoa): Nome associado ao vídeo do canal cuja contagem de visualizações o apresentador pede ao Hermes para consultar.
API key (conceito): Chave usada para autenticar o Hermes na API da Anthropic.

Tradução completa (pt-BR)

00:00 A primeira coisa que eu queria mostrar para vocês é como usar esses créditos da API em um assistente pessoal, como o Hermes, certo? Por quê? Tradicionalmente, havia certa confusão sobre se era possível ou não usar a assinatura do Claude em projetos e aplicativos de terceiros, certo? Como no caso do Hermes. A OpenAI sempre foi bastante aberta quanto a isso e permitiu que você usasse sua assinatura nesses outros aplicativos. A Anthropic sempre teve uma atitude mais hostil

00:31 em relação a isso. Mas agora, como eles estão oferecendo esse benefício na API, você pode configurar sua conta usando uma API Key e usá-la em outros serviços, como eu disse, o Hermes, certo? Então, o que vamos fazer aqui? Vou entrar no meu VPS da HostGator, onde o meu Hermes está instalado. Minha recomendação para quem quer ter um assistente pessoal funcionando 24 horas por dia, 7 dias por semana, é contratar um VPS e instalá-lo lá. Se você for escolher um VPS, recomendo contratar na HostGator, nossa parceira aqui no

01:01 canal, certo? O link para contratar seu VPS com suporte 24 horas por dia, 7 dias por semana, em português estará na descrição e no comentário fixado. Então, entrei no meu VPS e, bem, posso iniciar o Hermes aqui, certo? E vocês vão ver que agora estou com o Claude 3.5 Sonnet conectado. Como fiz isso, pessoal? Vou sair e mostrar que posso executar isto: Hermes model, e estou com a opção Anthropic selecionada, estão vendo? Claude Models via API Key ou Claude

01:31 subscription. Então, se eu selecionar essa opção, ele vai perguntar se quero configurar com minha assinatura Claude Pro ou Max, ou se quero usar uma API Key. Espera aí, Rafael, se posso usar minha assinatura Claude Max, qual é a vantagem? Por que eu usaria uma API Key? Bem, a primeira vantagem é que, claro, você não vai consumir o limite da sua assinatura Claude, certo? Isso costuma ser importante porque você não quer misturar uma coisa com outra, ou está compartilhando uma conta, um assistente pessoal, com sua empresa ou com outra pessoa. Então, ter uma API Key permite fazer isso. Mas essa nem é a coisa mais importante, certo? Por quê?

02:01 Porque, mesmo que você consiga configurar isso ali com — o que acaba acontecendo, certo? Quando você seleciona Claude no Hermes, e estou lendo isso para vocês na documentação oficial do Hermes —, o que acontece? O Hermes faz esse roteamento, como Claude na sua conta, mas isso só funciona se você tiver um plano Max e tiver comprado créditos extras;

02:33 em outras palavras, ele não vai consumir seu limite normal. Vai consumir seus créditos extras. O que é isso? Se eu acessar minha conta da Anthropic aqui, vocês vão ver que tenho aqui, na minha seção, créditos de usuário que posso usar como créditos extras, certo? Então, posso comprar créditos aqui, estão vendo? “buy more”. Posso adicionar combustível aqui na minha conta da Anthropic e, aí sim, estaria usando esta minha assinatura,

03:04 mas consumindo os créditos daqui, certo? Não usaria meu limite normal. Então, isso não funciona para a maioria das pessoas. Há outra maneira de fazer isso com um plugin do Hermes, certo? Existe um plugin do Hermes chamado Hermes Plugin Claude Subscription Direct, que também é gerenciado pela própria equipe do Hermes. Mas, de novo, pessoal, é aquela situação em que você está sempre vivendo na incerteza. Será que vai funcionar? Será que não vai? Aí para de funcionar,

03:35 você tem que ficar atualizando, e é um saco, certo? Então, nunca gostei de usar modelos da Anthropic no Hermes porque não podia usar minha assinatura e também estava cansado de ter que improvisar soluções para fazer as coisas funcionarem. Ainda bem que agora, com a API Key com créditos, posso acessar minha conta Claude. Então, posso entrar em platform.claude.com. Vou até API keys e gero uma API Key. Olhem, dá para ver que tenho créditos, tenho 224 em créditos. E olhem,

04:06 passei o dia todo testando e não gastei nem um dólar, certo? Vejam, gastei 96 centavos em todos os meus testes. Então, posso gerar minha API Key aqui, voltar ao Hermes e colocá-la lá. Entenderam? Fazendo isso, configuro o Hermes. Vou até fazer isso com vocês aqui, porque há um detalhe, certo? Se selecionar a opção API Key aqui, ele vai pedir que você a informe, certo? Estou no workspace aqui, vou criar uma chave, continuar com API aqui, vou chamá-la de hermes e selecionar que não quero que expire, certo? Nunca expira. Tudo bem, funciona. Vou criar a

04:37 chave. Copiei a chave aqui. Vocês não viram porque não se deve compartilhar a API Key. Colei, e está tudo certo. Olhem só. Mas há um detalhe, vejam. Se olharem aqui, o Hermes ainda não foi atualizado, então Haiku 3.5 não vai aparecer. Estão vendo? Só aparece Claude Haiku 3.0. Então, vocês precisam informar o nome personalizado, certo? Talvez, quando estiverem assistindo a este vídeo, Claude Haiku 3.5 ainda não tenha aparecido. Então, venham aqui, escolham inserir modelo personalizado e digitem claude-3-5-haiku. Entenderam? Selecione high

05:09 aqui. Maravilha, já está funcionando. Então, agora posso iniciar o Hermes e perguntar alguma coisa. Por exemplo: qual foi o vídeo mais recente do meu canal no YouTube? Entenderam? Ele tem acesso a uma tool que controla meu YouTube. Ah, já encontrou, conseguiu carregar a skill e fez a chamada. Aí está, o vídeo que acabei de publicar. E olhem só, pessoal: 118 tokens por segundo, certo? Levou basicamente 8 segundos para me dar essa resposta, certo? Posso perguntar outra coisa aqui, vejam. Quantas visualizações teve o vídeo do Jev, o primeiro?

05:41 Esse foi o vídeo mais visto do meu canal até agora. Então, estou pedindo outra consulta. Ah, não, está buscando; encontrou o vídeo errado, certo? Não esse, o outro. Vamos ver se vai conseguir entender. Não precisa pesquisar. Acho que foi nos últimos trinta dias. Então, aqui vocês percebem que falta um pouco da proatividade que verão em modelos

06:12 como Opus e Sonnet. Ele não é tão inteligente, mas, enfim, depois de uma pequena dica, conseguiu encontrar. Qual deles? O antigo, que é o primeiro do Jev. E aí me informou o número de visualizações. Entenderam? O que eu queria mostrar aqui era fazer várias interações para vocês verem a velocidade. Então, olhem só: 136 tokens por segundo. Cara, muito bom. Então, estou mudando oficialmente minha recomendação, se isso valer alguma coisa. Para quem quiser usar um assistente pessoal como o Hermes, deve usar

06:43 Haiku 3.5, porque ele vai ser muito rápido, bem mais rápido, por exemplo, do que Luna, certo? Então, se eu encerrar esta sessão aqui, vejam, e iniciar o Hermes de novo, vamos mudar o modelo para ChatGPT com GPT-4o Luna. Vamos selecionar Haiku, certo, que é a mesma coisa. E aí vamos fazer a mesma pergunta, certo? Qual foi o vídeo mais recente do meu YouTube? Certo? Foi aquela primeira pergunta que fiz. E então vamos comparar a velocidade aqui. Olhem só, pessoal: 13

07:14 tokens por segundo. Dá vontade de chorar, não dá? 15 tokens por segundo. Estamos falando de Haiku ser 10 vezes mais rápido que Luna. Então, é uma diferença enorme quando se usa um assistente pessoal. Olhem só, muito, muito, muito lento, certo? Então, pessoal, olhem só: 15 tokens por segundo. Ele ainda nem está retornando a resposta. Para ser sincero, isso me irrita. Vou interromper o teste. O que eu queria mostrar era a diferença de velocidade. Então, sempre achei que Luna fosse o melhor modelo para usar com um assistente pessoal como o Hermes.

07:45 Já não acho isso, certo? No momento em que estou gravando este vídeo, se você tem uma assinatura Claude Pro, se paga mais de US$ 20 pela assinatura, certamente vale a pena usar um assistente pessoal como o Hermes com esses créditos da API e Haiku 3.5. É isso.

Transcrição original

[00:00] The first thing I wanted to show you is how you can use these API credits in a personal assistant, like Hermes, okay? Why? There has traditionally been some confusion as to whether or not you can use your Claude subscription in third-party projects and apps, right? Like in the case of Hermes. OpenAI has always been quite open about this and has allowed you to use your subscription in these other apps. Anthropic has always had a more hostile

[00:31] attitude toward this. But now, since they are offering you this value in the API, you can configure your account using an API Key and use it in other services, like I said, Hermes, okay? So , what are we going to do here, right? I’m going to log into my HostGator VPS, which is where my Hermes is installed. My recommendation for anyone who wants to have a personal assistant running 24/7 is to get a VPS and install it there. If you are going to choose a VPS , I recommend that you do it at HostGator, which is our partner here on

[01:01] the channel, okay? The link for you to hire your VPS with 24/7 support in Portuguese will be in the description and in the pinned comment. So, I’ve logged into my VPS and, well, I can initialize Hermes here, okay? And you will see that I now have Claude 3.5 Sonnet connected. How did I do this, guys? I’ll exit and show you that I can run this: Hermes model, and I have the Anthropic option selected, see? Claude Models via API Key or Claude

[01:31] subscription. So, if I select this, it will ask if I want to configure it with my Claude Pro or Max subscription, or if I want to use an API Key. Wait, Rafael, if I can use my Claude Max subscription, what is the advantage? Why would I use an API key? Well, the first advantage is that, of course, you won’t be tapping into your Claude subscription limit, right? This is often important because you don’t want to mix one thing with another, or you’re sharing an account, a personal

[02:01] assistant, with your company or another person. So, having an API key allows you to do that. But that’s not even the most important thing, okay? Why? Because even if you manage to configure it there with, what ends up happening, okay? When you select Claude in Hermes, and I’m reading this to you from the official Hermes documentation, what happens? Hermes does this routing, like Claude on your account, but it only works if you’re on a Max plan and have

[02:33] purchased extra credits; in other words , it won’t draw from your normal limit. It will draw from your extra credits. What is that? If I go here to my Anthropic account, you’ll see that I have here, look, in my section, user credits that I can use as extra credits , okay? So I can buy credits here, see, “buy more”, I can add fuel here inside my Anthropic account and then yes, I would be using this subscription of

[03:04] mine, but drawing from here, okay? It wouldn’t be drawing from my normal limit. So this doesn’t work for most people. There is another way to do it with a Hermes plugin, okay? So there is a Hermes plugin here called Hermes Plugin Claude Subscription Direct, which is also managed by the Hermes team themselves. But again, folks, it’s that situation where you’re always living in limbo. Will it work? Won’t it work? Then it stops working,

[03:35] you have to keep updating it, and it’s a pain, okay? So I never liked using Anthropic models in Hermes because I couldn’t use my subscription, and I was also tired of having to rig things to make them work. Thank God, now that we have the API Key with credits, I can go to my Claude account. So I can come here to platform.claude.com. I come here to API keys, I generate an API key . Look, you can see that I even have credit, I have 224 in credit. And look,

[04:06] I’ve been testing all day, I haven’t spent a single dollar, okay? See, I spent 96 cents, right, in all my tests. So, I can generate my API key here, go back to Hermes, and put it in there. Got it? So, by doing this, I configure Hermes. I’ll even do it with you here because there’s a detail, okay? If you select the API key option here, it will ask you to enter it, right? So I’m in the workspace here, I’ll create a key, continue with API here, I’ll name it hermes, and I’ll select that I don’t want it to expire, right? Never expire. Alright, that works. I’ll create the

[04:37] key. I copied the key here. You didn’t see it because you shouldn’t share your API key. I pasted it and it’s great. Look at that. But there is a detail, look. If you look here, Hermes hasn’t updated yet, so Haiku 3.5 won’t show up . See? It’s only showing Claude Haiku 3.0. So you have to enter the custom name, okay? It might be that when you’re watching this video, Claude Haiku 3.5 hasn’t appeared yet. So you come here to enter custom model and put claude-3-5-haiku. Got it? Select high

[05:09] here. Wonderful, it’s already running. So I can initialize Hermes now and I can ask something. For example, what was the latest video on my YouTube channel? Got it? It has access to a tool I have that controls my YouTube. Oh, it already grabbed it, it was able to load the skill, it made the call. There it is, the video I just published . And look at this, folks, 118 tokens per second, okay? It took basically 8 seconds to give me this answer, okay? I can ask something else here, look. How

[05:41] many views did the Jev video, the first one, have? This was the most viewed video on my channel so far. So I’m asking it to do another query there. Eh , no, it’s grabbing, it grabbed the wrong one, right? Not this one, the other one. So, let’s see if it will be able to understand this. Not if you need to search. I think it was within the last thirty days. So here you notice, right, that it lacks some of the proactivity you’ll see in models

[06:12] like Opus and Sonnet. It’s not that smart, but there you go, finally, after a little hint, it managed to get it, which one? The old one, which is the first one from Jev. And there it told me the number of views. Got it? What I wanted to show you here is to do several interactions so you can see the speed. So, look at that, 136 tokens per second. Man, very good. So, I am officially changing my recommendation, if it’s worth anything. For those of you who want to use a personal assistant like Hermes, you should use

[06:43] Haiku 3.5, because it will be very fast , much faster, for example, than Luna, okay? So, if I kill this session here, look, and initialize Hermes again, and then we’ll change the model to ChatGPT with GPT-4o Luna. Let’s set it to Haiku , right, which is the same. And then we’ll ask the same question, okay? Uh, what was the latest video on my YouTube ? Right? It was that first question I asked. And then we’re going to compare the speed here. Look at this, guys, 13

[07:14] tokens per second. It makes you want to cry, doesn’t it? 15 tokens per second. We are talking about Haiku being 10 times faster than Luna. So, it’s a huge difference when you’re using a personal assistant. Look at that, very, very, very slow, okay? So, guys, look at this . 15 tokens per second. It’s not even returning the answer yet. I’m actually irritated by this. I’m going to stop the test. What I wanted to show you is the difference in speed. So, I always thought Luna was the best model to use with a personal assistant like Hermes.

[07:45] I don’t think so anymore, okay? At the time I’m recording this video, if you have a Claude Pro subscription, if you pay more than $ 20 for your subscription, it’s certainly worth using a personal assistant like Hermes using those API credits with Haiku 3.5. Yeah.