Haiku 5.5: a alternativa BARATA ao Claude Opus merece atenção?

Ver no idioma original →

Autoria: AI ProgBr · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Haiku 5.5: a alternativa BARATA ao Claude Opus MERECE atenção? · Canal: AI ProgBr · 25:06 · Assistir no YouTube

Tópicos: Geração de conteúdo com IA, Inferência e otimização de modelos, Modelos de IA, Modelos locais e open source, RAG, busca e recuperação de informação

Resumo

O vídeo avalia o modelo Haiku da Anthropic, destacando seu baixo custo e comparando benchmarks com modelos como Sonnet e GPT-4o mini. O apresentador demonstra um aplicativo com RAG e testa o modelo criando quatro jogos: Doom, Mario Kart, Resident Evil e Crash. Na avaliação prática, considera os resultados muito bons em três dos jogos, enquanto Step se sai melhor em Crash. A conclusão é que modelos mais baratos podem ser úteis em tarefas reais, desde que sejam escolhidos e utilizados adequadamente.

Pontos-chave

• O vídeo apresenta o Haiku como uma opção de baixo custo para tarefas que não se limitam à programação.
• Nos benchmarks mencionados, Haiku supera GPT-4o mini em algumas métricas e fica abaixo de Sonnet em outras.
• O apresentador demonstra um aplicativo de busca em vídeos que usa RAG para localizar informações em transcrições.
• A geração dos quatro jogos consumiu menos de 10% da cota de cinco horas mencionada no vídeo.
• Doom, Mario Kart e Resident Evil foram avaliados positivamente pelo apresentador.
• Em Crash, o apresentador considera que Step teve vantagem, embora Haiku também tenha apresentado um bom resultado.
• O vídeo recomenda avaliar modelos mais baratos para aplicações e tarefas executadas por um agent.
• O apresentador alerta que quantizações diferentes podem afetar a qualidade e o tempo de resposta de modelos oferecidos por outros provedores.

Capítulos

Início	Capítulo	Resumo
00:01	Apresentação de Haiku e benchmarks	O apresentador introduz o modelo, comenta seus resultados em benchmarks e compara seu custo e desempenho com outros modelos.
02:09	Preços e demonstração de RAG	O vídeo explica a estrutura de preços e demonstra um aplicativo que pesquisa informações em vídeos usando RAG.
05:52	Preparação dos testes e Doom	O apresentador compara custos e inicia os testes práticos de Haiku com um jogo inspirado em Doom.
09:52	Mario Kart	O jogo de corrida funciona com controles de joystick e o apresentador avalia positivamente o resultado.
12:03	Resident Evil	O apresentador explora um jogo de terror no estilo PS1, encontra uma chave e elogia o resultado.
19:08	Crash e comparação com Step	Haiku cria uma fase de Crash, mas o apresentador considera que Step teve vantagem nesse teste.
22:24	Conclusões e recomendações	O apresentador defende testar modelos mais baratos em aplicações reais e comenta quantização, modelos locais e seu curso.

Citações

Vamos ver se Haiku chega perto disso. — 00:34

Agora temos um modelo americano barato e bom? — 05:52

Bom resultado. Eu não esperava por isso. — 12:03

Haiku foi muito bem. Em todo o resto, Haiku venceu. — 22:24

Na grande maioria dos projetos, você não precisa de um GPT-4 ou de um Opus. — 25:06

Conceitos e entidades

• Haiku 3.5 (modelo): Modelo da Anthropic avaliado no vídeo por seus benchmarks, custo e capacidade de criar jogos.
• Anthropic (empresa): Empresa responsável pelos modelos Haiku, Sonnet e Opus mencionados no vídeo.
• Sonnet (modelo): Modelo da Anthropic usado como referência de desempenho em algumas comparações.
• Opus (modelo): Modelo da Anthropic descrito pelo apresentador como uma opção de alto desempenho e custo elevado.
• GPT-4o Mini (modelo): Modelo comparado a Haiku em benchmarks de conhecimento de trabalho e programação agentic.
• Step 5 Preview (modelo): Modelo comparado a Haiku nos testes de criação de jogos e nos comentários sobre custo.
• RAG (conceito): Abordagem demonstrada no aplicativo para buscar trechos de vídeos e fornecer esses trechos a um LLM.
• quantization (conceito): Técnica mencionada como um fator que pode alterar a qualidade e a velocidade de um modelo.
• ARC B70 (ferramenta): Placa citada na demonstração do aplicativo e na conversa sobre o computador do apresentador.

Tradução completa (pt-BR)

00:01 Ah, cara, ele é um gênio. Nesta semana, a Anthropic lançou a nova versão do seu modelo mais barato, certo? Haiku 3.5. E, no cenário da IA, em que vemos modelos ficando maiores e, consequentemente, mais caros, é muito importante ter modelos baratos que deem conta do recado. E é isso que queremos ver hoje. Queremos ver se o Haiku consegue criar joguinhos. Vamos para a tela. Claude Haiku 3.5. Vamos dar uma olhada na página de lançamento, ver um pouco dos benchmarks, ver do que eles afirmam que o modelo é capaz e…

00:34 …depois vamos testá-lo na prática com nossos joguinhos para descobrir se é uma boa alternativa aos modelos chineses. Vimos o Step 2, por exemplo, que se saiu muito bem nos nossos testes. Então, vamos ver se o Haiku chega perto disso. Normalmente, aqui no canal, quando falo de um modelo, sempre acabamos analisando-o do ponto de vista da programação, certo? Para programadores. Mas muita gente usa modelos não para isso, certo? Usa para trabalhar, mexer com planilhas, textos, gerenciar anúncios, por exemplo. Ou seja, para várias coisas que não são necessariamente código. E aqui vemos um grande…

01:04 …avanço do Haiku 3.5. Então, em conhecimento profissional, certo, ele basicamente mais que dobrou em comparação com o Haiku 3.0. Do 3.0 para o 3.5, fomos de 735 nesse benchmark para 1620. Isso coloca o Haiku 3.5 à frente do GPT-4o mini. Aliás, se vocês quiserem ver um vídeo colocando os dois frente a frente, deixem um comentário abaixo e talvez eu traga isso para cá. Uma coisa legal que a Anthropic fez foi usar o Sonnet como base aqui, certo? O Sonnet é um modelo respeitável, não é o Opus…

01:36 …certo? O Opus é o melhor modelo deles e talvez o melhor modelo do mundo, mas o Sonnet é bastante respeitável. Só que o Haiku é bem mais barato, e esse é o ponto aqui. Então, 1620 aqui contra 1840 do Sonnet significa que muita gente pode realmente usar o Haiku no lugar do Sonnet, pelo menos para algumas tarefas. Agora, o que queremos saber é esta parte aqui, certo, a de código. Em código, o Sonnet continua à frente, bem à frente aqui, especialmente no benchmark de terminal, que também analisa tool calling e coisas do tipo. Mas, em comparação com o GPT-4o…

02:09 …mini, o Haiku 3.5, aqui em Agentic Coding, tem 46,4, contra 42,2 do GPT-4o mini e 52 do Sonnet 3.5, que está na categoria mais avançada, certo? Olha, é aqui que as coisas ficam interessantes, certo? Estamos falando do preço de um modelo como esse. E o preço é importante, especialmente se você estiver usando o modelo por API. E é aí que esse modelo realmente se destaca. Então, vamos começar pelos valores de entrada e saída. Para os tokens de entrada, vemos dois valores aqui. Vou explicar o que são. Se você fizer um prompt com menos de 100.000…

02:42 …tokens, nesse caso a entrada vai custar 10 centavos. Se passar de 100.000 tokens, a entrada vai custar 50 centavos. A saída segue a mesma regra. Abaixo de 100.000 tokens, a saída custa 50 centavos; acima de 100.000 tokens, 50. Isso é incrível. Sabem para que situação isso é incrível? Imaginem que vocês têm um aplicativo e, nele, um modelo para prestar suporte aos usuários em alguma coisa. Pode ser, por exemplo, um aprimorador de prompt ou algo assim. Aliás, melhor ainda. Vou mostrar um…

03:12 …exemplo. Vou mostrar este aplicativo que criei aqui. É um aplicativo interno que uso principalmente quando estou planejando uma aula, mas às vezes também quando estou fazendo um vídeo ou quero encontrar algo em um vídeo específico. Basicamente, é um RAG para vídeos. Então, escolho uma pasta, transcrevo os vídeos, indexo tudo e depois posso pesquisar qualquer coisa. Aliás, estou preparando alguns dos projetos que teremos no curso e provavelmente teremos algo muito parecido com isso. Então, se você ainda não é aluno do nosso curso para devs, dê uma olhada no link abaixo, que vai aparecer aqui, ou no QR code que deve estar…

03:45 …aparecendo agora, para se inscrever e aprender um pouco mais sobre como desenvolver com IA. Então, aqui posso acessar “buscar respostas com IA” e fazer qualquer pergunta sobre minha coleção, certo? Sobre todos os vídeos que fiz aqui. Por exemplo: quanta memória a Arc B70 tem? Se eu clicar em “perguntar”, a resposta aparece bem aqui. A ARC, ele escreveu com K… O script entende como K, mas a Arc B70 tem 32 GB de memória. Perfeito. É exatamente isso. O que está acontecendo aqui? Estamos usando um RAG, então basicamente está sendo feita uma busca vetorial, e trazemos alguns trechos dos vídeos encontrados e os passamos para um modelo LLM. Com base nesses trechos, o modelo LLM nos fornece as informações que queremos…

04:17 …Neste caso, estou usando um modelo local, o próprio modelo da Apple, mas podemos ver que a resposta é bastante simplificada e, às vezes, não é das melhores. Outra coisa é que aqui faço uma pergunta e o modelo me responde, mas digamos que depois eu queira conversar um pouco mais sobre essa resposta, aprofundar o assunto. Nesse caso, um modelo mais inteligente faria uma grande diferença. Aqui, o modelo local até se sai bem, porque nos deu a resposta. Na verdade, se eu clicar aqui, por exemplo, tenho dois cartões que mencionam 32 GB. Posso abrir o vídeo exato, certo? Como tenho o título do vídeo, posso acessar o vídeo exato e o momento exato em que falo sobre quanta memória a ARC B70 tem. Aqui está outro vídeo em que provavelmente também falo disso. Olha. Então, este foi o trecho que ele destacou. Olha. E, se eu descer aqui até a Arc B70, por exemplo, que…

04:48 …tem 32 GB, Arc B, >> foi exatamente daqui que ele tirou essa informação. Este é só um pequeno exemplo de como podemos ter um LLM rodando dentro de um aplicativo e, neste caso, ele vai consumir bem menos de 100.000 tokens, certo? Tanto na entrada quanto na saída, porque é algo simples. Claro que, se a conversa se prolongar bastante, talvez passe de 100.000 tokens, mas acho que não, porque 100.000 tokens é um volume bem generoso. Há pouco tempo, os modelos tinham uma capacidade só um pouco maior do que isso. Só os modelos open source ainda têm 260.000 tokens como padrão. Então, 100.000 tokens é bastante. E, neste caso…

05:19 …você paga 10 centavos pela entrada e 50 centavos pela saída, o que é bem interessante. Para termos uma ideia, o Step que vimos aqui, o Step 5 Preview, também é um modelo relativamente barato. Custa um dólar por 1 milhão de tokens de entrada e 2,70 por 1 milhão de tokens de saída. Então, mesmo passando de 100.000 tokens, o Haiku acaba sendo mais barato. Será que agora temos um modelo americano bom e barato? Como podemos conferir? Com um joguinho. Separei quatro aqui. São os mesmos quatro que vimos no Step C Preview. Então, tenho Doom, Mario Kart, Crash e Resident Evil. O Resident Evil do Step 5 se saiu muito bem. Gostei. Teve um pequeno bug em que o jogador estava sempre atirando para cima, mas, tirando isso, o jogo ficou bem legal. Vamos ver o resultado do Haiku. Vamos começar pelo Doom clássico. Mas, antes de ver como ficou o jogo, vamos conferir quanto gastamos. E olha só: para fazer os quatro jogos, nem chegamos a gastar 10% da nossa cota de 5 horas. Então, esse é mesmo um modelo barato. Agora vamos ver se funcionou, certo? Temos aqui o nosso Doom Tree, certo? Porque pedi que fosse feito com 3JS. Então, é um jogo de tiro em primeira pessoa. Será que o controle funciona? Vamos ver. Olha. Sim, o controle está funcionando. Trocando de arma aqui, olha. Cadê? Qual delas atira? É, não está atirando. Só falta atirar. Ah, pronto, achei. Achei. Olha só. Incrível. Mas vou usar o mouse. Ah, de onde ele veio? A porta abriu sozinha. Cara, que musiquinha legal, hein?

05:52 você paga 10 centavos por milhão de tokens de entrada, 50 centavos por milhão de tokens de saída, o que é muito interessante. Para termos uma ideia, o modelo que vimos aqui, o preview do Step 5, também é relativamente barato: custa um dólar por milhão de tokens de entrada e 2,70 por milhão de tokens de saída. Então, mesmo passando de 100 mil tokens, o Haiku acaba saindo mais barato que ele. Será que agora temos um modelo americano barato e bom? Como podemos conferir? Com um joguinho. Separei quatro aqui. São os mesmos quatro que vimos no preview do Step C. Então

06:23 aqui tenho Doom, Mario Kart, Crash e Resident Evil. O Step 5 se saiu muito bem com Resident Evil. Gostei. Teve uma pequena falha em que o jogador estava sempre atirando para cima, mas, fora isso, o jogo ficou bem legal. Vamos ver o resultado do Haiku aqui. Vamos começar com o Doom clássico. Mas, antes de vermos como ficou o jogo, vamos conferir quanto gastamos. E olha só: para criar os quatro jogos, não gastamos nem 10% da nossa cota de 5 horas. Então, este é mesmo um modelo barato. Agora vamos ver se funcionou, né? Temos aqui o nosso Doom 3, né? Porque pedi para ele criar

06:56 com Three.js. Então, um jogo de tiro em primeira pessoa. E o nosso joystick funciona ou não? Vamos ver aqui. Olha só. Sim, o nosso joystick está funcionando. Trocando de arma aqui, olha. Cadê? Qual botão atira? É, não, não está atirando. Só precisa atirar. Ah, opa, certo, encontrei. Encontrei. Bom, olha só aqui. Incrível. Mas vou usar o mouse. Ah, de onde ele veio? A porta abriu sozinha. Cara, que musiquinha legal, hein?

07:28 Mas os inimigos vêm direto para cima de mim. A porta está abrindo sozinha, cara. Não esperava por isso, hein? Achei que teria que abrir a porta ali, olha. Cara, bom resultado até agora. Está escuro aqui, hein? Bom resultado. Ah, olha que legal isso, né? Aqui temos um ponto de luz, viu? Então dá para ver tudo. Agora, aqui não temos nenhum ponto de luz. E olha como está escuro, né? Então, beleza, faz sentido.

08:01 Vamos lá. Vamos lá. Olha, não preciso apertar nada. Que espingarda incrível. Não preciso apertar nada para passar pelas portas. Por isso os inimigos também estão conseguindo passar, né? Cara, está um breu aqui, hein? Podia ter pelo menos uma lanterna, né? Olha, aqui, aqui precisei apertar porque a porta estava trancada e tive que usar a chave, o que faz sentido. Cara, essas criaturas aqui, olha, está muito escuro aqui, né?

08:40 Muito escuro. Mas passei de fase aqui, olha. Fase dois. A música mudou. Vou colocar um fone de ouvido para não ter eco. Ah, droga, é um mago. Uou, que legal, o mago, cara. Ei, olha o mago ali. Toma essa, mago. Cadê ele? Será que tem uma

09:16 metralhadora? Ainda não tem. Ei, isso também não tem neste jogo. Sem metralhadora. Estou ferrado nessa. Toma essa, toma essa, toma essa. Ah, vou pegar aquela ali. Lança-foguetes. Uau. Toma essa, toma essa. Cara, mesmo com um lança-foguetes, esse negócio é difícil, hein? Que legal. Ah, deixa eu pegar outro foguete aqui.

09:52 Cadê ele? Acabou tudo aqui. É, acho que foi tudo, né? Que legal. Vamos até lá. Vitória. Arena final concluída. Vencemos. De volta à fase um. Muito legal. Achei bom. Resultado excelente. Muito bom, cara. O que você achou? Deixe aqui nos comentários o que achou de Doom. Vamos para o próximo. O próximo vai ser este aqui. Crazy Mario Kart. Ah, caramba, hein? As nuvenzinhas aqui. As nuvenzinhas. Isto aqui parece um

10:24 croissant. Legal. Que demais. Agora vou, agora vou usar o controle. Espera aí. Agora, agora funciona. Controle ativado. Vamos lá. Cadê? Ah. Está invertido. Está invertido, né? Está invertido, né? Está invertido. Invertido. Falei “invertido” dez vezes, né, para você entender que está invertido. Outro dia alguém disse: “Cara, você joga muito mal”. Não sei se estava falando de Mario Kart, porque provavelmente podia ser o outro jogo também, já que eu jogo todos os jogos

10:57 mal, mas, é, jogar com os controles invertidos é meio difícil mesmo. Cadê? Qual botão atira aqui? Toma essa. Ah! Ah, droga! Caí na banana, poxa. Agora vai. Toma essa. Cara, os controles parecem bons, cara. O carro, olha,

11:30 se eu não virar, ele não segue a pista, né? Outro dia eu disse, eu disse que um modelo lixo fez um kart que seguia em linha reta. Cara, os caras discutiram comigo dizendo que isso estava certo, inacreditável. É, então este não cometeu, caramba, dois de uma vez. Este não cometeu esse pecado. Isso é um pecado. O kart se guiando sozinho.

12:03 Pecado. Cheguei ao fim. Ganhei. Que legal. Ganhei. Ganhei. Ganhei. Ganhei. O que é isso? Em primeiro lugar por acidente. Bom, bom resultado. Eu diria que melhor que o anterior, não esperava por isso. Esperava fazer este vídeo aqui dizendo: “É, este modelo é bom, mas o anterior, neste caso aqui, este modelo é bom”. É bom. Vamos para o próximo para ver: Resident Evil. Resident Evil sempre surpreende; coisas boas

12:36 sempre acontecem quando testamos Resident Evil aqui. Ah, mansão silenciosa. É o nosso Resident Evil no estilo de PS1. Isso é importante, tá? Tem até uma configuração de dificuldade aqui. Obviamente vou deixar na dificuldade fácil porque… Difícil, difícil vai acabar comigo, cara. Fácil, não, fácil não. Vamos no normal. Vamos no normal. Som ligado. Beleza. Espera, cadê meu controle? Funciona, ah. Funcionou, cara. Isso é muito PS1, aquela coisa ali, sabe? Aquela ali, caramba.

13:11 Cadê? Cadê? Cadê? Cadê? Cadê? Ah, ah. O que aconteceu aqui? Estou aqui, olha. Ah, atiro aqui. Ah, o que é isso, cara? Pistolinhas. Faca. Cadê? Cadê? Como troco ali? Equipar. Não, espera aí. Não é isso. Ah, o que está acontecendo aqui? Ah, ah, beleza, beleza. Não, espera aí, então. Faca. Equipar. Equipei a faca. Cara, esta interface é muito legal, olha. Tenho

13:43 a faca aqui. Não dá para ver, né? Uau, espera. Não dá para ver o movimento da faca, mas dá para ouvir. Estou ouvindo. Não sei se você está ouvindo, mas eu estou. Droga, vou, vou usar a pistola, porque a faca não está funcionando. Beleza. Olha a pistola. Dá para ver o tiro ali. Certo. Agora vou descer aqui porque já sei que tem uma porta aqui e vou me ferrar. Sai, sai, sai, sai. Cadê? Uau, ele chutou, cara. Acho que a faca era melhor, hein? Espera, espera.

14:18 Deixa, deixa eu colocar a faca aqui. Meu Deus. Ai, ai, ai. O silêncio pesa. Encontre a chave mestra. Deixa eu ver se tem uma porta por aqui que não dá para ver, mas vamos descobrir. Tem. Ah, fiquei preso em algum lugar aqui. Não consigo voltar. Ah, acabei numa porta, viu? Poxa, é muito difícil acertar esse cara. Isso não está certo. Tem alguma coisa errada aqui. Equipei a faca. Toma

14:50 essa facada. Toma. E, cara, é, vou usar a faquinha, cara. Deixa eu voltar aqui só para ver se tem alguma coisa. O que tem ali? Cara, a câmera não é ideal porque não dá para ver o cômodo inteiro, né? Tipo, por exemplo, eu vim daqui, vim do outro lado, vim daqui. Então deve ter uma porta aqui. Mas, mas onde está? Não consigo, não consigo. Não consigo enxergar. Como volto? Estou na biblioteca, né? Ah, estou só… Ah, viu? Cheguei

15:25 aqui, voltei. Será que tem uma porta por este lado? Vou usar a faquinha, né? Porque não sou bobo. Acho que ali tem uma porta, né? Deixa eu voltar aqui. Ah, fiquei preso em algum lugar aqui. Estou preso. Uau, eu estava passando pelos fundos ali. Beleza, vou, vou, vou descer aqui porque agora, agora com a faca eu tenho isso. Ah, toma essa, toma essa, toma essa, toma essa, toma essa, toma essa, toma essa. Ah, agora sim. Com a faca. O que aconteceu aqui? Não tem nada aqui. É só uma parede, né? Ah, tem uma ali. Mudou, a câmera mudou, viu?

15:58 A câmera mudou. Então, na verdade, vim lá de baixo e agora estou indo para cima. Está trancada. Preciso da chave do laboratório. Onde está essa chave, cara? Essa transição não é muito boa, tá? Mas é só um detalhe, um detalhe pequeno. Será que tem uma por este lado? Vamos ver se tem alguma porta deste lado. Ah, tinha uma porta por este lado, hein? Toma essa, toma essa, toma essa. Vou usar só a faca, só a faca, só… Ah, não, o cachorro não. Esse cachorro é forte demais. Peguei

16:32 o bilhete. Este bilhete é real. Vamos, vamos ler o bilhete. Ler. Anotado às pressas. A combinação do cofre é a data em que o mordomo desapareceu. 473. 473 é a data. Que tipo de data é essa, hein? Não, não tem porta por este lado. Tem. Não entrei por nenhuma porta ali, não. Vou voltar. Só que a porta está trancada. Não peguei nenhuma chave. Peguei um bilhete. Será que peguei

17:03 uma chave? Não, não tenho chave. Tenho um bilhete. Vou voltar aqui. Cadê? Não tem, não tem nada aqui. Tem uma porta aqui. Não é. Vou voltar para lá. Vou tentar ir de novo até a porta do laboratório, porque agora tenho o bilhete. Ah, agora mudou. Dá para perceber pelo baú que está aqui, né? Mudou de lado. Isso quer dizer que fui para o lugar certo. Ah, está trancada. Preciso da chave do laboratório. Cara, mas eu tenho um bilhete, cara. Ah, espera um segundo, espera. Tinha um baú

17:36 Ali, não tinha um baú naquela primeira sala? Aquilo é um baú ou não? Vou tentar interagir com este baú aqui. Não é, não é um baú. Qual é a combinação do cofre? Você viu algum cofre por aqui? Que diabos é um cofre? Tem um cofre. Estou vendo um cofre. Será que tem um cofre escondido aqui? Não, mas alguma coisa teria aparecido ali, né? Tipo: “insira a combinação”. Sei lá.

18:08 Era para ter aparecido. Ah, eles realmente colocaram o cofre. Não acredito. 4 7 3. Ah, o cofre abriu. Achei a chave. Agora vamos lá. Vamos nessa. Estou com a chave. A chave está bem ali. A chave está bem ali. Estou usando a faca. Vou ficar com a faca porque ela me deu sorte. É difícil mirar com a pistola. Onde está? Não consigo nem acertar a porta. Onde

18:38 fica a porta? Aqui. Pronto, acertei. Ah, agora começou. Uau! Ah, cara, fui atingido. Droga, me distraí. Me distraí porque o pessoal da Amazon chegou, ouvi um barulho lá fora e estava jogando Resident Evil. Você ouve um barulho lá fora, como se sente? Com medo. Aí me distraí e fui atingido. Vou

19:08 jogar de novo. Não agora, não em um vídeo, mas mais tarde vou jogar este jogo de novo. Gostei muito. O melhor Resident Evil que trouxemos aqui até agora. De longe, de longe. O melhor Resident Evil. Incrível. Agora só falta Crash para encerrar. Cara, Crash é difícil. Não acho que Haiko vá se sair bem em Crash. Não tem como. Só testei este prompt uma vez com um passo, e ele criou quase um endless runner, sabe? Tipo aquele jogo em que você fica avançando; nem precisa se mover para a frente nem nada. E, pelo que parece, vai ser

19:39 a mesma coisa, certo? Então, olha, onde está meu joystick? Está funcionando. Uau, é muito parecido com o resultado que tivemos em Later. Vocês comentam que eu jogo mal, e eu nem tenho o que dizer, estou sem palavras. Tenho que concordar com vocês. Mas agora vai dar certo, agora vai dar certo. Vou dar tudo de mim aqui, olha. Ele pula duas vezes. Não, ele gira. Ah, ele gira. Onde fica? O que

20:17 eu tinha que passar ali? Posso pular em cima daquilo? Acho que não. Já não lembro mais como se joga Crash. Tenho que passar. Beleza, cara. Mas aquela, aquela, aquela tartaruga ali não era para mim. Eu não devia passar pela caixa, né? Sem parar, sem sofrer dano. Uau. Desculpa, desculpa, desculpa, desculpa, desculpa. Agora vai. Ih, tem alguma coisa vindo

20:50 atrás de mim. O que está acontecendo? Uau, eu sou, eu sou particularmente ruim neste jogo, hein? O que acontece se eu pular nesta aqui? Eu não, não sei o que aconteceu. Tenho que girar em cima da tartaruga. Ainda não tinha percebido isso. Ah, isso, isso. Então era isso, olha. Tem que girar em cima dela, está vendo? Aí está a

21:22 linha de chegada lá na frente, hein. Toma essa. Ah, não. Quase fui atingido, cara. Aqui, por pouco, por pouco. Não acredito. Agora é para valer. Ah, se eu seguro para a frente, ganho um impulso aqui. Ih, ih. Agora eu, agora peguei o jeito. Agora, agora eu sei. Agora, agora, agora deu certo. Agora está tudo bem. Tranquilo.

21:54 Agora está sob controle. Está vendo? Está vendo que tem alguma coisa vindo atrás de mim? Não sei o que é aquilo, cara. Cara, isso está ficando difícil aqui, hein? Nem consegui falar ali para me manter concentrado, porque não quero… Eu

22:24 não queria perder tão perto do fim, né? Mas isso é incrível. Acho que Step se saiu tão bem quanto Haiku. Nesta fase, eu diria que foi melhor, porque havia outras fases. O pulo funcionou melhor, o pulo em cima da caixa funcionou melhor. Então acho que, neste caso, Step venceu. Mas Haiku se saiu muito bem. Em todo o resto, Haiku venceu. Vou dizer uma coisa: sinceramente, não esperava por isso. Este é um modelo de 50 centavos, 1 milhão de tokens de entrada, 2,50 por 1 milhão de tokens de saída.

22:56 Obviamente, o que estamos fazendo aqui é só um jogo, mas quero testar mais este modelo no mundo real, criando aplicações de verdade. E sugiro que, se você já tem uma conta na Anthropic, experimente também, né? Às vezes ficamos presos aos melhores modelos do mundo — bom, nós não, né? Muita gente fica. Eu tento fugir disso, mas as pessoas ficam presas ao Opus, ao Astra, achando que só esses funcionam, que só esses dão conta. E às vezes encontramos um modelo muito mais barato que também funciona muito bem. Talvez não seja a melhor opção para todas as tarefas, obviamente, mas talvez para deixar rodando.

23:28 dentro de um agent ou algo parecido, ou para fazer alguma coisa que você vai deixar rodando a noite toda, e que pode continuar revisando a si mesma. Talvez até algo planejado pelo Opus, quem sabe? Acho que há algumas possibilidades de uso interessantes para este modelo. Você também acha ou não? Acha que este modelo não presta? Deixe sua opinião aqui nos comentários. Se quiser ver o vídeo sobre Step 5 Preview, que também achei que foi muito bem, dê uma olhada neste link. Aliás, Step 5 Preview será open source no dia 15, daqui a pouco. Isso significa que provavelmente haverá outros provedores oferecendo o modelo por um preço ainda

24:00 mais barato. Mas, se você estiver usando por meio de outro provedor, fique de olho na quantização, porque às vezes você paga menos, mas também recebe um modelo pior, que se perde e demora mais para chegar a uma resposta. Aí não vale a pena: no fim das contas, você perde tempo e dinheiro. Falando em modelos locais open source, se quiser ver um vídeo da minha nova configuração, estou montando um computador aqui com duas ARC B70s, totalizando 64 GB de VRAM. Em breve, ele terá um pouco mais de memória do que tem agora. No momento, tem 32, mas vamos aumentar isso aqui. Já fiz um vídeo com minhas primeiras impressões. Dê uma olhada aqui se quiser assistir, e vou gravar

24:32 outro em breve, rodando alguns modelos muito legais nele. E, se você quiser se libertar das amarras dos modelos grandes, não ficar refém do Opus, nem do Astra ou do GPT-4, confira meu curso. Lá, você vai aprender muitas coisas dos bastidores: como o modelo funciona, como o agent funciona, e todo esse tipo de conhecimento vai ser útil quando você estiver criando software de verdade, porque poderá controlar melhor seu harness e seu modelo. A consequência disso é que você pode usar modelos muito mais baratos e tirar o máximo proveito deles. Eu diria que, para

25:06 a grande maioria dos projetos, você não precisa de um GPT-4, de um GPT-Astra ou de um Opus 5. São modelos muito caros. Se usar as técnicas certas, você pode alcançar os mesmos resultados até com modelos bem mais baratos. É o caso do Rico, por exemplo: um bom modelo, mas, para usá-lo no mundo real, você precisa saber o que está fazendo. E esse é o objetivo do nosso curso. Dê uma olhada. Vou encerrar por aqui. Até o próximo vídeo.

Transcrição original

[00:01] Oh, man, he’s a wizard. This week, Anthropic released the new version of their cheapest model, okay? Haiku 3.5. And in the AI landscape, where we see models getting bigger and consequently more expensive, having cheap models that can get the job done is very important. And that’s what we want to see here today. We want to see if Haiku can make little games. Let’s head to the screen. Claude Haiku 3.5. Let’s take a look at their release page, see a bit of the benchmarks, see what they

[00:34] claim this model is capable of, and then we’ll see it in practice with our little games to know if it’s a good alternative to the Chinese models. We saw Step 2, for example, which performed very well in our tests. So, let’s see if Haiku gets close to that. Normally here on the channel, when I talk about a model, we always end up looking at it from a programming perspective, right, for programmers. But many people use models not for that , right, but for work, to work with spreadsheets, texts, managing ads, for example. So, various things that aren’t necessarily code. And here we see a big

[01:04] gain for Haiku 3.5. So, in work knowledge there, right, it basically more than doubled compared to Haiku 3.0 . From 3.0 to 3.5, we went from 735 in this benchmark to 1620. This puts Haiku 3.5. Ahead of GPT-4o mini. By the way, if you want to see a video pitting them against each other, leave a comment below and maybe I’ll bring it here. One cool thing Anthropic did was to use Sonnet as a base here, right? Sonnet is a respectable model, it’s not Opus,

[01:36] right? Right? Opus is their best model and perhaps the best model in the world , but Sonnet is very respectable, except Haiku is much cheaper, and that’s the point here. So 1620 here against 1840 for Sonnet is a chance for many people to actually use Haiku in place of Sonnet, at least for some tasks. Now, what we want to know is this part here, right, which is code. In code, Sonnet stays ahead, stays well ahead here, especially in the terminal benchmark, which will also look at tool calls and so on. But compared to GPT-4o

[02:09] mini, Haiku 3.5. Here in Agentic Coding , we have 46.4 against 42.2 for GPT-4o mini and 52 in the high end, right, for Sonnet 3.5. Look, this is where things get interesting, okay? We’re talking about the pricing for a model like this . And price is important, especially if you’re using it via API. And this is where this model really stands out. So, if we look here, let’s start with input and output. So, for input tokens, we can see there are two numbers here. Let me explain what that is. If you’re making a prompt that’s under 100,000

[02:42] tokens, in that case, the input will cost 10 cents. If it’s over 100,000 tokens, then the input will cost 50 cents. Now, the output follows the same rule. Below 100,000 tokens. Output at 50 cents; above 100,000 tokens, 50. This is incredible. Do you know which scenario this is incredible for? Imagine you have an application, and in your application, you have a model to provide user support for something. It could be, for example, a prompt enhancer or something like that. By the way, even better. Let me show you an

[03:12] example. Let me show you this application I built here. This is an internal application I use mostly when I’m planning a class, but sometimes when I’m making a video or want to get something from a specific video. It’s basically a RAG for videos. So I choose a folder, I transcribe it, I index it, and then I can search for anything. By the way, I’m preparing some of the projects we’ll have in the course, and we’ll probably have something very similar to this. So if you’re not yet a student in our course for devs, take a look at the link below that will appear here or at the QR code that should be

[03:45] appearing now so you can sign up and learn a little more about how to develop with AI. So here, I can go to “ search for answers with AI” and I can ask any question about my collection, right, about all the videos I’ve made here. So, for example: how much memory does the Arc B70 have? If I click here on “ask,” it gave me the answer right here. The ARC, it gave it with a K… script gets it with a K, but the Arc B70 has 32 GB of memory. Perfect. Exactly that. What’s happening here? We’re using a RAG, so it’s basically a

[04:17] vector search that’s running, and we bring in some clips from the videos that were found and pass them to an LLM model. Based on these excerpts, the LLM model brings us the information we want . In this case here, I’m using a local model, Apple’s own model, but we can see the response is quite simplified and sometimes not the best result. Another thing is that here I ask a question, the model answers me, but let’s say later I wanted to talk a bit more about that answer, wanted to delve deeper. In that case, a more

[04:48] intelligent model would make a big difference. Here the local model actually does okay because it gave us the answer. In fact, if I click here, for example, here I have two cards that have 32 GB, I can access the video exactly, okay? Since I have the video title, I can access the exact video and the exact moment I talk about how much memory the ARC B70 has. Here is another video where I probably talk about it too, look. So here was the excerpt it highlighted, look. And if I go down here to the Arc B70, for example, which

[05:19] has 32 GB, Arc B, >> it was exactly from here that it pulled it. This is just a small example of where we can have an LLM running inside an application and in this case it will consume much less than 100,000 tokens, okay? Both for input and output, because it’s something simple. Of course, if this conversation stretches on a lot, you might go over 100,000 tokens, but I don’t think so, because 100,000 tokens is a very generous volume. A short while ago, models had a capacity just a little more than that. Only open models still have 260,000 tokens as standard there. So 100,000 tokens is a lot. And in this case here

[05:52] you pay 10 cents for input, 50 cents for output, which is very interesting. To give us an idea, the step we saw here, the step 5 preview, which is a relatively cheap model as well, it costs a dollar per 1 million input tokens, 2.70 per 1 million output tokens. So, even if we are over 100,000 tokens, Haiku ends up being cheaper than that. Do we now have a cheap and good American model? How do we check that? With a little game and I separated four here. They are the same four we saw in the Step C preview. So

[06:23] here I have Doom, Mario Kart, Crash, and Resident Evil. Resident Evil Step 5 did really well. I liked it. There was a small glitch there where the player was always shooting upwards, but other than that, the game turned out pretty cool. Let’s see Haiko’s result here. Let’s start with classic Doom. But before we see how the game turned out, let’s take a look at how much we spent. And look at that, to make all four games, we didn’t even spend 10%of our 5 -hour quota. So this really is a cheap model. Now let’s see if it worked, right? We have our Doom Tree here, right? Because I asked it to be made

[06:56] with 3JS. So, first-person shooter, and does our joystick work or not? Let’s see here, look. Yeah, our joystick is working, yes. Switching weapons here, look. Where is it? Which one shoots? Yeah, no, it’s not shooting. It just needs to shoot. Ah, oh, okay, I found it. Found it. Well, here, look. Awesome . But I’ll go with the mouse. Ah, where did he come from? The door opened by itself. Man, cool little music, huh?

[07:28] But the enemies, they come straight at me. The door is opening by itself, man. Didn’t expect that, huh. I thought I would have to open the door there, look . Man, good result so far, man. It’s dark in here, huh? Good result. Ah, look how cool that is, right? Here we have a light point, see? So, we can see everything. Now here we don’t have any light point. And look how dark it is, right? So, okay, that makes sense.

[08:01] Let’s go. Let’s go. Look, I don’t need to press anything. Awesome shotgun. I don’t need to press anything to go through the doors. That’s why the enemies are managing to get through too , right? Man, it’s pitch black here, huh? Could have had a flashlight at least, huh? Look, here, here I needed to press it because the door was locked and I had to use the key, which makes sense. Man, these these critters here are look, it’s very dark here, right?

[08:40] Very dark. But I cleared the level here , look. Level two. The music changed. Let me put on some headphones so there’s no echo. Ah, damn, it’s a wizard. Ooh, so cool, the wizard, man. Hey, look at the wizard there. Take that, wizard. Where is it? Is there a

[09:16] machine gun yet? There isn’t. Hey, that’s not in this game either. No machine gun. I’m screwed on this one. Take that, take that, take that. Ah, I’ll grab that one there. Rocket launcher. Whoa. Take that, take that. Man, even with a rocket launcher this thing is tough, huh? That’s awesome. Oh , let me grab another rocket here.

[09:52] Where is it? Everything’s gone here. Yeah, I think that’s everything, huh? That’s awesome. Let’s go over there. Victory. Final arena cleared. We beat it. Level one again. Really awesome. I thought it was good. Excellent result. Very good, man. What did you think? Leave it down here in the comments what you thought about Doom. Let’s go to the next one here. The next one will be this one. Crazy Mario Kart. Uh, damn, huh? The little clouds here. The little clouds. This here looks like a

[10:24] croissant. Cool. That’s awesome. Now I’ll, now I’ll use the joystick. Hold on. Now, now it works. Oh, gamepad activated. Let’s go. Where is it? Uh. Ah, it’s reversed. It’s reversed, huh? It’s reversed, huh? It’s reversed. Reversed. I said reversed 10 times, right, so you’d understand it’s reversed. The other day someone said: “ Man, you play really bad.” I don’t know if they were talking about Mario Kart, because it could probably be the other game too, because I play all games

[10:57] badly, but eh, playing with inverted controls is kind of hard indeed. Where is it? Which one shoots here? Take that . Ah! Oh, damn! Fell for the banana, geez. Now it’s on. Take that. Man, the controls feel nice, man. The car, look,

[11:30] if I don’t steer, it doesn’t follow the line, right? The other day I said, I said that a trash model made a kart that followed a straight line. Man, the guys were arguing with me that it’s correct, unbelievable. Yeah, so this one didn’t commit, damn, two at once. This one didn’t commit that sin. That is a sin. The kart following by itself.

[12:03] Sin. Reached the end. I won. That’s awesome. I won. I won. I won. I won. What is this? In first place by accident. Good, good result. I’d say better than the previous one, I wasn’t expecting that. I expected to make this video here saying: “Yeah, this model is good, but the previous one, in this case here, this model is good.” It’s good. Let’s go to the next one to see, for it, Resident Evil. Resident Evil has always surprised me, good things

[12:36] always come when we test Resident Evil here. Uh, silent mansion. It’s our PS1-style Resident Evil. This is important, okay? There’s even a difficulty setting here. Obviously I’ll leave it on easy difficulty because. Not hard, hard will break me, man. Easy , not easy. Let’s go with normal. Let’s go with normal. Sound on. OK. Wait, where’s my joystick? It works, oh. It worked, man. This is so PS1, that thing right there, you know? That one, damn.

[13:11] Where is it? Where is it? Where is it? Where is it? Where is it? Uh, uh. What happened here? I’m here, look. Ah, I shoot here. Ah, what is this, man? Little pistol. Knife. Where is it? Where is it? How do I change it there? Equip. No, wait a minute. It’s not. Oh, what’s going on here? Ah, ah, okay, okay. No, wait a minute, then. Knife. Equip. I equipped the knife. Man, this interface is really cool, look. I have

[13:43] the knife here. Can’t see it, right? Whoa, hold on. You can’t see the the the knife movement, but you can hear it . I’m hearing it. I don’t know if you’re hearing it, but I am. Damn, I’ll I’ll go with the pistol, because the knife won’t work. All right. Look at the pistol. You can see the shot there. Ok. Now I’m going to go down here because I already know there’s a door here and I’m going to be screwed. Get out, get out, get out, get out. Where is it? Whoa, he kicked, man. I think the knife was better, huh. Wait, wait.

[14:18] Let, let me put the knife here. Tu my God. Ow, ow, ow. The silence is heavy. Find the master key. Let me see if there’s a door over here that isn’t visible, but we’ll see. There is. Uh, I got stuck somewhere here. I can’t get back. Oh, ended up at some door, see? Geez, it’s so hard to hit this guy. This isn’t right. There’s something wrong here. Equipped the knife. Take

[14:50] that stab. Take it. And man, yeah, I’ll go with the little knife, man. Let me go back here just to see if there’s anything. What’s over here? Man, the camera isn’t ideal because you can’t see the whole room, right? Like, for example, I came from here, I came from the other side, I came from here. So, there must be a door here. But but where is it? I can’t I can’t do it. I can’t see. How do I go back? I’m in the library, huh. Oh, I’m just Oh, see? Got

[15:25] here, went back. I wonder if there’s a door this way? I’ll go with the little knife, right? ’Cause I’m no fool. I think that’s a door there, right? Let me go back here. Uh oh, I got stuck somewhere here. I’m stuck. Whoa, I was passing through the back there. Okay, I’ll I’ll I’ll go back down here because now, now with the knife I’ve got this. Oh, take that, take that, take that, take that, take that, take that, take that. Ah, now that’s it. With the knife. What what happened here ? There’s nothing here. This is just a wall, right? Oh, there’s one over there . It changed, the camera changed, see?

[15:58] The camera changed. So I actually came from down here, and now I’m heading up. It’s locked. I need the lab key. Where is this key, man? This this transition isn’t great, okay? But just a small thing, a small thing. I wonder if there’s one this way? Let’s see if there’s any door this way. Oh, there was a door this way, huh. Take that, take that, take that. I’ll just use the knife, just the knife, just. Oh no, not the dog. That dog is way too tough. Got

[16:32] the note. This note is real. Let’s let’s look at the note. Read. Jotted down in haste. The safe combination is the date the butler disappeared. 473. 473 is the date. What kind of date is this, huh? No, there’s no door this way . There is. I didn’t enter any door there, no. I’ll go back. Except the door is locked. I didn’t pick up any key. I picked up a note. Did I pick up

[17:03] a key? No, I don’t have a key. I have a note. I’ll go back here. Where is it? There’s not there’s nothing here. There’s a door here. It’s not. I’ll go back there. I’ll try to go to the lab door again, because now I have the note . Ah, now it changed. I can tell by the chest that’s here, right? It changed sides. That means I went to the right place. Oh, it’s locked. I need the lab key. Man, but I have a note, man. Oh, wait a second, wait. There was a chest

[17:36] there, wasn’t that a chest in that first room? Is that a chest or is it not? Gonna try to interact with this chest here. It’s not, it’s not a chest. The combination for what is the safe combination. Did you see any safe here? What the heck is a safe? There’s a safe . I’m seeing a safe. Could there be a safe hidden here? No, but something would have popped up there, right? Like , enter the combination, I don’t know.

[18:08] It should have appeared. Oh, they actually put the safe in. I can’t believe it. 4 7 3 Oh, the safe opened. I found the key. Now let’s go. Let’s do it. I’ve got the key. Key is right there. The key is right there. I’m using the knife. I’ll go with the knife because the knife has brought me luck. The pistol is hard to aim with. Where is it? I can’t even hit the door. Where

[18:38] is the door? Here. There, I hit it. Oh, now it’s happening. Whoa! Oh, man, I got hit. Damn, I got distracted. I got distracted because the Amazon guys got here, I heard a noise outside, I was playing Resident Evil. You hear a noise outside, how do you feel? Scared. So I got distracted, and I got hit. I’ll

[19:08] play it again. Not now, not in a video, but later I’ll play this game again. I liked it a lot. Best Resident Evil we’ve brought here so far, up to now. By far, by far. Best Resident Evil. Awesome. Now we’re left with our Crash for the end. Man, Crash is tough. I don’t think Haiko will do well in Crash . There’s no way. I only tried this prompt once with a step and it made almost an endless runner, you know? Like that game, you keep going forward, you don’t even need to move forward or anything. And by the looks of it, it’s

[19:39] gonna be the same thing, okay? So, look , where’s my joystick? It’s working. Wow, it’s a lot like the result we had in Later you guys comment that I play badly and I don’t even have anything to say, I’m speechless. I have to agree with you guys. But now it’ll work, now it’ll work. Now I’m gonna give it my all here, look. He jumps twice. No, he spins. Oh, he spins. Where is it? What

[20:17] did I have to pass there? Can I jump on top of that? I don’t think so. I don’t remember how to play Crash anymore. Gotta get through. Okay, man. But that, that, that turtle there, that wasn’t for me. I wasn’t supposed to pass through the crate, right? Without stopping, no damage. Whoa. Sorry, sorry , sorry, sorry, sorry. Now it’s happening. Uh oh, something is coming

[20:50] behind me. What is going on? Wow, I am, I am particularly bad at this game, huh . What happens if I jump on this one? I don’t, I don’t know what happened. I have to spin into the turtle. I hadn’t figured that out yet. Ah, there we go, there we go. So that was it, look. You have to spin on it, see. There’s the

[21:22] finish line up ahead, huh. Take that. Oh, no. Almost got hit, man. Here, so close, so close. I can’t believe it. Now it’s go time. Ah, if I hold forward , I get a boost here. Uh, uh. Now I, now I’ve got the hang of it. Now, now I know. Now, now, now it worked. Now everything is all right. It’s chill.

[21:54] It’s under control now. See? See there’s something coming behind me? I don’t know what that is, man. Man, this stuff is getting hard here, huh? I couldn’t even talk there to stay focused, because I don’t want to I

[22:24] didn’t want to lose here so close, right? But that’s awesome. I think Step did as well as Haiku. On this one, I’d say it was better, because there were other levels. The jump worked better, the jump on the crate worked better. So I think in this case here, it’s a win for Step. But Haiku did really well. In everything else, Haiku won. I’ll tell you, I wasn’t expecting this, honestly. This is a 50-cent model, 1 million input tokens, 2.50 per 1 million output

[22:56] tokens. Obviously, what we’re doing here is just a game, but I want to test this model more in the real world, building real applications. And I suggest that if you already have an Anthropic account, give it a try too, right? Sometimes we get stuck on the best models in the world, well, not us, right? A lot of people do, I try to break away from that, but they get stuck on Opus, on Astra, thinking only those work, only those will do. And sometimes we see a much cheaper model that also works really well. It might not be the best option for every task, obviously, but perhaps for running.

[23:28] within an agent or something similar, or to do something you’ll leave running all night and it can keep revising itself. Maybe even something planned by Opus, who knows? I think there are some interesting use possibilities for this model here. Do you think so too, or not ? Do you think this model is no good? Leave it down here in the comments. If you want to see the video about Step 5 Preview, which I thought went very well too, take a look at this link here. In fact, the Step 5 Preview will be open source on the 15th, just around the corner. This means there will likely be other providers offering it at an even

[24:00] cheaper price. But if you’re using it from another provider, keep an eye on the quantization, because sometimes you’re paying less, but you’re also getting a worse model that gets lost and takes longer to reach an answer, so it’s not worth it; you lose time and money at the end of the day. Speaking of open source local models, if you want to see a video of my new setup, I’m building a computer here with two ARC B70s, a total of 64 GB of VRAM. Soon it will have a bit more memory than it does now. Right now it has 32, but we’re going to increase that here. I’ve already made a video about my first impressions. Take a look here if you want to watch it, and I’ll record

[24:32] another one soon running some really cool models on it. And if you want to break free from the shackles of big models, not be held hostage by Opus, not be held hostage by Astra, or GPT-4, check out my course. there. You’ll learn a lot of things behind the scenes , how the model works, how the agent works, and all that kind of knowledge will be useful when you’re actually creating software, because you’ll be able to better control your harness and better control your model. The consequence of this is that you can use much cheaper models and get the most out of them. I would say that for the

[25:06] vast majority of projects, you don’t need a GPT-4, a GPT-Astra, or an Opus 5 . Which are very expensive models. If you use the right techniques, you can achieve your results even with much cheaper models. That’s the case with Rico, for example, a good model, but to use it in the real world, you’ll need to know what you’re doing. And that is the goal of our course. Take a look at it. I’ll end it here, see you in the next video.