Um Mac Mini consegue rodar IA local? (chocante)

Ver no idioma original →

Autoria: Alex Finn · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Can a Mac Mini run local AI? (shocking) · Canal: Alex Finn · 16:34 · Assistir no YouTube

Tópicos: Agentes de IA, Engenharia de software com IA, Infraestrutura e hardware de IA, Modelos locais e open source, Privacidade e proteção de dados

Resumo

Alex Finn demonstra como instalar o Hermes Desktop em um Mac Mini M6 com 32 GB de RAM e usar o agente com um modelo local. Ele testa a velocidade do modelo e mostra que ele consegue criar um jogo da cobrinha e um jogo de tiro 3D em HTML. O vídeo destaca vantagens como privacidade, controle e uso da memória unificada, mas reconhece que o desempenho ainda não se compara ao de modelos de ponta na nuvem. Ao final, o apresentador defende a IA local como uma opção divertida e educativa, além de potencialmente econômica.

Pontos-chave

• O Hermes Desktop permite instalar e usar modelos locais sem exigir conhecimentos técnicos, segundo a demonstração.
• O computador usado é um Mac Mini M6 com 32 GB de RAM.
• O modelo local apresentado é identificado na transcrição como “Quen 3635B”; o download ocupa cerca de 21 GB.
• O apresentador atribui aos dispositivos Apple a vantagem de usar a memória unificada para carregar modelos maiores.
• O modelo responde a perguntas e gera jogos em HTML, incluindo um jogo da cobrinha e um jogo de tiro 3D.
• A IA local pode oferecer mais privacidade, pois os dados permanecem no computador e o modelo pode funcionar sem internet.
• O apresentador ressalta que o modelo local não equivale aos modelos de ponta disponíveis na nuvem.
• Entre os benefícios apontados estão o possível custo menor a longo prazo, o aprendizado prático e a diversão.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação do teste	Alex Finn apresenta o Mac Mini M6 e propõe testar os limites da execução de IA local.
02:38	Instalação do modelo local	O apresentador configura o Hermes Desktop e inicia o download de um modelo local adequado ao computador.
04:13	Vantagens dos computadores Apple	O vídeo explica a memória unificada, a integração com o uso diário e as diferenças de desempenho em relação a computadores com GPU Nvidia.
06:46	Primeiros testes com o modelo	O modelo local responde a perguntas e demonstra velocidade e capacidade de manter informações sobre o usuário.
09:19	Criação de jogos em HTML	O modelo gera um jogo da cobrinha e um jogo de tiro 3D em arquivos HTML, executados no navegador.
12:56	Conclusões sobre IA local	Alex resume os testes e aponta privacidade, controle e economia potencial como motivos para usar modelos locais.
15:00	Aprendizado e diversão	O apresentador defende que experimentar IA local pode ser divertido e uma forma prática de aprender sobre IA.

Citações

Você pode usar toda a memória do seu dispositivo Apple para IA. — 04:13

Nada vai para a internet, nada vai para a nuvem; tudo acontece localmente. — 10:20

Você consegue rodar IA local em um Mac Mini? Sim, eu acho que consegue. — 12:56

Você pode fazer isso só pela diversão. — 15:00

Conceitos e entidades

• Hermes Desktop (ferramenta): Aplicativo usado na demonstração para configurar e executar modelos de IA locais.
• Hermes Agent (ferramenta): Agente de IA open source apresentado como assistente capaz de trabalhar com modelos locais ou na nuvem.
• Qwen 3 35B (modelo): Modelo local que a transcrição identifica como a opção escolhida para o Mac Mini, embora o nome esteja pouco claro no áudio.
• Mac Mini M6 (ferramenta): Computador usado na demonstração, equipado com 32 GB de RAM.
• Alex Finn (pessoa): Criador de conteúdo e apresentador do vídeo.
• Apple (empresa): Empresa cujos computadores são apresentados como opção para executar modelos de IA localmente.
• memória unificada (conceito): Memória dos dispositivos Apple que, segundo o vídeo, pode ser usada tanto para processamento gráfico quanto para carregar modelos locais.
• IA local (conceito): Execução de modelos de IA no próprio computador, com dados que podem permanecer no dispositivo.

Tradução completa (pt-BR)

00:00 Em janeiro, eu disse ao mundo que o Mac Mini seria o rei da IA local. Também disse que a Apple venceria a corrida da IA local. As pessoas me chamaram de louco. Acabaram comigo nas redes sociais por dizer isso. Pois bem, acabei de receber o novíssimo Mac Mini M6, e vamos provar que todos estavam errados. Vou tentar levar essa máquina ao limite absoluto. Vou mostrar a maneira mais fácil possível de instalar modelos de IA local em um Mac Mini.

00:32 Não precisa de nenhuma habilidade técnica. Depois, vamos ver que tipo de carga de trabalho essa máquina consegue aguentar. Dá para cancelar suas assinaturas de serviços na nuvem? Dá para cancelar o ChatGPT e usar só um Mac Mini? Vamos descobrir. Ou será que vou acabar com a cara no chão porque essa máquina não vai dar conta de nada? Vamos colocá-la à prova. Vou ligar essa belezinha e vamos ver o que dá para fazer com IA local em um Mac Mini M6. Este vídeo vai surpreender você. Vamos nos concentrar e começar. Certo, acabei de ligar o Mac Mini. Aqui você pode

01:03 ver as especificações. É um M6 com 32 GB de RAM. Vamos começar. Primeiro, deixa eu mostrar como vamos instalar modelos locais. Esta é, de longe, a maneira mais fácil de fazer isso. Vamos instalar o Hermes Desktop. Para quem não sabe, o Hermes Agent é um agent open source fantástico, que roda no seu computador, é seu assistente pessoal, seu funcionário pessoal de IA, e pode ser usado com qualquer modelo, tanto na nuvem quanto localmente. Então, vou baixá-lo

01:33 agora. Se quiser acompanhar, faça junto comigo aqui. É totalmente grátis. Tudo o que vou mostrar é totalmente grátis. É fácil. Não precisa de nenhuma habilidade técnica. Vou mover o aplicativo Hermes para a pasta Aplicativos, porque é assim que se faz no Mac. Depois, vamos carregar o Hermes aqui e abri-lo. Certo, a instalação é superfácil. Ele vai baixar tudo e deixar tudo pronto. De novo, não precisa de conhecimento técnico. Depois, vou mostrar como vamos usar o Hermes para descobrir quais modelos de IA podemos executar localmente no nosso Mac Mini, instalá-los e começar a usá-los

02:04 Certo, estou instalando o Hermes Desktop, que vai ficar configurado. Para quem não sabe, o Hermes é um agente de IA local, open source e incrível, que facilita muito a instalação de qualquer modelo que você quiser. Ele até instala modelos locais para você. Encontra o melhor modelo local para você e o instala. É superfácil. Vamos deixar tudo pronto. Sem brincadeira: até iniciantes conseguem fazer isso. Mesmo que você nunca tenha instalado um modelo local, consegue fazer o que estou fazendo. Então, acompanhe comigo aqui. Também vou deixar um link para o Hermes Desktop. É totalmente grátis. Certo. Tudo instalado. Levou uns 45 segundos. Vamos iniciar. E pronto. Estamos no Hermes Agent. Agora, vamos instalar

02:38 um modelo local. Eles têm uma funcionalidade muito boa aqui. Não, ninguém está patrocinando este vídeo. Este vídeo não tem patrocínio. Estou contando tudo isso porque acho que esta é, de longe, a melhor opção. Vamos às configurações, no canto superior direito do Hermes Agent. Em seguida, vamos a Provedores e depois a Executar modelos localmente. O Hermes Agent vai decidir automaticamente qual é o melhor modelo para executar localmente no seu computador. Para mim, foi o Qwen 3 35B.

03:10 Então, se você é como eu e tem um Mac Mini com 32 GB de memória, não é pouca coisa. Também não é uma quantidade enorme. É uma quantidade razoável. Agora podemos executar o Qwen 3 35B. É um ótimo modelo. Muita gente o compara ao Opus 4.5, mais ou menos nessa faixa. Para quem não se lembra do Opus 4.5, quando foi lançado, era incrível. Foi de cair o queixo. Agora, está rodando localmente na sua mesa, em um Mac Mini. Então, vamos configurá-lo. Só preciso clicar em Configurar para mim. Pronto, pronto. Ele vai começar a baixar. São cerca de 21 GB. Então,

03:42 você precisa de 21 GB livres no disco rígido para baixá-lo. Não é muito. E, em quatro minutos, vamos ter um modelo no nível do Opus do ano passado rodando inteiramente em um Mac Mini. Não precisa de internet nem de assinatura de serviços na nuvem, e você não precisa pagar nada. Tudo vai rodar localmente. Mas será que vai ser bom? Estamos prestes a descobrir. Aliás, logo depois de instalarmos, vou falar sobre os pontos fortes e fracos dos modelos locais. Você deve estar pensando: por que diabos eu iria querer instalar um modelo local? Vamos falar disso daqui a pouco. Vou

04:13 falar de todas as vantagens, de por que você talvez queira fazer algo como o que estamos fazendo aqui. Por enquanto, vamos terminar de instalar e testar. E, enquanto o modelo carrega, deixa eu explicar rapidinho quais são as vantagens de usar IA local em um dispositivo Apple e por que estou otimista. Primeiro, você pode usar toda a memória do seu dispositivo Apple para IA. O que isso significa? Os dispositivos Apple têm o que se chama de memória unificada. Ou seja, a memória que você tem no computador. Este Mac Mini, por exemplo, tem 32 GB de memória, que podem ser usados para todo o

04:43 processamento gráfico também. Isso significa que os 32 GB podem ser usados para carregar modelos locais. É bastante, porque até os chips Nvidia de ponta — e não me entenda mal: os chips da Nvidia são incríveis, revolucionários e têm muitos pontos fortes. Tenho vários vídeos sobre os DGX Sparks e tudo mais. Recomendo que você confira também. Mas a vantagem dos chips Apple é que você pode carregar modelos maiores, porque pode usar toda a sua memória para esses modelos. Então, embora este seja um computador mais barato, que custa menos de mil dólares, podemos carregar modelos grandes

05:14 nele, porque toda a memória pode ser usada para modelos locais. Além disso, há várias vantagens de software. A experiência de uso é ótima. Acho que o macOS oferece uma ótima experiência de uso. Muita gente o usa como computador principal para trabalhar. Então, agora, além de usar para trabalhar, você também tem sua IA local rodando nele. Assim, se você trabalha com criação, pode gerar imagens no mesmo dispositivo que usa para trabalhar. Essas são as grandes vantagens de escolher um dispositivo Apple. E, de novo, os computadores Nvidia têm suas próprias

05:45 vantagens. Tenho uma 5090. Consigo executar modelos de IA local nela em velocidades absurdas, muito rápido mesmo. Os chips Apple vão ter um desempenho um pouco inferior. Embora o novo M5 Ultra — aliás, vou mostrar o M5 Ultra, o Mac Studio com 512 GB, daqui a algumas semanas. Agora, não deixe de se inscrever e ativar as notificações imediatamente, porque, quando esse vídeo sair, vai ser um estouro absoluto. Essa tecnologia vai mudar o mundo. Ative as notificações para não perder. Mas, por enquanto, a Apple ainda está

06:15 um pouco atrás em termos de velocidade. Daqui a pouco vamos ver o que o M5 Ultra traz. Essas são as vantagens de escolher um computador Apple. Outra vantagem que não está listada aqui é simplesmente o preço, né? Um Mac Mini. Dá para comprar um por uns 800 ou 900 dólares e executar um modelo local. É de cair o queixo. Certo, vamos voltar ao Hermes. Parece que terminou de carregar, porque estamos de volta à tela do Hermes. Vamos clicar aqui para escolher um modelo. Vou rolar para baixo. Qwen 3 35B Local. Vamos clicar nele. Certo, instalamos. O modelo está ali. Para quem está chegando agora ao

06:46 canal, este é o Hermes Agent. É seu próprio funcionário de IA. Você pode pedir qualquer coisa, fazer o que quiser. Ele tem controle sobre seu computador, pode construir coisas, conversar com você e responder a perguntas. Agora ele é baseado no nosso modelo local. Então, antes de mais nada, para responder à primeira pergunta: dá para carregar modelos locais em um Mac Mini? Bem, a resposta é sim. Agora temos o Quen 36 aqui. Mas vamos ver como ele se sai. Se for ruim, lento e não prestar, então vai ser meio inútil. Vamos ver se ele é bom. Ei, você está aí? Vou apertar Enter. Vamos ver o que acontece.

07:17 Vamos ver que desempenho ele tem. Então, para quem não sabe, aliás, na primeira vez que você envia um prompt para um modelo local, vai demorar um pouco mais. Ele precisa ser carregado na memória. Então, como você acabou de ver, ele foi carregado na memória; daqui para a frente, vai ser bem mais rápido. Aliás, se você está acompanhando e esta é a primeira vez que carrega modelos locais, você acabou de fazer isso. Parabéns. Dê um tapinha nas próprias costas. Você deve se sentir bem com isso. Você acabou de carregar a tecnologia mais importante da história da nossa espécie

07:48 no seu próprio computador, e agora ela está funcionando na sua mesa. Isso é incrível. Oi, estou aqui. O que posso fazer por você? Como esta é nossa primeira conversa, por que não montamos um perfil rápido para eu poder ser mais útil? Eu sou Alex Finn. Sou criador de conteúdo e empreendedor. Crio conteúdo sobre IA. Diga oi para o meu público. E, daqui a um segundo, vamos fazer uma espécie de teste de desempenho. Vamos ver a rapidez. Mas olha, olha só isso. Dá para ver como ele está pensando. Então,

08:19 Estou vendo todo esse raciocínio aqui. Deixe-me salvar isso na memória. É bem rápido. Vou ser sincero. Estou fazendo isso ao vivo com vocês. Não fiz nenhum tipo de teste prévio nem nada. Literalmente, esta é a primeira vez que faço isso com este Mac Mini. Oi, Alex, aqui está uma mensagem que você pode compartilhar. Oi, pessoal, eu sou Alex Finn. Bem, sou Alex Finn, um criador de conteúdo que está mergulhando fundo no mundo da IA. Fiquem ligados. Sinta-se à vontade para publicar isso no Twitter como quiser. Onde você costuma publicar seu conteúdo? YouTube, X, em todos esses lugares. Eu não editei isso. O que vocês acabaram de ver aconteceu totalmente em tempo real. Ele está respondendo

08:49 muito, muito rápido. Quer dizer, parece tão rápido quanto uma IA na nuvem. Ele está criando memórias para si mesmo. Ou seja, está se lembrando das coisas. Isso é uma inteligência muito boa. O que estamos vendo aqui, há um ou dois anos, teria sido uma tecnologia de ponta de cair o queixo. Agora estou rodando isso localmente em um Mac Mini. Este aqui, no qual estamos fazendo a demonstração agora, está na minha mesa. Aliás, tenho uns 20 Mac minis. Sou obcecado por Mac Mini. Enfim, vamos fazer isto. Vamos testar. Vamos ver como ele se sai. Testamos a velocidade. Confirmamos que a velocidade é muito boa mesmo. Agora, vamos fazer isto.

09:19 E posso até mostrar os horários aqui. Está vendo? Enviamos o prompt às 12:34. Recebemos a resposta às 12:34. Então, ele está respondendo em menos de um minuto. Menos de um minuto. Estamos recebendo respostas aqui. Certo, vamos fazer… vamos pedir para ele construir algo interessante. Você pode criar um jogo da cobrinha em um único arquivo HTML? Certo, vamos ver com que rapidez ele consegue criar aplicativos. Dá para usar isso para criar aplicativos? Vamos começar com algo pequeno, como criar um jogo da cobrinha, e depois passamos para algo um pouco mais avançado, talvez um jogo de tiro em primeira pessoa 3D

09:50 Então, lá vamos nós. O usuário quer um jogo da cobrinha em um único arquivo HTML. Vou criar uma versão completa e bem-acabada. Adoro poder ver o raciocínio. Essa é outra vantagem dos LLMs locais. E, de novo, vantagens dos LLMs locais, certo? Depois de fazermos esses testes e tudo mais, vou explicar isso para vocês. Vou ensinar vocês. Vou deixar seu cérebro maior. Vamos aumentar sua medula oblonga. Mas o incrível é que dá para ver todo o raciocínio, certo? Muitas vezes, quando você usa modelos na nuvem, o raciocínio fica oculto. Então, você não sabe realmente como os modelos funcionam. Mas, como você está rodando os modelos localmente

10:20 no seu próprio computador, tudo acontece aqui, certo? Nada vai para a internet, nada vai para a nuvem, tudo acontece localmente. Assim, você consegue ver como ele pensa, como opera. Você tem controle total sobre como ele funciona. E é por isso que acredito que, em muitos aspectos, os LLMs locais são o futuro. Eles são o futuro do que a maioria das pessoas vai usar, porque será privado. Tudo vai acontecer localmente. Nenhum dos seus dados e informações privados vai para a nuvem. E é incrível pensar que toda essa computação extraordinária está acontecendo

10:51 bem aqui. E, enquanto eu falava, de novo, tudo isso está acontecendo em tempo real. O jogo está sendo criado. Parece que estamos quase terminando. Parece que ele escreveu bastante coisa. 78 linhas de código, assim, num instante. Certo, vou abrir isso no meu navegador. Vamos testar. E lá vai. Está funcionando. Certo, estou pegando os biscoitos. A cobrinha está crescendo. Funciona. Funciona. O título da cobrinha ainda está na tela. Tudo bem. Daqui a pouco podemos pedir para corrigir isso. Ah, vamos lá. Você vai colocar no canto? Está falando sério? Ah, olha só isso. Olha que habilidade. Isso é

11:21 habilidade, gente. Ninguém que está assistindo consegue fazer isso. Um gamer nato, bem aqui. O fato de eu ter pegado aquele biscoito no canto. Certo, vamos ver o que acontece quando a gente morre. Bum. Fim de jogo. Temos nossa pontuação, e tudo foi criado localmente. Vamos passar para outro nível. Vamos pedir assim: você pode criar um jogo de tiro em primeira pessoa 3D em um único arquivo HTML? De novo, totalmente local. Tudo em um Mac Mini que você pode comprar por menos de US$ 1.000. Certo. Bum. Está pronto. Aqui está seu jogo de tiro 3D. Tem

11:53 um mecanismo 3D inteiro. Um monte de inimigos, dá para jogar. Atirar, recarregar, clarão do disparo. Certo, vamos jogar. Vou carregá-lo no navegador. Lá vamos nós. Vamos começar. Temos… Ele disse que era tipo Wolfenstein. Com certeza. Definitivamente parece. Estamos jogando. Ah, estou atirando no inimigo. Estou atirando no inimigo. Ganhei pontos de experiência. Mapa no canto superior direito. Este é o jogo de tiro em primeira pessoa 3D mais bonito e melhor de todos os tempos? Não. E esse não é o objetivo. Este não é um modelo de ponta na nuvem, mas é um modelo rodando

12:24 totalmente localmente em um dos computadores mais baratos que você pode comprar. Você tem a tecnologia mais avançada de todos os tempos, inteligência artificial rodando 100% na sua mesa, em um computador deste tamanho. Vou dizer uma coisa: se eu tivesse mostrado essa demonstração dois anos atrás, usando um modelo na nuvem, você teria ficado impressionado. Teria ficado absolutamente impressionado. É ótimo em comparação com o Opus 55 de hoje? Não. Não é. Mas o ponto é o seguinte: está rodando localmente,

12:56 com total privacidade e segurança, no seu próprio computador. Então, vamos às conclusões; depois, vamos falar de todas as vantagens da IA local e por que você vai querer fazer o que acabei de mostrar. Conclusão: dá para rodar IA local em um Mac Mini? Sim, acho que dá. Não só dá para rodar uma inteligência muito avançada, como o Quen 36, que, de novo, é como um modelo de ponta de um ano atrás, mas a velocidade também é muito boa. Então, acabou aquela história de “ah, não dá para fazer isso em um Mac Mini. Alex Finn está errado”. Isso morreu. Eu estou certo. Acabei de provar. Tenho as provas. Eu

13:27 acabei de mostrar para vocês. Mas, tudo bem, Alex, eu posso usar o Chad GBT. Posso usar o Opus. Por que eu faria isso e compraria um computador? Bem, por alguns motivos. Primeiro, é grátis. Sim, você precisa pagar pelo próprio computador, mas acho que este custou uns US$ 800 ou US$ 900. Se você está pagando US$ 200 por mês pelo Chad GPT e esse nível de inteligência é suficiente para você, o computador se paga em uns quatro meses. Então, a longo prazo, você economiza dinheiro. É privado. Quando você envia prompts para seu modelo de IA agora,

13:58 vai para a nuvem. Vai para centros de dados e servidores. Não fica no seu computador. Então, as coisas que você diz não são totalmente suas. Não são totalmente privadas. Quando você usa um modelo local em um Mac Mini ou em qualquer computador que tenha uma Nvidia ou algo assim, ele é seguro. Fica no seu computador. É completamente privado. Quer dizer, você pode ficar sem conexão com a internet e ele ainda vai funcionar. Você tem controle total. Se quiser personalizar esse modelo, pode. Se quiser treinar o que se chama LoRA e torná-lo seu, dando a ele a sua própria voz, pode

14:29 fazer isso. Se quiser aprender a fazer isso, me avise aqui embaixo. Você gostaria de ver vídeos mais avançados sobre IA local, como treinar o modelo, LoRAs, coisas assim? Me avise aqui embaixo nos comentários. Vou fazer um vídeo avançado sobre IA local para você. E acho que essa é a parte mais importante de tudo. Sabe, toda vez que digo: “Ei, experimente esta IA, experimente aquela”, acho que o comentário mais comum é: “Bem, qual é o ROI? Qual é o ROI disso? Quando vou recuperar meu dinheiro?” Não acho que tudo o que você faz na vida precise ser um exercício de ROI. Não acho que você precise registrar cada centavo que gasta em uma planilha, pensando:

15:00 “Ah, se eu não tiver retorno sobre o investimento até a sexta semana, não vou fazer isso.” Acho que você pode fazer as coisas só pela diversão. E, embora eu acredite que a IA local tenha muitas outras vantagens, acho que você pode fazer as coisas porque são divertidas. E isso é muito divertido. É muito divertido comprar um computador e rodar IA local nele, tendo sua própria inteligência pessoal e privada. Acho isso muito divertido. E, se você está assistindo a este vídeo, se acompanha o canal Alex Finn, se faz parte da FinnFam, dou a você permissão

15:33 para se divertir. Você pode se divertir. Então, se você só quer fazer isso e não se importa com o ROI, faça. Divirta-se e faça. Também é muito educativo. Você está aprendendo sobre a tecnologia mais importante das nossas vidas, a IA. Você está aprendendo sobre ela da maneira mais prática possível, instalando-a localmente no seu próprio computador. Então, é pura educação, e acho isso importante. Acho que a IA vai continuar por muito tempo. Acho que ela só vai ficar 10 mil vezes maior, e acho

16:03 que basicamente vai controlar a economia mundial. Então, você deveria aprender sobre ela. Deveria pôr a mão na massa. Deveria ser especialista em IA, e esta é uma ótima maneira de fazer isso. Você aprendeu alguma coisa? Deixe um like aqui embaixo. Tenho a newsletter de IA número um do planeta Terra. O link está aqui embaixo. Ela se chama Ship It Weekly. O link para Ship It está aqui embaixo. Inscreva-se. Espero que isso tenha sido útil. Me diga o que você quer que eu aborde no próximo vídeo. Quer que eu fale mais sobre IA local? Quer que eu fale mais sobre Claude Code? Quer ver mais coisas sendo desenvolvidas? Me avise aqui embaixo. Espero que isso tenha sido útil. Eu

16:34 espero que você tenha gostado. Muito obrigado por assistir ao canal. Sou muito grato por você escolher aprender comigo. Muito obrigado. Até o próximo vídeo.

Transcrição original

[00:00] Back in January, I told the world that the Mac Mini was going to be the king of local AI. I also said Apple was going to win the local AI race. People called me insane. They destroyed me on social media for saying that. Well, I just got the brand new Mac Mini M6, and we’re going to prove them all wrong. I’m going to attempt to push this thing to its absolute limits. I’m going to show you how to load up local AI models on a Mac Mini the absolute easiest way possible.

[00:32] No technical skills required. Then we’re going to see what kind of workloads this thing can handle. Can you cancel your cloud subscriptions? Can you cancel chat GPT with just a Mac Mini? We’re going to find out. Or will there be egg all over my face cuz this thing won’t be able to handle anything. Let’s put it to the test. I’m going to plug this sucker in and we’re going to see what we can do with local AI on a Mac Mini M6. This one is going to surprise you. Let’s lock in and get into it. All right, so I just plugged the Mac Mini in. Here you can

[01:03] see the stats. It is an M6 uh with 32 GB of RAM. Let’s get this going. Let me show you first how we’re going to load local Mazda. This is the absolute easiest way to do it. What we’re going to do is we are going to load up Hermes desktop. So, for those who don’t know, Hermes Agent is a fantastic open-source agent, runs on your computer, is your own personal assistant, your own personal AI employee, and can be used with any model out there, both cloud and local. So, I’m going to download this

[01:33] now. If you want to follow along with me, do it with me here. It’s completely free. Everything I’m about to show you is completely free. Easy. No technical skills required. I will move the Hermes application into applications cuz that’s something you still do on Mac. Then we’re going to load up Hermes here and we’re gonna open it up. All right, installation super easy. It’s going to download everything, get it prepared. Again, no tech needed here, and then I’m going to show you how we’re going to use Hermes to figure out which AI models we can run locally on our Mac Mini and then actually load them up and start using

[02:04] it. All right, so I’m installing Hermes Desktop that’s going to get set up. For those who don’t know, Hermes, amazing local open-source AI agent makes it really easy to load in any model you want. It’ll even load local models for you. It’ll find the best local model for you and load it. Super easy. We’re going to have this set up. Straight up. Beginners can do this. Even if you’ve never loaded a local model before, you can do what I’m doing. So, follow along me here. I’ll put a link down for Hermes Desktop, too. Completely free. All right. All installed. It took like 45 seconds. Let’s launch this up. And boom. We are in Hermes agent. Now, let’s load

[02:38] up a local model. They have super nice functional here. They don’t No one’s sponsoring this video. This is completely unsponsored video. Everything I’m telling you here is because I think it’s the absolute stone cold best. Let’s go into settings in the top right of Hermes agent here. Next, we’re going to go to providers and then we’re going to go run models locally. What will automatically happen is your Hermes agent will decide what is the best model to run locally on your computer. For me, it was Quen 3635B.

[03:10] So, if you’re like me, you have a Mac Mini that’s 32 gigs of memory. It’s not a terrible amount. That’s not a huge amount. That’s a decent amount. We can now run Quen 3635B. This is a great model. A lot of people compare this to like Opus 45 somewhere in that area. For those who don’t remember Opus 45 back in the day, that was sick. That was mindblowing when it came out. Now, it’s running locally on your desk on a Mac Mini. So, let’s set this up. All I got to do is click set up for me. Bada bing, bada boom. It’s going to start downloading it. It’s about 21 gigs. So,

[03:42] you need 21 gigs on your hard drive uh to download it. Not too much. And in 4 minutes, we are going to have a Opus from last year level model running completely on a Mac Mini. No internet required, no cloud subscription, don’t have to pay for anything. It’s all going to be running locally. But we’ll see how is it going to be any good? We’re about to find out. By the way, right after we load this, I’ll go over kind of all the strengths and weaknesses of local models. So, you’re thinking, why the hell would I want to load a local model? We’ll go through that in a second. I’ll

[04:13] go through all the advantages, why you’d want to do something like we’re doing here. For now, let’s get this loaded and let’s test it out. And real quick, as the model is loading, let me just take you through what are the advantages of doing local AI on Apple. Why I’m bullish is because number one, you can use the full memory of your Apple device for AI. What does that mean? Apple devices have what’s called integrated memory. Meaning the memory you have on your computer. This Mac Mini for instance, 32 gigabytes of memory that can be used for all

[04:43] graphical processing as well. That means all 32 GB can be used to load up local models. That’s a lot because even top-of-the-line Nvidia chips, which don’t get me wrong, Nvidia incredible, worldchanging chips, tons of strengths. I have a lot of videos on DGX Sparks and all that. Definitely check that out as well. But the advantage of Apple chips is you can load bigger models because you can use all of your memory for those models. So even though this is a cheaper sub thousand computer, we can load big

[05:14] models onto it because all the memory in it can be used for local models. On top of that, there’s a lot of software advantages. It’s a great UX. I think Mac OS is a great UX. A lot of people use it as their daily driver to do work. So now the thing you’re using for your daily driver to do work, you also have your local AI running on it as well. So if you’re doing creative work now, you can generate images on the same device you’re using to do your work. And so these are the big advantages of going with an Apple device. And again, Nvidia computers, they have their own

[05:45] advantages. I have a 5090. I’m able to run local AI models in there lightning fast like crazy. It will be a little bit less performant on Apple chips. Although the new M5 Ultra, by the way, I will be showing off the M5 Ultra, the 512 GB Mac Studio in just a couple weeks. Now, make sure to subscribe and turn on notifications immediately for that because when that video drops, that’s going to be an absolute stone cold banger. That’s going to be worldchanging technology. Turn on notifications for that. But at the moment, Apple’s still

[06:15] catching up a little bit on the speed side. We’ll see what the M5 Ultra brings us in a little bit, though. So, these are the advantage of going with an Apple computer. Also, not listed here is just straight up price, right? Mac Mini. You can get it for like $800, $900 and run a local model. That’s pretty mind-blowing. All right, let’s get back to Hermes. All right, it looks like it must have been loaded because we’re back at the Hermes screen. Let’s click here to choose a model. I scroll down. Local Quen 3635B. Let’s click on that. All right, so we got it loaded. The model’s right there. For those who are brand new to the

[06:46] channel, this is Hermes Agent. It’s your own AI employee. You can ask it, do whatever you want. Has control over your computer, can build things, can talk to you, can answer questions. It is now powered by our local model. So, first of all, to answer the first question, can you load local models onto a Mac Mini? Well, the answer is yes. We now have Quen 36 in here. But let’s see how it performs. If it stinks and is slow and sucks, then well, it’s going to be kind of pointless. Let’s see how good this is. Hey, are you there? And I’m going to hit enter. Uh, let’s see what happens.

[07:17] Let’s see what type of performance. So for those who don’t know also by the way the first time you send a prompt to a local model it’s going to take a little bit longer. They have to load it into memory. So just as you saw there load into memory now moving forward it’s going to be much faster. Also by the way if you’re following along this is your first time loading up local models and you just did it. Congratulations. You should give yourself a pat on the back. You should feel good about that. You just loaded the most important technology in the history of our species

[07:48] onto your own computer and now it’s running on your desk. That is pretty amazing. Hey, I’m here. What can I do for you? Since this is our first conversation, why want to set up a quick profile so I can be more useful? I’m Alex Finn. I’m a content creator and entrepreneur. I create content about AI. say hi to my audience. And in just in a second, we’ll do a kind of a a performance check here. See how fast this is. But look, look at this. You can see how it’s thinking. So,

[08:19] I see all the thinking here. Let me save that to memory. This is pretty fast. I’ll be honest. I’m doing this live with you. I did not do any sort of pre-ests or anything. Like, literally, this is my first time doing this with this Mac Mini. Hey Alex, here’s a message you can share. Hey everyone, I’m Alex Finn. Well, I’m Alex Finn, a content creator diving into deep world AI. Stay tuned. Feel free to tweet it however you like. Where do you usually post your content? YouTubex, uh, all of those places. I I did not edit this. What you just saw was completely real time. It’s responding

[08:49] very, very quickly. I mean, that feels like it’s as fast as cloud AI. It’s creating memories for itself. So, it’s remembering things. This is really good intelligence. What we’re seeing here, like a year or two ago, would have been mindblowing frontier. Now, I’m running it locally on a Mac Mini. This the one we’re demoing on right now is on my desk over here, by the I have like 20 Mac minis, by the way. I’m like a Mac Mini freak. Anyway, so let’s do this. Let’s test. Let’s see how good this can be. We tested the speed. We verified the speed is pretty dang good. Now, let’s do this.

[09:19] And like I’ll even show you like the timestamps here. See this? 12:34 is when we sent the prompt. We got the answer 12:34. So, less than a minute, it’s responding. Less than a minute. We’re getting responses here. All right, let’s do let’s have a build something interesting. Can you build me a snake game using single file HTML? All right, let’s see how fast it can actually build us apps. Is this usable for apps? We’ll start with something small like building a snake game, then we’ll get to something a little bit more advanced out, maybe like a 3D firstperson

[09:50] shooter. So, here we go. The user wants a snake game in a single HTML file. Let me build a complete polish one. I love how you can see the thinking. That’s another one of the advantages of local LMS. And again, advantages of local LLMs, right? After we do these tests and everything, I’ll go through that. I’ll educate you. I’ll get your brain bigger. We’ll get your Abdullah obligata bigger. But what’s amazing about that, you can see all the thinking, right? A lot of the times when you use cloud models, the thinking is hidden. So, you don’t really know how the models work. But because you’re running the models locally on

[10:20] your own computer, everything happens in here, right? Nothing goes to the internet, nothing goes to the cloud, everything happens locally. So, you’re able to see the way it thinks, the way it operates. You have full control over how it works. And that’s why I believe in a lot of ways local LLMs are the future. They are the future of what most people using because it’s going to be private. It’s all going to happen locally. None of your private details and data go to the cloud. And that’s pretty amazing to think about that all this incredible computation is happening

[10:51] just right here. And as I was speaking, again, this is all real time. Uh the game is being built. Looks like we’re almost uh done here. It looks like it wrote a good amount. 78 lines of code just like that. All right, so I’m gonna open this my browser. Let’s Let’s test this out. And it’s going. It’s going. Okay, so I’m getting the the cookies. Uh the snake’s getting bigger. It works. It works. The snake title still on the screen. That’s fine. We can prompt in a second to fix Oh, come on. You’re going to put in the corner. Are you serious? Oh, look at this. Look at skills. That’s

[11:21] skills, baby. No one watching this can do that. True born gamer right here. The fact that I get that corner cookie. All right, let’s see what happens when we die here. Boom. Game over. We got our score that was built completely locally. Let’s take it to another level. Let’s say this. Can you build me a single file HTML 3D firsterson shooter? Again, completely local. All on a Mac Mini that you can get for under $1,000. All right. Boom. It’s done. Here’s your 3D shooter. Has

[11:53] an entire 3D engine. T tons of enemies be able to play the game. Shoot, reload, muzzle, flash. All right, let’s play this. Let me load this up in a browser. Here we go. Let’s start. We have It said it was like Wolfenstein. That’s for sure. It definitely looks like it. We’re playing it. Oh, I’m shooting the enemy. I’m shooting the enemy. Got experience points. Map in the top right. Is this the prettiest best 3D firsterson shooter of all time? No. And that’s not the point. This isn’t a Frontier cloud model, but this is a model running

[12:24] completely locally on like the cheapest computer you possibly can buy. You have the most advanced technology of all time, artificial intelligence running 100% on your desk on a computer this small. I will say this, if I showed you that demo two years ago from a cloud model, you would have been blown away. You would have been absolutely blown away. Is it great compared to like Opus 55 today? No. No, it’s not. But the point is this. It is running locally,

[12:56] completely private, secure, running on your own computer. So, let’s go into conclusions, then we’ll talk about all the advantages of local AI and why you want to do what I just showed you. Conclusion, can you run local AI on a Mac Mini? Yes, I think you can. Not only can you run really smart intelligence like Quen 36, which again is like Frontier from a year ago, but it’s also pretty good speed. So that whole thing, oh, you can’t do it on a Mac Mini. Alex Finn is wrong. That’s dead. I’m right. I just proved it. I have the receipts. I

[13:27] just showed you. But okay, but Alex, uh, I can use Chad GBT. I can use Opus. Why would I do this and buy a computer? Well, a few things. One, this is free. Yes, you have to pay for the computer itself, but I this I think was like an $800 or $900 computer. Now, if you’re paying $200 a month for Chad GPT and this level of intelligence is good for you, you have it paid off in like four months. So, long-term, you’re saving money. It’s private. When you send prompts to your AI model right now, it

[13:58] goes to the cloud. It goes to data centers and servers. It does not stay on your computer. So the things you’re saying are not totally yours. It’s not totally private. When you do a local model on a Mac Mini or any computer you have on an Nvidia, whatever, it is secure. It stays on your computer. It’s completely private. I mean, you can be disconnected from the internet and it’s still going to work. You have total control. If you want to customize this model, you can. If you want to train what’s called Allora and make it your own and give it your own voice, you can

[14:29] do that. If you want to learn how to do that, let me know down below. Do you want like advanced local AI videos like how to train the model, Lauras, things like that? Let me know down below in the comments. I’ll make like an advanced local AI video for you. And I think this is the most important part of it all. You know, every time I say, “Hey, try this AI, try that.” I think the number one comment, “Well, what’s the ROI? What’s the ROI with that? When will I make back my money?” I don’t think everything you have to do in your life has to be like an exercise of ROI. I don’t think you need to map out every penny you spend on like a spreadsheet

[15:00] like, oh, if I don’t get my ROI by week six, I’m not going to do. I think you’re allowed to do things for the fun of it. And while I do believe there are tons of other advantages to local AI, I think you’re allowed to do things because it’s fun. And this is extremely fun. It’s extremely fun getting a computer and then running local AI on it and having like your own personal private intelligence. I think that’s extremely fun. And if you’re watching this, if you watch uh the Alex Finn channel, you’re a member of FinnFam, I give you permission

[15:33] to have fun. You’re allowed to have fun. So, if you just want to do this and you don’t care about the ROI, then do it. Have fun and do it. It’s also extremely educational. You’re learning about the most important technology of our lifetimes, AI. you’re learning about it in the most basically hands-on way you possibly can by loading it locally on your own computer and so it’s just straight up educational and I think that’s important. I think AI is going to be around for a long time. I think it’s only get 10,000 times bigger and I think

[16:03] it’s going to basically control the world economy. So you should be learning about it. You should be hands-on. You should be an AI expert and this is a great way to do that. Did you learn anything at all? Leave a like down below. I have the number one AI newsletter on planet earth. Link for that down below. It’s called ship it weekly. Ship it link down below. Join that. I hope this was helpful. Let me know what you want me to cover in the next video. You want me to cover more local AI stuff? You want me to cover more kind of clawed code stuff? You want to see more building stuff? Let me know down below. I hope this was helpful. I

[16:34] hope you enjoyed it. Thank you so much for watching channel. I am so deeply appreciative you choose to learn from me. Thank you so much. See you in the next video.