Criei o JARVIS com GPT-6 Astra (é INSANO!)

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: I Built JARVIS With GPT-6 Astra (It’s INSANE!) · Canal: AI Andy · 16:39 · Assistir no YouTube

Tópicos: Agentes de IA, Automação de tarefas e workflows, Dados, bancos de dados e embeddings, Modelos multimodais, Open source e ecossistemas de software

Resumo

AI Andy apresenta o Jarvis, um assistente de voz que pode ver a tela, acessar arquivos e coordenar vários agentes em paralelo. O vídeo demonstra como criar agentes, encaminhar tarefas a eles e receber resumos e resultados por meio do Jarvis. Também mostra recursos de ditado por voz com limpeza por LLM, integração com modelos locais e ferramentas como leitura de e-mail e Telegram. No fim, o apresentador oferece um pacote de prompts e uma versão para download do software.

Pontos-chave

O Jarvis funciona como um assistente que coordena vários agentes em paralelo por meio de comandos de voz ou texto.
Os agentes podem executar tarefas em diferentes projetos e retornar atualizações resumidas pelo Jarvis.
A interface inclui um grafo de conhecimento para visualizar arquivos, pastas e suas conexões.
O software pode usar GPT-6 Astra, Claude e modelos locais, conforme a configuração apresentada.
O ditado por voz usa um LLM para corrigir e adaptar a transcrição ao contexto.
O assistente oferece tool calling para ações como buscar arquivos, consultar e-mail, abrir aplicativos e iniciar agentes.
O apresentador afirma que o projeto é open source e pode ser ampliado com recursos próprios.
O vídeo termina com instruções para criar uma versão semelhante usando um pacote de prompts ou baixar a versão do apresentador.

Capítulos

Início	Capítulo	Resumo
00:00	Demonstração e visão geral do Jarvis	O apresentador mostra o Jarvis criando agentes, observando a tela e coordenando tarefas.
02:06	Grafo de conhecimento e modelos	A interface apresenta o grafo de arquivos e pastas, além de opções de modelos e vozes.
04:44	Coordenação de agentes em paralelo	O vídeo explica como o Jarvis distribui tarefas entre agentes e demonstra esse fluxo em projetos.
10:55	Comandos por voz, chat e ditado	O apresentador demonstra o modo mãos livres, o histórico de chat e o ditado com correção contextual.
14:02	Ferramentas, código aberto e instalação	O vídeo lista ações disponíveis, comenta que o projeto é open source e apresenta opções para criar ou baixar o Jarvis.

Citações

Acabei de abrir três agentes. — 00:00

Ele vê sua tela e, pela câmera, facilita dar instruções e ditar por voz de qualquer lugar. — 01:02

Você tem três agentes e um líder, que é o próprio Jarvis. — 08:22

A melhor parte é que isso é completamente open source. — 14:35

Conceitos e entidades

JARVIS (ferramenta): Assistente de voz apresentado no vídeo, capaz de interagir com o usuário e coordenar agentes.
GPT-6 Astra (modelo): Modelo citado no título e apresentado como uma das opções que podem ser conectadas ao Jarvis.
Claude (modelo): Modelo que o apresentador diz ter conectado ao Jarvis por meio de uma assinatura.
Opus 5 (modelo): Modelo usado em uma demonstração de coordenação de agentes.
Qwen3 (modelo): Modelo descrito pelo apresentador como local e sem censura.
Graphify (repo): Projeto citado como base do grafo de conhecimento que relaciona arquivos e pastas.
Claude Code (ferramenta): Ferramenta mencionada como uma opção para usar o pacote de prompts e construir uma versão semelhante.
Codex (ferramenta): Ferramenta mencionada como alternativa para executar os prompts de criação do assistente.
AI Andy (pessoa): Apresentador do vídeo e criador da demonstração do Jarvis.

Tradução completa (pt-BR)

00:00 Ei, Jarvis, você pode abrir três novos agents para mim? >> Assim, já temos três agents. >> Os agents um, dois e três estão abertos em suas próprias janelas, senhor, ociosos até você lhes dar algo para fazer. >> Você pode dar ao agent um a tarefa de corrigir alguns dos problemas que temos tido recentemente com o Jarvis? Assim, >> pedi ao agent um que analisasse os problemas recentes do Jarvis no repo do Jarvis. Corrija-os um de cada vez. >> Ei, Jarvis, você consegue ver o que está na minha

00:32 tela agora? >> Consigo, senhor. Você está no Chrome, vendo o XTink X4 Pro, um e-reader de bolso com o preço reduzido de US$ 109 para US$ 9,99, o que tenho certeza de que é pura pesquisa. Este é o melhor leitor de bolso ou existem… O GPT-6 Astra foi lançado, então decidi criar o Jarvis. Mas ele não é um assistente inteligente como Gemini ou Siri, que pode conferir sua agenda e enviar e-mails. Com ele, você pode controlar vários agents ao mesmo tempo, simplesmente falando

01:02 com o Jarvis. Ele vê sua tela e, pela câmera, fica mais fácil dar prompts [música] e ditar por voz de qualquer lugar, para que você possa falar diretamente com o Jarvis ou ditar em qualquer documento ou conversa. Mas configurar tudo isso pode ser bem difícil. Então, vou disponibilizar o pacote de prompts no final, para que seja fácil configurar, mesmo que você não tenha muita familiaridade com tecnologia. Imagine só conversar com o Jarvis por voz e ele sair por aí fazendo trabalho de verdade. Com vários

01:33 agents. Estou muito animado para mostrar isso. Então, vamos começar. Dê uma olhada na tela aqui. À esquerda, temos o Jarvis, que é um orbe que podemos mudar para vários estilos diferentes. Aliás, vamos falar com ele daqui a pouco. À direita, temos um grafo de conhecimento. E, se você nunca viu um grafo de conhecimento, ele reúne todos os arquivos e pastas do seu computador para que você possa encontrá-los facilmente, e mostra as conexões entre eles.

02:06 Como você pode ver, estes nós aqui se conectam entre si. Estes nós lá embaixo também se conectam. E dá para ver exatamente o que eles fazem. Isso é baseado no Graphify, um dos repos mais populares do GitHub, com 119 mil estrelas, que deixa seus agents de IA um pouco mais inteligentes porque organiza todo esse conhecimento em arquivos e pastas fáceis de encontrar, além das conexões, como mencionei. Então, aqui está uma representação visual mais em 3D

02:39 de como exatamente ficam suas pastas e arquivos. Também temos a visualização clássica, para quem gosta do Graphify e dos recursos dele. Mas, à esquerda, temos o próprio Jarvis. Então, se eu mantiver pressionada a tecla Option no teclado agora… Ei, Jarvis, como está o tempo em Bangkok agora? >> Vou verificar. Senhor, em Bangkok está fazendo 31 °C, com chuva fraca. Senhor, a sensação é de 36 °C. >> Assim, você pode falar com ele usando apenas a voz, e ele vai lhe dizer

03:11 coisas básicas. Daqui a pouco, vamos ver coisas mais avançadas. Mas, no alto, você não tem acesso apenas ao GPT-6 Astra. Também pode usar o Claude com ele. Conectei minha assinatura do Opus 5 a ele. Também incluí o Qwen 3, que é um modelo completamente sem censura, rodando totalmente local. Ele se integra facilmente a qualquer LLM. Então, se quiser o Kimi K3 ou o DeepSeek, é só adicioná-los aqui. É fácil. Mas, do lado esquerdo

03:43 aqui, temos o Jarvis, o mordomo. Isso tem mais a ver com personalidade. Aqui temos um assistente que consegue fazer coisas. Já esta parte é mais para controlar os agents, e vou chegar nela daqui a pouco. E aqui você tem o Opus 5, que está rodando por meio de uma assinatura e é mais parecido com o Gemini: responde um pouco mais rápido, mas não tem todos os recursos do próprio software. Se formos para a direita, você pode ver que temos vozes da

04:14 Cocooro, um modelo de voz gratuito que roda localmente. Também temos a opção integrada da Apple. Se você tiver Microsoft, há as opções integradas da Microsoft; são super fáceis de usar. E, se quiser mudar desta voz britânica para aquela voz britânica, é fácil. Acho que Daniel e George são ótimos para ter o mordomo do Homem de Ferro, certo? Mas o recurso mais importante, na minha opinião, é

04:44 a aba de agents. Aqui você pode ver que temos um painel de agent aberto, e isso abre um novo terminal T-Max que permite usar qualquer um dos seus agents. Agora, se ainda não percebeu, quando você usa o ChatGPT ou o Claude só no modo de conversa, eles não são tão bons quanto quando você os usa no modo de programação, agora chamado de modo de trabalho. Basicamente, isso permite programar

05:14 aplicativos diferentes, fazer um monte de coisas e ter uma memória e uma estrutura de pastas completamente diferentes. Quando comecei a usar, fiquei impressionado. E o verdadeiro problema é que, se você tiver uma conversa comum com um LLM e pedir para ele fazer três coisas diferentes, como verificar meu e-mail e ver se há algo importante, corrigir este bug em um software que tenho e começar a criar ideias de conteúdo sobre este assunto, ele vai

05:45 fazer isso em sequência. E, se você já usou IA, talvez abra uma nova conversa para uma tarefa, outra conversa para a seguinte e mais uma para a próxima, porque não quer ficar esperando de 3 a 5 minutos até que a tarefa seja concluída. Esse é um dos grandes problemas que vejo em outros assistentes inteligentes, como o Jarvis: eles não conseguem realmente abrir novas conversas. Então, com isso, o Jarvis pode ser o

06:18 líder e controlar todos os agents para você. Deixe-me mostrar exatamente como funciona. No momento, estou com um limite um pouco baixo no GPT-6. Então, vou usar o Opus 5. Deixe-me mostrar este outro design, para você ver como é. Aliás, quero fazer uma enquete na página da comunidade para que você possa votar no seu design favorito do Jarvis também. Temos vários que acho muito legais. Vamos testar este por enquanto.

06:48 Então, vou dar um prompt para ele, mantendo Option pressionada, e vou mostrar. Aqui embaixo, você pode ver que estamos ouvindo e enviando diretamente para o Jarvis. Ei, você pode abrir três novos agents? Um para Agent Flow, um para Goal Flow e um para Creator Growth. E, como você pode ver, ferramentas comuns de ditado têm bastante dificuldade com termos como Agent Flow, Goal Flow e Creator Growth. Mas aqui você pode ver que todos estão sendo abertos,

07:18 os três. E logo você também vai vê-los abertos na interface. Então, você pode ver que >> os agents um, dois e três estão abertos, senhor, para Agent Flow, Goal Flow e Creator Growth. E estão todos esperando que você lhes dê algo para fazer. Agora você pode ver que, quando eles voltam com uma resposta correta… ou >> o agent de Agent Flow analisou o aplicativo e está pronto para uma tarefa. Senhor, ele não alterou nada. Mas encontrou bastante trabalho não commitado que você deixou nos arquivos Swift. O que gostaria que ele fizesse? >> Então, posso dizer diretamente qual

07:51 agent quero que faça o quê e, claro, se recebermos… >> O agent de Creator Growth também está pronto, senhor. E encontrou uma playlist de podcast que você adicionou, mas nunca commitou, que já está ativa no aplicativo em execução. O que ele deve fazer com ela? Há mais um esperando. >> Então, dá para ver que esse tipo de workflow, em que eles me chamam de volta e o Jarvis resume para mim, é um pouco… >> O agent de Flow já deu uma olhada e também está pronto, senhor. E também encontrou trabalho seu não commitado. O que gostaria que ele fizesse? E, neste

08:22 Assim, você não só pode ler um monte de conversas, mas conversar com ele como se fosse o Jarvis, certo? E essa é uma maneira melhor de trabalhar, porque você não tem apenas um assistente inteligente que consegue fazer chamadas de ferramentas. Na verdade, você tem três agents e um líder, que é o próprio Jarvis. E o Jarvis responde a você. Você responde a ele. É uma troca muito fácil e divertida que você pode ter com ele. Então, vamos fazer um

08:52 prompt ou algo assim só para mostrar como funciona. Legal. Você pode fazer o que os agents de crescimento de criadores querem e dar commit? E agora você vai ver facilmente que ele vai enviar uma mensagem diretamente para o outro assistente e ele vai executar a tarefa sozinho, e eu posso simplesmente… >> Pedi ao agent de crescimento de criadores para dar commit na playlist do podcast, senhor, e deixar os backups e os outros arquivos soltos de fora. >> Agora ele me respondeu. Então, ele vai falar comigo. >> Feito o commit, senhor. Só a playlist do podcast

09:23 entrou, e os backups e arquivos soltos ficaram de fora, mas está na main e não foi enviado. >> Acho que vamos demonstrar mais um pouco. Vamos criar um recurso para o aplicativo no celular. Ótimo trabalho. Você pode avisar o agent do Goal Flow e perguntar se fizemos commit do controle de calorias no Goal Flow, para eu ver no celular? Aqui você pode ver o aplicativo. É basicamente um app de lista de tarefas que controla… >> o agent do Goal Flow, se o controle de calorias foi incluído no commit, senhor, e que você

09:54 quer vê-lo no celular. >> Temos esse controle de calorias, que é um app muito simples para acompanhar calorias. Basicamente, eu digo exatamente o que como e insiro as calorias. É bem básico, mas me ajuda muito a acompanhar. Só ainda não tenho isso no app do celular. Então, como você pode ver, acabei de perguntar. Trabalhamos um pouco nisso ontem, mas não conseguimos concluir. Quero ver se agora aparece aqui. Escute só. >> Foi incluído no commit. E agora está no celular,

10:25 senhor, na aba “Comida”, no fim da barra de abas. Primeiro, você precisa fechar e reabrir o app. Só tem um detalhe: o app para Mac precisa preencher as calorias de tudo o que você registrar no celular. >> Certo, vou conferir no app que tenho no celular. E sim, agora vejo uma aba “Comida” aqui embaixo. Se eu tocar nela, dá para ver meu ramen e meu sushi de ontem e um pouco de hot pot mala do dia anterior. E só para deixar claro, eu não

10:55 usei nenhum dedo. Usei um dedo para manter a tecla Option pressionada, mas você também pode ativar o “Hey Jarvis”. Se eu disser “Hey Jarvis”, tudo o que eu falar depois disso fica totalmente sem usar as mãos. E, mais impressionante ainda, se eu quiser mudar alguma coisa no próprio Jarvis, posso simplesmente pedir ao Jarvis para criar um agent que mude o Jarvis. Mas sei que você tem algumas perguntas e também quero mostrar outra coisa. E isso é: dá para digitar para

11:27 ele? E, claro, você pode falar com ele aqui mesmo. Se eu disser: “Ei, Jarvis, tudo bem?”, ele vai funcionar como um chat normal. E, claro, temos o histórico. Você pode ver… >> Os dois commits foram feitos e a aba “Comida” está no celular. O agent do Goal Flow ainda está esperando saber se você quer que o app para Mac seja reconstruído para preencher as calorias que você registra no celular. >> Perfeito. Como você pode ver, o chat fica aqui e você também tem a… como se chama? A entrada do Jarvis também.

11:58 Então, foi isso que ele percebeu. Basicamente, o agent enviou isso para o Jarvis, e depois ele me enviou esta mensagem. É um workflow muito legal. E, claro, se quiser voltar na conversa, é só subir no histórico aqui. Se quiser iniciar uma conversa nova, completamente nova, pode começar uma aqui em cima. Mas vou fechar agora. Então, essa é a digitação e o

12:30 histórico. Mas um dos meus recursos favoritos é a digitação por voz, porque você pode usá-la em qualquer lugar. Se você fechar isso, vai ver que tenho uma espécie de Google Docs. Se eu criar um documento novo aqui, por exemplo, basta manter pressionada a tecla Fn, que é diferente. Uma tecla envia para o Jarvis, a outra envia para qualquer chat em que você esteja. Então, se eu falar em voz alta aqui, o texto vai aparecer imediatamente aqui, usando um LLM

13:01 para fazer uma revisão que é super-rápida. Então, não é só uma digitação por voz que pode cometer muitos erros; ele realmente usa um LLM para revisar o texto e deixá-lo um pouco mais adaptado a você. E o LLM usado também entende o que você diz com base no contexto. Então, se eu disser “Google Flow”, ele vai ler meus documentos com o Graphifier e pensar: “Ah, provavelmente ele quis dizer Goal Flow”, certo? Mas

13:31 posso dizer coisas como: “Confira meu Goal Flow e meu Agent Flow, vá até Creator Growth e depois me dê algumas informações sobre Sarpsborg, na Noruega”, o que é meio difícil, certo? Mas ele provavelmente acertou tudo, literalmente, e faz isso muito rápido. Então, se você já tentou usar outros apps de digitação por voz — e talvez esteja pagando por algum —, pode simplesmente pegar este e usá-lo de graça, sem limite,

14:02 o que é um dos meus recursos favoritos. E, de novo, se eu quiser enviar algo para o Jarvis sem nem estar na tela, é só pressionar Option e dizer: “Ei, Jarvis, só me diga oi”, e ele vai conversar comigo sem que eu precise estar no app. Então, três, dois, um. >> Olá, senhor. >> E pronto. Além do que acabamos de falar, há também várias chamadas de ferramentas aqui, porque, ao usar o modo de assistente, você também pode pedir várias coisas diferentes, como consultar o Graph, criar faturas, olhar, ver a tela, enviar para o Telegram, ler o Telegram, ler e-mails, encontrar arquivos, listar agents, ler um agent, iniciar um agent, abrir um app, dar instruções a um agent.

14:35 E acho que a melhor parte é que isso é totalmente open source. Então, você pode programar no app o que quiser. Se você já entende bastante de agents, provavelmente já sabe que pode adicionar mais recursos. Mas, se está começando, uma coisa que pode pedir, por exemplo, é: “Ei, você pode se conectar ao meu

15:06 Gmail?”. Ele vai se conectar facilmente ao Gmail ou a qualquer app de calendário que você tenha. Se você tiver skills do Claude ou do ChatGPT no backend, basta colocá-las na mesma pasta. E, de novo, você pode simplesmente pedir à IA para juntar tudo. Mas como começar a construir algo assim por conta própria? Vou disponibilizar um pacote de prompts que você pode simplesmente colar no Claude Code, no Codex ou até no Grok, se quiser, e vai obter um resultado parecido com o meu. Temos vários

15:38 prompts. E recomendo usá-los um por um. Primeiro, construa isto; depois, o segundo; e, em seguida, o terceiro. Depois de algumas idas e vindas, você vai chegar a algo praticamente igual ao que eu tenho — embora, claro, seja uma nova versão. Mas, como levo meses para criar algumas dessas ferramentas, também tenho o download de 5 minutos: você pode baixar instantaneamente a versão exata que tenho e, em apenas 5 minutos, ela estará funcionando. Então, se quiser, pode obtê-la de graça por 7

16:09 dias. Há um período de teste gratuito de 7 dias para entrar na AIMATE. Cancele a qualquer momento. E, quando entrar na sala de aula, você pode clicar no meu software. No topo, você verá AF Jarvis. Então, este é o seu próprio Jarvis, exatamente igual ao meu. Tudo o que você precisa fazer é baixar este arquivo zip e, em seguida, copiar e colar este prompt XAP no cloud code ou no codeex. E pronto, você terá a versão completa imediatamente. Então, clique no link

16:39 na descrição para entrar na comunidade da minha escola ou conferir o pacote gratuito de prompts. Se quiser assistir a mais vídeos meus, clique neste vídeo a seguir e nos vemos por lá. Falou.

Transcrição original

[00:00] Hey Jarvis, can you open three new agents for me? >> Just like that, we got three agents. >> Agents one, two, and three are up in their own windows, sir, sitting idle until you give them something to do. >> Can you give agent one the task of fixing some of the Jarvis issues we’ve been having recently? Just like that, >> I’ve told agent one to go through the recent Jarvis issues in the Jarvis repo. Fix them one at a time. >> Hey Jarvis, can you see what’s on my

[00:32] screen right now? >> I can, sir. You’re in Chrome on the XTink X4 Pro, a Pocket e-reader marked down from $109 to 999, which I’m sure is purely research. Is this the best pocket reader or are there GPD6 Astra came out so I decided to make Jarvis? But it’s not a smart assistant like Gemini or Siri that can check your calendar and send emails. This allows you to control multiple agents at once just by talking

[01:02] to Jarvis. It sees your screen and through your camera, so it’s easier to prompt [music] and voice dictation from anywhere, so you can directly talk to Jarvis or into any document or chat. But setting this up can be quite hard. So, I’ll give you the prompt pack by the end so it’s easy for you to set up even if you’re not techsavvy. Just imagine chatting with Jarvis with voice and he goes out and does real work. across

[01:33] multiple agents. I’m super excited to show you this. So, let’s begin. So, take a look at the screen right here. On the left side, we have Jarvis, which is an orb that we can change into many different styles. By the way, we’ll take him in just a minute. But on the right side, we have a knowledge graph. And if you never seen a knowledge graph before, it has all the files and folders on your computer so you can easily find them and they have connections in between them.

[02:06] As you can see, these nodes over here connect with each other. These nodes all the way down here connect to each other. And you can see exactly what they do. This is based on Graphify, which is one of the most popular GitHub repos with 119,000 stars that makes your AI agents a little bit smarter because it connects all this knowledge into easily findable files and folders and the connections as I said before. So here is more of a 3D visual

[02:39] representation of exactly how your folders and files looks like. And we also have the classic view for the people that love graphify and its abilities. But over on the left side, we have Jarvis himself. And so if I hold down the option key on my keyboard right now, hey Jarvis, what’s the weather in Bangkok right now? >> I’ll check. Sir, Bangkok is 31° with light rain showers. Sir, feels like 36. >> So just like that, you can speak to it with just voice input and it will tell

[03:11] you basic stuff. We’ll go into more advanced stuff in a minute. But in the top here, you don’t only have access to GPT6 Astra. You can also use Claude with this. So I have connected my Opus 5 subscription into it. I also included a Quen 3, which is a completely uncensored model into it as well. Running completely locally. It easily integrates with any LLM. So if you want Kimik K3, if you want DeepSync, you can just add it here. easily. But on the left side

[03:43] here, we have Jarvis the butler. And this is more personality type stuff. So here we have an assistant that can do things. And this is more of controlling the agents that I’ll get to in just a second. And here you have the Opus 5 that is running on a subscription that is more like a Gemini that answers a little bit faster, but it doesn’t have all the abilities of the software itself. If we go to the right here, you can see that we have any voices from

[04:14] Cocooro, which is a free voice model that is running locally. And we also have the Apple integrated one. If you have Microsoft, just a Microsoft integrated ones, super easy to use. And if so, if you want to change from this British voice to that British voice, it’s easy to do. I find that Daniel here and George is actually super awesome for having the butler in Iron Man, right? But the most important feature that I

[04:44] think at least is the agents tab. So here you can see that we have one agent panel up and this is opening a new T-Max terminal that allows you to use any of your agents. Now, if you haven’t figured it out yet, if you use chatbt or claude with just the chat mode, they’re not as good as if you’re using them in the coding mode or now called work mode. Essentially allowing you to code

[05:14] different apps, make a lot of things, and have a completely different memory and folder structure that just when I started it completely blew me away. And the real problem here is if you just have a normal LLM chat and you ask it to do three different things like check my email and see if there’s anything important and fix this bug in a software that I have and start making content ideas around this one thing. It’s going

[05:45] to do that sequentially. And if you used AI before, what you might do is you might make a new chat for one of them and another chat for the next one and another chat for the next one because you don’t want it to just sit and wait for 3 to 5 minutes for it to complete its task. And that’s one of the big issues that I’ve seen with other like Jarvis or smart assistants is that they can’t really open new chats. So, this allows you to essentially have Jarvis as

[06:18] the lead and he can control all the agents for you. So, let me just show you exactly how that works. So, I have a little bit of a low limit on GBD6 right now. So, I’m going to just go to Opus 5. Let me just show you this other design how it looks like. By the way, I want to have a community poll in my community page where you can vote for your favorite design of Jarvis as well. We have a bunch of them that I think look really cool. Uh, let’s test this one out

[06:48] for now. So, let me just prompt it by holding option and I’ll show you. In the bottom here, you can see that we’re listening and sending directly to Jarvis. Hey, can you open three new agents? One for agent flow, one for goal flow, and one for creator growth. And as you can see, uh, these things like agent flow, goal flow, and creator growth is something that normal dictation tools has a pretty hard time with. But here you can see that they’re all opening,

[07:18] three of them. And you’ll see them here in the UI as well, open pretty shortly. So you can see that >> agents one, two, and three are up, sir, for agent flow, goal flow, and creator growth. And they’re all waiting on you for something to do. And you can now see that once they’re coming back to us with a correct answer or >> the agent flow agent has read through the app and is ready for a job. Sir, it hasn’t changed anything. Though it did spot a fair pile of uncommitted work you left in the Swift files. What would you like it to do? >> And so here I can tell it directly which

[07:51] agent I want to do what and of course if we get some >> creator growth agent is ready too, sir. And it found a podcast’s playlist you added but never committed which is already live on the running app. What should it do with it? There’s one more waiting. >> So there you can see that this type of workflow where they ping me back and Jarvis summarizes it is a little bit >> flow’s agent has had a look around and is ready too sir and it has found uncommitted work of yours there as well. What would you like it on? And in this

[08:22] way, you can kind of not just read a bunch of chats, but rather just chat with it like it’s Jarvis, right? And so, this is a better way of working because you don’t have just one smart assistant that can do tool calls. You actually have three agents and one leader, which is Jarvis itself. And Jarvis speaks back to you. You speak back to it. And it’s a very easy and fun back and forth that you can do with it. So let’s do one

[08:52] prompt or something just to showcase this. Awesome. Can you commit uh what the creator growth agents want? And now you will easily see that he is going to send a message directly to the other assistant and it’s going to run itself and I can just >> I’ve told the creator growth agent to commit the podcast’s playlist sir and to leave the backups and the other loose files out of it. >> Now he got back to me. So, he’s going to speak to me. >> Committed, sir. Only the podcast

[09:23] playlist went in and the backups and loose files were left out, but it’s sitting on main and hasn’t been pushed. >> I guess let’s just demo it a little bit more. Let’s make an app feature on the phone. Awesome work. Can you tell the goal flow agent and ask it if we have committed the calorie tracking inside of Goal Flow so I can see it on the phone? So, here you can see the app. It’s basically a to-do list app that controls >> the gold flow agent whether the calorie tracking is committed sir and that you

[09:54] want to see it on the phone. >> We have this calorie tracking that is just a super easy calorie tracking app that essentially I just tell exactly what I eat and put in the calories. It’s very very basic but helps me a lot in tracking. I just don’t have it in the phone app yet. So I’m just going to as you see I just asked it. We worked on it a little bit yesterday, but actually didn’t get it through. And so I want to see if it actually comes through here. Just listen. >> It’s committed. And on the phone now,

[10:25] sir, under food at the end of the tab bar, you’ll have to close and reopen the app first. One catch, the Mac app has to fill in calories for anything you log on the phone. >> All right, let me check it on the app that I have on my phone. And yes, I can now find a food tab in the bottom here. And if I click over, you can see that I have my ramen and my sushi from yesterday and a little hot pot mala from the day before. And just note, I didn’t

[10:55] use any fingers. Like I use one finger to hold option down, but you can also toggle on the hey Jarvis. And if I say hey Jarvis, I can everything I speak after that becomes completely hands-free. And even crazier, if I actually want to change anything with Jarvis itself, I can just ask Jarvis to make an agent that changes Jarvis. But I know that you have some questions and something else that I want to show you as well. And that is, can you type to

[11:27] it? And of course, you can talk to it right here. So, if I say, “Hey, Jarvis, what is up?” It’s just going to work as a normal chat. And of course, we have um the history You can see >> both commits are in and the phone has the food tab. The goal flow agent is still waiting to hear whether you want the Mac app rebuilt so it can fill in the calories you log on the phone. >> Perfect. So as you can see you have the chat here and you also get the Jarvis uh

[11:58] what is it called? Input into it as well. So this is what it noticed. So basically the agent sent this to Jarvis and then it sent this message to me. So it’s kind of sick workflow. And of course if you want to go back in the chat you can easily just go up in the history right here. And if you want to have a new chat, a completely new one, you can have a new chat here in the top. Uh but I’m just going to close it right now. So that’s the typing and the

[12:30] history. But one of my favorite features is voice dictation because you can use it anywhere. So if you just close this down, you can see that I have my own type of Google Docs. And if I make a new document here, for example, I can just hold down the Fn key, which is different. One of them sends to Jarvis, one of them sends to any chat that you’re in. So, if I just talk out loud right here, it’s going to just pop up immediately right here using an LLM

[13:01] cleanup that is super fast. So, it’s not only using like dictation that may make a lot of mistakes, it actually uses an LLM to clean it up and makes it a little bit more customizable to you. And the LLM that it actually goes into also understands it based on context. So I if I say Google flow, it’s going to read my documents with the graphifier and say ah it probably means goal flow, right? But

[13:31] I can say things like check my goal flow and my agent flow and go to creator growth and then give me some information about Sarpsburg in Norway, which is kind of hard, right? But it literally probably nailed the whole thing and it does it really fast. So if you tried using any other voice dictation apps and probably if you’re paying for some, you can just yoink this and you will have it for free unlimited,

[14:02] which is one of my favorite features. And again, if I want to send it to Jarvis without even being on the screen, option right, hey Jarvis, uh just say hello back to me and it’s going to chat to me without me having to be in the app. So, three, two, one. >> Hello, sir. >> And that was it. Beyond what we just talked about, there is also a bunch of tool calling here as well because when you’re using the assistant mode, you can ask a bunch of different things as well, like ask the graph, make invoice, look,

[14:35] see screen, send to Telegram, read Telegram, read email, find files, list agents, read agent, spawn agent, open app, tell agent. And I think the best part about this is that this is completely open source. So you can just code whatever you want yourself into the app. And so if you’re advanced into agents and you know a lot about agents, you probably already know this that you can add more features. But if you’re a beginner, one thing that you can ask is for example, hey, can you connect to my

[15:06] Gmail? And it’s easily going to connect with your Gmail or whatever calendar app you have. If you have clawed skills or chat GPT skills in the back end, you just put that into the same folder, which again, you can just ask the AI to put it all together. But how do you actually start building something like this yourself? I’m going to give you a prompt pack where you can easily just paste these into cloud code or codeex or even grock if you want to and you’ll get a similar result to mine. We got a bunch

[15:38] of prompts. And what I recommend is doing one by one. So build this out first, then the second one, and then the third. And after a little bit back and forth, you will literally get to exactly what I have kind of, of course, a new version of it. But because it takes me months to make some of these tools, I also have the 5minut download that you can instantly download the exact version that I have and in just 5 minutes it will be up and running. So, if you want that, you can get that for free for 7

[16:09] days. There’s a 7-day free trial to join AIMATE. Cancel at any time. And once you go into the classroom, you can click on my software. And here in the top, you see AF Jarvis. So, this is your own Jarvis, exactly the same as mine. And all you need to do is download this zip file and then copy and paste this XAP prompt into cloud code or codeex. And just like that, you will have the full version immediately. So click the link

[16:39] in the description to join my school community or check out the free prompt pack. If you want to watch more of my videos, click on this video next and I’ll see you there. Peace.