Esqueça a Series 12. Minha Series 6 roda um LLM localmente!
Autoria: Better Stack · Assistir no YouTube
Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.
Idioma original: inglês
Vídeo original: Forget the Series 12. My Series 6 Runs an LLM Locally! · Canal: Better Stack · 01:01 · Assistir no YouTube
Tópicos: Agentes de IA, Inferência e otimização de modelos, Modelos locais e open source, Modelos multimodais
O vídeo demonstra um LLM funcionando totalmente offline em um Apple Watch Series 6, lançado em 2020. O relógio executa o Falcon H1, um modelo de 90 milhões de parâmetros, e transmite texto a cerca de 15 tokens por segundo. O modelo também oferece suporte a tool calls, como uma consulta à Wikipedia para responder qual é a capital da França. A demonstração levanta a questão de por que fabricantes ainda hesitam em levar LLMs para execução local em dispositivos.
Pontos-chave
Seção intitulada “Pontos-chave”- O modelo funciona totalmente offline no Apple Watch Series 6, sem processamento na nuvem.
- O Falcon H1 tem 90 milhões de parâmetros e roda no dispositivo.
- A velocidade média de geração é de cerca de 15 tokens por segundo.
- O relógio permite inserir prompts por voz.
- O modelo usa uma tool call da Wikipedia para responder a uma pergunta factual.
- A demonstração também pede ao modelo uma explicação sobre o algoritmo de busca em profundidade.
- O vídeo argumenta que até dispositivos de 2020 podem ser capazes de executar modelos de IA localmente.
Capítulos
Seção intitulada “Capítulos”| Início | Capítulo | Resumo |
|---|---|---|
| 00:00 | LLM offline no Apple Watch | A demonstração apresenta o Falcon H1 rodando no Apple Watch Series 6, sem conexão com a nuvem e a cerca de 15 tokens por segundo. |
| 00:31 | Tool calls e perguntas ao modelo | O modelo recebe prompts por voz, consulta a Wikipedia para responder uma pergunta e é testado com uma explicação sobre busca em profundidade. |
| 01:01 | O potencial dos dispositivos antigos | O apresentador conclui que dispositivos de 2020 podem rodar modelos localmente e questiona a hesitação dos fabricantes. |
Citações
Seção intitulada “Citações”Tudo está funcionando no próprio dispositivo. — 00:00
Ele está transmitindo texto a cerca de 15 tokens por segundo, em média. — 00:00
Também oferece suporte a tool calls. — 00:31
Por que os fabricantes de dispositivos ainda hesitam em adotar LLMs no próprio dispositivo? — 01:01
Conceitos e entidades
Seção intitulada “Conceitos e entidades”- Apple Watch Series 6 (modelo): Relógio lançado em 2020 que, no vídeo, executa um LLM localmente.
- Falcon H1 (modelo): Modelo de 90 milhões de parâmetros usado na demonstração.
- Wikipedia (ferramenta): Fonte consultada por meio de uma tool call para responder à pergunta sobre a capital da França.
- edge computing (conceito): Execução do processamento no próprio dispositivo, sem depender da nuvem.
- tool calling (conceito): Capacidade do modelo de acionar ferramentas, demonstrada com uma consulta à Wikipedia.
Tradução completa (pt-BR)
Seção intitulada “Tradução completa (pt-BR)”00:00 Este é um modelo de IA LLM que funciona completamente offline em um Apple Watch Series 6, um relógio de seis anos que foi lançado em 2020. Não há transmissão pela nuvem envolvida. Tudo funciona na borda, transmitindo texto a uma média de cerca de 15 tokens por segundo. Isso funciona porque, por trás dos panos, ele executa um modelo de 90 milhões de parâmetros chamado Falcon H1. E, por ser tão pequeno, seu desempenho é surpreendentemente bom. Ele
00:31 também oferece suporte a chamadas de ferramentas e, graças à entrada de voz do próprio relógio, é muito fácil enviar um prompt para ele. Qual é a capital da França? E, como você pode ver, ele está usando a chamada de ferramenta da Wikipedia e respondeu quase instantaneamente que Paris é a capital da França, o que está correto. Agora, vamos perguntar algo mais difícil. Você pode me explicar o algoritmo de busca em profundidade? Nossa. E veja só: ele está transmitindo o texto tão
01:01 rapidamente. Isso significa que até mesmo dispositivos antigos de 2020, como o Apple Watch Series 6, são potentes o bastante para executar modelos de IA localmente. Então, minha pergunta sincera é: por que os fabricantes de dispositivos ainda hesitam em migrar para LLMs na borda? Você tem alguma opinião sobre isso? Conte o que pensa nos comentários abaixo.
Transcrição original
[00:00] This is an LLM AI model running completely offline on an Apple Watch Series 6, which is a 6-year-old watch that came out back in 2020. There’s no streaming over the cloud involved here. Everything is working on edge and streaming text at around 15 tokens per second on average. The reason this works is because behind the scenes, it’s running a 90 million parameter model called Falcon H1. And because it’s so small, it’s surprisingly performant. It
[00:31] even supports tool calls, and thanks to the watch’s own voice input, it’s really easy to prompt it as well. What is the capital of France? And as you can see, it’s using the Wikipedia tool call, and it answered almost instantly that Paris is the capital of France, which is correct. Now, let’s ask it something more difficult. Can you explain the depth-first search algorithm to me? Wow. And look at that, it is streaming so
[01:01] quickly. This means that even old devices from 2020, like the Apple Watch Series 6, are powerful enough to run AI models locally. So, my honest question is, why are device makers still hesitant to make the jump to on-edge LLMs? Do you have any thoughts on that? Let me know what you think in the comment section down below.