Torres de celular poderão em breve transmitir IA para o seu celular!

Autoria: Better Stack · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Cell Towers Could Soon Broadcast AI on Your Phone! · Canal: Better Stack · 02:34 · Assistir no YouTube

Tópicos: Infraestrutura e hardware de IA, Modelos locais e open source

Resumo

O paper Air LLM propõe que uma torre de celular transmita os pesos de um modelo de IA, enquanto o dispositivo realiza os cálculos diretamente nos sinais de rádio, sem armazenar o modelo. A técnica usa OFDM e um mixer de RF para executar a operação matemática central de cada camada do LLM. Em simulações com o Llama 3.1 de 8 bilhões de parâmetros, a precisão caiu cerca de 4%, enquanto o consumo de energia por token foi cerca de 158 vezes menor que ao transmitir pesos FP16 convencionais. A proposta ainda não foi testada em celulares e torres reais, e sinais fracos ou instáveis podem prejudicar os resultados.

Pontos-chave

O Air LLM propõe transmitir os pesos do modelo por ondas de rádio, sem baixá-los nem armazená-los no dispositivo.
A proposta busca contornar as limitações de memória e o custo energético de movimentar os pesos de LLMs em dispositivos pequenos.
A torre transmite os pesos usando OFDM, técnica também usada em Wi-Fi e 5G.
Um mixer de RF no dispositivo combina o sinal recebido com a entrada para realizar o produto escalar usado nas camadas do modelo.
A transmissão pode atender vários dispositivos próximos sem que a torre precise saber quem está ouvindo.
Segundo as simulações, a precisão na previsão da próxima palavra caiu cerca de 4% no Llama 3.1 de 8 bilhões de parâmetros.
O consumo de energia por token foi cerca de 158 vezes menor do que ao transmitir pesos FP16 convencionais.
A proposta ainda é uma simulação, e sinais fracos ou instáveis podem fazer o modelo produzir resultados repetitivos.

Capítulos

Início	Capítulo	Resumo
00:00	A proposta do Air LLM	O vídeo apresenta a ideia de transmitir os pesos de um LLM de uma torre de celular para que o dispositivo os processe sem armazená-los.
00:30	Transmissão dos pesos por OFDM	A torre transmite os pesos em subportadoras, e o dispositivo usa um mixer de RF para realizar os cálculos do modelo.
01:32	Resultados das simulações	As simulações indicam uma pequena queda na precisão e uma grande redução no consumo de energia por token.
02:03	Limitações e possibilidades futuras	O método ainda não foi testado em equipamentos reais, mas poderia permitir que celulares simples executassem modelos grandes.

Citações

E se o seu celular pudesse executar um LLM de 8 bilhões de parâmetros sem nunca baixar o modelo? — 00:00

Seu dispositivo nunca precisa armazenar nem carregar os pesos. — 00:30

Um único sinal atende todos os dispositivos ao alcance, enquanto o seu prompt nunca sai do celular. — 01:32

Isso ainda é uma simulação, não um celular real se comunicando com uma torre real. — 02:03

Conceitos e entidades

Air LLM (conceito): Proposta de executar cálculos de um LLM usando pesos transmitidos por ondas de rádio, sem armazená-los no dispositivo.
MIT (empresa): Instituição de pesquisa cujos pesquisadores participaram do trabalho sobre o Air LLM.
Duke University (empresa): Universidade cujos pesquisadores participaram do trabalho sobre o Air LLM.
Llama 3.1 (modelo): Modelo usado nas simulações descritas, na versão com 8 bilhões de parâmetros.
OFDM (conceito): Técnica de transmissão que divide um sinal em canais de frequência menores chamados subportadoras.
RF mixer (conceito): Componente de radiofrequência que, na proposta, combina sinais para realizar o produto escalar entre os pesos e a entrada.
Better Stack (empresa): Canal do YouTube que publicou o vídeo sobre a proposta Air LLM.

Tradução completa (pt-BR)

00:00 Escute o que eu tenho a dizer. E se o seu celular pudesse executar um LLM de 8 bilhões de parâmetros sem nunca baixar o modelo? Pesquisadores do MIT e da Duke University acabaram de publicar um artigo chamado Air LLM, em que uma torre de celular transmite os pesos do modelo de IA pelo ar, e o seu dispositivo faz os cálculos diretamente no sinal de rádio antes que qualquer coisa seja armazenada na memória. Então, é assim que funciona. O verdadeiro problema de executar LLMs em dispositivos pequenos é a memória. Até uma versão de 4 bits do modelo Llama 3.1 de 8 bilhões de parâmetros ainda ocupa cerca de 4 GB. E, durante a geração de token

00:30 cada peso que você busca na memória alimenta apenas cerca de duas operações de ponto flutuante. Então, transferir os pesos acaba consumindo muito mais energia do que os cálculos matemáticos para os quais eles são usados. O que o Air LLM faz é enviar os pesos pelo ar, para que o seu dispositivo nunca precise armazená-los nem carregá-los. Em vez disso, um rádio central, como uma estação-base 5G, transmite os pesos usando algo chamado OFDM, sigla para multiplexação por divisão de frequência ortogonal, a mesma técnica usada por Wi-Fi e 5G, na qual um sinal é dividido em milhares de pequenos

01:01 canais de frequência chamados subportadoras, e cada uma carrega sua própria parte dos dados. Nesse caso, cada subportadora carrega um peso do modelo. Então, o seu dispositivo insere a própria entrada em um misturador de RF, um componente que todo celular já tem para lidar com sinais de rádio. Quando o misturador combina dois sinais, a frequência central do resultado corresponde exatamente ao produto escalar dos pesos e da sua entrada, que é o cálculo fundamental por trás de cada camada de um LLM. Então, o cálculo acontece dentro da própria onda de rádio, e o seu dispositivo simplesmente lê a resposta. E, como a torre não precisa saber

01:32 quem está ouvindo, uma única transmissão atende todos os dispositivos ao alcance, enquanto o seu prompt nunca sai do celular. A equipe testou o sistema em modelos simulados de cidades como Paris e Munique, usando medições de um misturador de RF real. No modelo Llama 3.1 de 8 bilhões de parâmetros, a precisão do modelo ao prever a próxima palavra caiu apenas cerca de 4%. Na prática, isso significa que as respostas do modelo são quase tão boas quanto as do original, enquanto o consumo de energia por token caiu cerca de 158 vezes em comparação com a transmissão de pesos FP16 convencionais. Mas também há ressalvas importantes. Isso

02:03 ainda é uma simulação, não um celular real se comunicando com uma torre real, e dispositivos com sinais fracos ou instáveis começam a falhar, como um em Munique que ficou preso repetindo “seus jardins de cerveja” e “seus jardins de cerveja”. Mas fazer cálculos dentro das próprias ondas de rádio é uma das ideias de IA de borda mais surpreendentes que ouvi este ano. E, se funcionar no mundo real, as torres de celular poderão um dia transmitir modelos de IA da mesma forma que transmitem TV e rádio hoje, e até um celular barato ou um relógio inteligente poderá executar um modelo grande sem precisar ter memória suficiente para armazená-lo. Não seria incrível? E

02:34 se você quer ficar por dentro das últimas novidades em pesquisa e engenharia de IA, não deixe de se inscrever no canal Better Stack.

Transcrição original

[00:00] Hear me out. What if your phone could run an 8-billion parameter LLM without ever downloading the model? Researchers from MIT and Duke University just published a paper called Air LLM, where a cell tower broadcasts the AI model weights over the air, and your device does the math directly on the radio signal before anything is ever stored in memory. So, here’s how it works. So, the real problem with running LLMs on small devices is memory. Even a 4-bit version of Llama 3.1 8-billion parameter model still takes about 4 GB. And during token

[00:30] generation, every weight you fetch from memory only feeds about two floating-point operations. So, moving the weights end up costing way more energy than the math calculations they’re used for. What Air LLM does is send the weights over the air, so your device never has to store or load them at all. Instead, a central radio, like a 5G base station, broadcasts the weights using something called OFDM, which stands for orthogonal frequency-division multiplexing, and it’s the same technique Wi-Fi and 5G use, where one signal is split into thousands of tiny

[01:01] frequency channels called subcarriers, and each one carries its own piece of data. In this case, each subcarrier carries one weight of the model. Your device then feeds its own input into an RF mixer, which is a component every phone already has for handling radio signals, and when the mixer combines two signals, the middle frequency of the result works out to be exactly the dot product of the weights and your input, which is the core math behind every LLM layer. So, the calculation happens inside the radio wave itself, and your device just reads off the answer. And since the tower doesn’t need to know

[01:32] who’s listening, one broadcast serves every device in range while your prompt never leaves your phone. The team tested it on simulated city models of Paris and Munich using measurements from a real RF mixer, and on Llama 3.1 8-billion parameter model, the model’s accuracy at predicting the next word only got about 4% worse. In practice, that means that model’s answers are almost as good as the original, while energy per token dropped about 158 times compared to streaming regular FP16 weights. There are also some big caveats though. This

[02:03] is still a simulation rather than a real phone talking to a real tower and devices with weak or messy signals start to fall apart like one in Munich that got stuck repeating its beer gardens and its beer gardens. But doing the math inside the radio waves themselves is one of the wildest edge AI ideas I’ve heard this year. And if it works in the real world, cell towers could one day stream AI models the same way they stream TV and radio today and even a cheap phone or a smart watch could run a big model without needing the memory to hold it. Wouldn’t that be something, right? And

[02:34] if you want to stay up to date with the latest in AI research and engineering, be sure to subscribe to the Better Stack channel.