Criando assistentes de IA com memória no dispositivo

Autoria: DeepLearningAI · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Building AI Assistants with On-Device Memory · Canal: DeepLearningAI · 01:38 · Assistir no YouTube

Tópicos: Agentes de IA, Engenharia de prompts e contexto, Modelos locais e open source, RAG, busca e recuperação de informação

Resumo

O curso apresenta como criar aplicações de IA que funcionam no próprio dispositivo e podem operar sem conexão com a internet. O assistente de voz desenvolvido no curso transforma notas, gravações e fotos em embeddings e os armazena com contexto para recuperação posterior. Com o mecanismo de busca vetorial open source Quadrant Edge, é possível pesquisar memórias semanticamente, filtrá-las por metadados e apagá-las. Ao final, o assistente pode responder a perguntas sobre o dia do usuário e reconhecer objetos ensinados por meio de exemplos.

Pontos-chave

A execução no dispositivo mantém os dados próximos da aplicação e permite que ela funcione sem conexão de rede.
O assistente converte experiências em embeddings e as armazena como vetores com contexto útil.
Memórias podem incluir notas de texto, gravações de voz e fotos.
O mecanismo Quadrant Edge permite pesquisar memórias semanticamente e filtrá-las por metadados.
O sistema permite apagar memórias quando se deseja que o assistente as esqueça.
O assistente pode recuperar notas sobre compromissos e reconhecer objetos ensinados com fotos.
A aplicação pode ser executada em diferentes dispositivos, incluindo Mac e PC com Windows.

Capítulos

Início	Capítulo	Resumo
00:00	Por que usar memória no dispositivo	A execução local aproxima a IA dos dados e permite que ela funcione sem conexão, além de abrir possibilidades para dar ao dispositivo memória de suas experiências.
00:32	Como o assistente armazena experiências	O curso ensina a transformar experiências em embeddings e vetores para recuperar notas e reconhecer objetos sem enviar memórias a serviços remotos.
01:04	Construção e uso do sistema de memória	O curso apresenta a arquitetura local e o uso do Quadrant Edge para armazenar, pesquisar, filtrar e apagar memórias, além de criar um assistente offline capaz de responder sobre o dia e reconhecer objetos ensinados.

Citações

A IA pode ficar próxima dos dados com os quais está trabalhando. — 00:00

Você aprenderá a criar aplicações de IA no dispositivo que podem se lembrar do que viram, ouviram e receberam como informação. — 00:32

Você armazenará notas como vetores, fará buscas semânticas, filtrará por metadados e apagará memórias quando quiser que o sistema esqueça. — 01:04

Você terá criado um assistente no dispositivo para controlar experiências, recuperá-las, esquecê-las e reconhecer coisas que ensinou a ele. — 01:38

Conceitos e entidades

on-device memory (conceito): Memória armazenada e processada no próprio dispositivo para que o assistente possa recuperar experiências sem enviá-las a um serviço remoto.
embedding (conceito): Representação vetorial de informações, usada pelo assistente para armazenar e recuperar memórias.
Quadrant Edge (ferramenta): Mecanismo open source de busca vetorial usado no curso para armazenar e pesquisar memórias.
Quadrants (empresa): Empresa mencionada como parceira do curso sobre assistentes de IA com memória no dispositivo.
Dylan Cusack (pessoa): Instrutor do curso apresentado no vídeo.

Tradução completa (pt-BR)

00:00 Para muitos aplicativos de IA executados diretamente no dispositivo, como seu celular, laptop ou este aqui, isso abre possibilidades que podem ser mais difíceis de alcançar quando tudo depende da nuvem. A IA pode ficar perto dos dados com que está trabalhando. Ela pode responder localmente e continuar funcionando mesmo sem conexão de rede. E, para alguns aplicativos, talvez você queira dar ao dispositivo uma memória das próprias experiências. Estou muito feliz em apresentar Building AI Assistants with On-Device Memory, desenvolvido em parceria com Quadrants e ministrado por Dylan

00:32 Cusack. Neste curso, você aprenderá a criar aplicativos de IA no dispositivo que conseguem se lembrar do que viram, ouviram e receberam como informação. O assistente de voz que você vai construir ao longo deste curso transformará essas experiências em embeddings e as armazenará em vetores, junto com contexto útil para recuperação posterior. O assistente recuperará uma anotação de voz sobre um compromisso ou reconhecerá um objeto que você ensinou a ele usando algumas fotos. Tudo isso acontece no próprio dispositivo, sem enviar memórias para um serviço remoto.

01:04 >> Obrigado, Andrew. Você não depende de um hardware específico para executar o aplicativo que vai construir neste curso. Você pode executá-lo em qualquer dispositivo, incluindo seu Mac ou PC com Windows. Você começará aprendendo sobre a arquitetura dentro do dispositivo, onde a câmera, os modelos de embedding e a memória vetorial trabalham juntos no dispositivo. Em seguida, você construirá o sistema de memória passo a passo usando nosso mecanismo de busca vetorial open source Quadrant Edge. Você armazenará anotações como vetores, fará buscas semânticas nelas, aplicará filtros usando metadados e apagará memórias quando quiser que o sistema

01:38 esqueça. >> Depois, você combinará anotações de texto, gravações de voz e fotos em um assistente offline capaz de responder a perguntas sobre o seu dia. E, na lição final, você ensinará o dispositivo a reconhecer um novo objeto adicionando exemplos à memória. >> A memória é importante para personalizar experiências para um usuário específico. E, ao final deste curso, você terá construído um assistente no dispositivo para controlar experiências, recordá-las, esquecê-las e reconhecer coisas que você ensinou a ele. Espero que você goste do curso.

Transcrição original

[00:00] For many AI applications running directly on the device like your phone, laptop, or this, opens up possibilities that could be harder to achieve than when everything depends on the cloud. The AI can stay close to the data it’s working with. It can respond locally and continue operating even without a network connection. And for some applications, you might want to give the device a memory of their own experiences. I’m thrilled to introduce Building AI Assistants with on-device memory built in Partnership with Quadrants and taught by Dylan

[00:32] Cusack. In this course, you’ll learn how to build on-device AI applications that can remember what they’ve seen, heard, and been told. The voice assistant you’ll build throughout this course will turn these experiences into embeddings and store those in vectors together with useful context for later retrieval. The assistant will retrieve a voice note about an appointment or recognize an object that you taught it from a few photos. With all of this happening on the device itself without sending memories to remote service.

[01:04] >> Thanks, Andrew. You don’t depend on a specific hardware to run the application you will build in this course. You can run it on any device, including your Mac or Windows PC. You’ll start by learning about the architecture inside the device where the camera, [music] embedding models, and vector memory all work together on the device. [music] Then, you’ll build the memory system step-by-step using our open-source Quadrant Edge [music] vector search engine. You’ll store notes as vectors, search them semantically, filter them using metadata, and delete memories when you want the system to

[01:38] forget. >> [music] >> Next, you’ll combine text notes, voice recordings, and photos into an offline assistant that can answer questions about your day. And in the final lesson, you’ll teach the device to recognize a new object by adding examples to memory. >> Memory is important for [music] customizing experiences to a particular user. And by the end of this course, you have built an [music] on-device assistant to control experiences, recall them, forget them, and recognize things that you taught it. I hope you enjoy the course.