Dados, bancos de dados e embeddings

Ver no idioma original →

Dados, bancos de dados e embeddings são apresentados nos vídeos como a base para armazenar, organizar, recuperar e analisar informações — inclusive para aplicações com AI agents. As abordagens vão de bancos relacionais e lakehouses a índices vetoriais e grafos; em todos os casos, os vídeos destacam a importância de combinar desempenho com qualidade dos dados, governança e validação dos resultados. ↗ ↗ ↗

Armazenamento, processamento e operação de bancos de dados

Bancos diferentes podem ser ajustados a necessidades distintas. A Perplexity substituiu o DynamoDB pelo Cobble DB, construído sobre RocksDB, para melhorar leituras em lote: segundo os resultados apresentados, a latência mediana caiu de 31,4 ms para 5,6 ms, e a P99, de 123 ms para 24 ms. ↗ Para dados de séries temporais, o TimescaleDB amplia o PostgreSQL com hypertables, índices, agregados contínuos e políticas de retenção. ↗

Em ambientes distribuídos, isolamento e redundância ajudam a escalar e manter a disponibilidade, mas Multi-AZ não substitui backup: eventos regionais podem afetar várias availability zones, e os clientes citados como recuperados tinham cópias em outra região. ↗ ↗ Para desenvolvimento e testes, branches isoladas do Neon ou do Lakebase permitem experimentar alterações e migrações sem modificar a produção. ↗ ↗

Um cache em memória pode ficar entre a aplicação e o banco de dados para oferecer acesso rápido a dados usados com frequência. O Memorystore for Valkey é apresentado como serviço gerenciado compatível como substituto direto para workloads de Redis OSS, com acesso em menos de um milissegundo, escalabilidade e alta disponibilidade. A versão 9.0 oferece até três vezes mais QPS do que o Memorystore for Redis Cluster e inclui Vector Search para casos como cache semântico e memória dinâmica de prompt para LLMs e agents em tempo real. O serviço também gerencia operações como failover, segurança e escalabilidade. ↗

Outro tutorial mostra a configuração de uma máquina virtual gratuita na Oracle Cloud com duas CPUs, 12 GB de memória e 150 GB de armazenamento, incluindo Ollama com Llama 3.1 8B, Docker, n8n e PostgreSQL. O vídeo recomenda manter a máquina em uso e criar um backup para reduzir o risco de perder o servidor gratuito. ↗

Decisões de arquitetura também envolvem trade-offs entre consistência, disponibilidade, escalabilidade, concorrência e entrega confiável de mensagens. Um curso de system design propõe esclarecer requisitos e discutir essas decisões ao projetar sistemas, além de enfatizar comunicação, julgamento técnico e planejamento. ↗ Um caso de recuperação de software embarcado ilustra restrições diferentes: após uma falha de memória da Voyager 1 corromper cerca de 3% dos dados, engenheiros dividiram o código afetado entre espaços menores e enviaram uma correção em binário; os dados voltaram a ser legíveis em abril de 2024. ↗

Embeddings, busca e recuperação

Embeddings representam texto — e, em modelos multimodais, outros tipos de conteúdo — como vetores que permitem buscar por significado. Em um fluxo de RAG, a aplicação recupera trechos relevantes de um banco vetorial e os inclui no prompt para que o modelo responda com base nos documentos. ↗ O EmbeddingGemma 2 mapeia texto, imagens, vídeo e áudio para um espaço vetorial compartilhado; os vídeos demonstram buscas multimodais e mencionam que o modelo pode ser ajustado para conteúdos especializados. ↗ ↗

A recuperação pode combinar busca vetorial e textual. O Lakebase Search reúne busca vetorial, BM25 e hybrid search, com reciprocal rank fusion; seu pipeline usa Databricks, Spark e Unity Catalog para gerar embeddings e manter o índice sincronizado com alterações nos documentos. ↗ A Elastic também apresenta hybrid search, com combinações como Reciprocal Rank Fusion ou combinação linear, e ressalta que a escolha depende dos dados, da relevância desejada e do orçamento de latência. ↗

Um curso de busca híbrida no PostgreSQL constrói uma aplicação sobre artigos da Wikipédia e compara busca nativa por palavras-chave, BM25, busca semântica por vetores e busca híbrida. A combinação usa Reciprocal Rank Fusion (RRF), que funde as listas de resultados sem comparar diretamente as pontuações de BM25 e dos vetores. O curso também aborda a interface, a inserção de artigos e os limites dos testes de desempenho apresentados. ↗

Benchmarks de bancos vetoriais exigem cautela: medir recall com precisão depende de conhecer os vizinhos mais próximos exatos, cálculo custoso em grandes conjuntos. Testes menores não devem ser extrapolados automaticamente para escala de produção; os vídeos recomendam avaliar os sistemas com dados próprios. ↗ ↗

Contexto, semântica e dados para agents

Para que agents consultem dados empresariais adequadamente, os vídeos destacam a necessidade de fornecer contexto sobre métricas, entidades, permissões e relações. No Databricks, a Genie ontology combina semântica definida no Unity Catalog com conhecimento inferido de padrões de uso, para apoiar a interpretação de conceitos de negócio e o cálculo de métricas. ↗ O Genie One MCP pode disponibilizar definições empresariais e referências do glossário a um agent no Cursor, que as usa para produzir código fundamentado na semântica da empresa. ↗

Uma demonstração do Genie mostra análises de adoção de produto que combinam dados operacionais, documentos, tickets e conhecimento organizado pela ontologia. O sistema usa definições confiáveis, dados atualizados e fontes, respeitando permissões do Unity Catalog; a mesma ontologia e as mesmas regras de acesso também podem acompanhar perguntas feitas no Slack. A demonstração inclui previsões, skills, tarefas agendadas e um agent especializado compartilhável com a equipe. ↗ Em outro caso, a HelloFresh Group usa Databricks, Genie e agents para integrar dados antes isolados e otimizar gastos com anúncios da Meta; a empresa relata que tarefas de manutenção passaram de 40–50 horas por semana para uma ou duas horas. ↗

Grafo de contexto e memória também aparecem como formas de organizar informações relacionadas, com origem, permissões e possibilidade de atualização. Uma camada de memória pode formar, armazenar, recuperar e consolidar informações, combinando busca vetorial, textual, relacional ou por grafo. ↗ ↗ A proposta de Mako, por exemplo, separa informações privadas de itens promovidos a espaços compartilhados e rastreia sua origem. ↗

GraphRAG incorpora um grafo de conhecimento ao caminho de recuperação para ajudar a responder perguntas que dependem de conexões entre informações. A palestra compara GraphRAG com RAG baseado em vetores e observa que combinar os métodos pode ser mais útil do que substituir um pelo outro. A oficina cria um grafo a partir de texto e conecta um agent usando busca por similaridade, consultas Cypher e um schema para orientar a extração de entidades e relações. ↗ De forma relacionada, um mecanismo de contexto relacional pode combinar busca semântica com consultas estruturadas: a demonstração descobre o schema, resolve identidades, gera consultas a partir de linguagem natural e valida resultados, com controles de segurança, busca textual e tentativas de autocorreção. ↗

Grafos também podem ser usados como camada de consulta sobre dados que permanecem em outro sistema. A tecnologia Virtual Graph da Neo4j permite criar um modelo de grafo sobre dados no BigQuery, explorar nós e relações sem duplicar os dados e usar grafos de conhecimento como camada para aplicações e agents. ↗ Uma visão de arquitetura empresarial destaca ontologias, alcance dos dados, raciocínio multihop e memória como elementos de uma camada de conhecimento voltada a oferecer contexto correto aos agents e apoiar aprendizado contínuo. ↗

A memória espacial é outro caso de dados conectados ao longo do tempo: a proposta apresentada mapeia edifícios com sensores disponíveis no mercado, transforma visitas em registros espaciais semânticos e guarda mudanças em um banco de dados de grafos. Isso permitiria comparar visitas e consultar alterações com evidências, com possíveis aplicações em manutenção, conformidade e seguros imobiliários. ↗

Agentes também podem usar dados de negócio e aplicativos para obter contexto e executar tarefas. Na conversa sobre Work IQ, essa camada conecta dados, processos e aplicativos, com o objetivo de reduzir o uso de tokens e acelerar tarefas; o aprendizado contínuo pode sugerir melhorias em skills e modelos semânticos com base no uso dos agents. ↗

Qualidade, governança e limites dos dados

O acesso aos dados precisa ser controlado: uma apresentação propõe autorização dinâmica com zero trust, pontos de aplicação e decisão de políticas e regras baseadas em relações e atributos de um grafo de conhecimento. Mesmo assim, limitar o que um agent consulta não garante que suas respostas estejam corretas; elas ainda precisam ser verificadas. ↗

Qualidade e estrutura também influenciam os resultados. Dados de sinistros de seguros podem conter formatos inconsistentes, duplicidades e informações ausentes; o vídeo recomenda transformação digital, evals, governança e validação humana antes de depender de IA. ↗ Em catálogos de produtos, conteúdo estruturado e relevante pode melhorar recomendações, enquanto excesso de informação pode aumentar alucinações. ↗ Já o TabFM pode prever rótulos tabulares com exemplos rotulados, mas não compreende necessariamente a semântica das colunas e pode haver vazamento de dados; a demonstração usa branches isoladas para testar sem alterar a produção. ↗

A preparação de coleções documentais para IA inclui descobrir e selecionar arquivos, classificar documentos, detectar informações sensíveis e avaliar qualidade e atualidade. Duplicações e documentos desatualizados podem prejudicar o contexto recuperado por RAG e agents; uma abordagem demonstrada cria recortes de dados com metadados e evidências e gera arquivos de contexto a partir de pastas do SharePoint. ↗

Ferramentas de extração com LLMs podem transformar PDFs, imagens, digitalizações e manuscritos em respostas ou saídas estruturadas, como JSON. O Unstract permite configurar diferentes LLMs e componentes, visualizar custo, tempo e tokens consumidos e disponibilizar o processamento como API ou em um pipeline ETL. ↗

Uma abordagem para comprimir informações apresenta documentos como imagens e os comprime em tokens visuais. Segundo a transcrição do vídeo sobre DeepSeek OCR, compressão de 10× permite recuperar mais de 96% do texto, enquanto em quase 20× a precisão do OCR cai para 60%. O método combina atenção local, compressão convolucional e processamento visual global, mas testes indicam que o modelo pode completar textos com base em padrões de linguagem em vez de recuperar todo o conteúdo visual. ↗

A geração de dados sintéticos pode apoiar o treinamento e a avaliação de agents. O NVIDIA Data Designer é apresentado como um framework open source para criar dados estruturados e diversos, fundamentados em dados reais; um workshop usa MCP e Tavily para gerar trajetórias de busca destinadas a treinar modelos Nemotron em perguntas difíceis com informações atuais. A apresentação também aborda avaliação, filtragem, curadoria, anonimização e personas sintéticas. ↗

Modelos pequenos podem ser importantes quando há restrições de execução no dispositivo. A Capture usa destilação para transferir o desempenho de modelos maiores de visão computacional para modelos menores que possam rodar em celulares, permitindo verificar entregas no momento da captura e orientar correções em tempo real. A empresa também usa serviços do Google Cloud para desenvolver e treinar modelos em escala e planeja combinar compreensão visual com uma camada de planejamento. ↗

A análise de dados e a apresentação de resultados também exigem validação. Em uma demonstração com Claude e Power BI, o modelo ajuda a criar relacionamentos, uma tabela calendário e medidas para uma base de vendas, além de gerar visuais em HTML. O apresentador configura filtros e formatações manualmente e ressalta a necessidade de conferir os cálculos antes de usar o dashboard na tomada de decisão. ↗ De modo semelhante, um vídeo sobre apresentações recomenda um processo de análise dos dados, elaboração da narrativa, estruturação, criação dos slides e revisão: a IA pode ajudar a resumir dados e identificar inconsistências, mas a verificação final cabe à pessoa. ↗

Dados, bancos de dados e embeddings

Armazenamento, processamento e operação de bancos de dados

Embeddings, busca e recuperação

Contexto, semântica e dados para agents

Qualidade, governança e limites dos dados

Vídeos neste tópico