Conheça o pg_pinecone: busca vetorial open source dentro do Postgres

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Introducing pg_pinecone: Open-Source Vector Search Inside Postgres · Canal: Pinecone · 01:38 · Assistir no YouTube

Tópicos: Dados, bancos de dados e embeddings, Open source e ecossistemas de software, RAG, busca e recuperação de informação

Resumo

O vídeo apresenta o PG Pinecone, uma extensão open source para Postgres baseada no mecanismo de busca que a Pinecone usa em escala. Ela oferece índices menores, builds rápidos e busca precisa, com ou sem filtros, mantendo a interface SQL e sem exigir nova infraestrutura. A demonstração mostra como instalar a extensão, criar um índice e consultar dados filtrados por tenant. Quando uma instalação cresce além de um servidor, é possível migrar a busca para a Pinecone e, com uma API key, adicionar embeddings, busca por palavras-chave e re-ranking.

Pontos-chave

PG Pinecone é uma extensão open source para Postgres.
A extensão oferece índices menores e builds rápidos.
É possível fazer buscas precisas com ou sem filtros dentro do banco de dados.
A solução mantém a interface SQL e não exige nova infraestrutura.
A instalação começa com um release pré-compilado no GitHub ou uma imagem do Docker Hub.
É possível usar uma coluna vetorial existente ou adicionar uma nova.
A demonstração filtra os resultados por tenant ID e ordena por embedding.
Ao crescer além de um servidor, uma migração com um comando leva a busca para Pinecone.
Com uma API key, é possível adicionar embeddings, busca por palavras-chave e re-ranking.

Capítulos

Início	Capítulo	Resumo
00:03	O desafio da busca vetorial no Postgres	O vídeo apresenta soluções improvisadas para manter a busca vetorial rápida e introduz o PG Pinecone como uma extensão para Postgres.
00:34	Instalação e criação do índice	A demonstração explica como obter a extensão, criá-la no Postgres e configurar um índice usando uma coluna de tenant ID para filtros.
01:06	Consultas filtradas e migração para Pinecone	A consulta filtra por tenant ID e ordena por embedding; o vídeo também apresenta a migração da busca para Pinecone quando uma instalação cresce além de um servidor.
01:38	Como começar	O vídeo encerra convidando a testar a extensão em uma tabela existente e consultar os links para começar.

Citações

Mas você escolheu o Postgres para manter as coisas simples. — 00:03

Busca precisa, com ou sem filtros, tudo dentro do seu banco de dados. — 00:34

A mesma interface SQL, direto no seu banco de dados Postgres. — 01:06

Crie a extensão, adicione o índice e execute sua primeira consulta filtrada. — 01:38

Conceitos e entidades

PG Pinecone (ferramenta): Extensão open source para Postgres que oferece busca vetorial baseada no mecanismo de busca da Pinecone.
PostgreSQL (ferramenta): Banco de dados no qual a extensão permite executar buscas vetoriais usando a interface SQL.
Pinecone (empresa): Empresa cujo mecanismo de busca serve de base para a extensão apresentada.
GitHub (ferramenta): Plataforma de onde é possível obter o release pré-compilado da extensão.
Docker Hub (ferramenta): Registro de imagens de contêiner de onde é possível baixar uma imagem para começar a usar a extensão.

Tradução completa (pt-BR)

00:03 Quantas soluções alternativas você está usando para manter a busca vetorial rápida no seu banco de dados Postgres? Talvez você tenha um índice por locatário ou esteja limitando a quantidade de dados que indexa. Ou talvez tenha tentado reconstruir o índice durante a noite, mas o processo não termina a tempo. Talvez você use uma instância maior só para que o índice caiba na memória. Mas você escolheu o Postgres para manter as coisas simples. Então, hoje, estamos apresentando o PG Pinecone, uma extensão open source do Postgres baseada no mecanismo de busca que a Pinecone opera em grande escala. Você tem um índice pequeno, builds rápidos,

00:34 buscas precisas, com ou sem filtros, tudo dentro do seu banco de dados. E você mantém a mesma interface SQL, sem precisar de uma nova infraestrutura. Começar leva apenas alguns minutos. Baixe a versão pré-compilada no GitHub ou baixe a imagem do Docker Hub. Depois, [música] no Postgres, crie a extensão. Você pode adicionar uma nova coluna de vetores ou usar uma que já tenha. >> [música] >> Em seguida, crie um índice nela. Aqui, estou usando uma coluna de ID do locatário para filtrar

01:06 por locatário. [música] E então consulte como sempre faz. Filtre pelo ID do locatário e depois ordene por embedding. >> [música] >> É isso. A mesma interface SQL, direto no seu banco de dados Postgres. >> [música] >> Quando você ultrapassar a capacidade de um único servidor, um comando transfere sua busca para a Pinecone. >> [música] >> Você mantém as mesmas consultas e o Postgres continua sendo sua fonte da verdade. Com uma chave de API, você também pode adicionar embeddings, busca por palavras-chave e reranqueamento. >> [música] >> O PG Pinecone é open source e está pronto para você experimentar hoje. Execute-o em uma tabela que você já

01:38 tenha. Crie a extensão, adicione o índice e execute sua primeira consulta com filtro. >> [música] >> Acesse os links abaixo para começar.

Transcrição original

[00:03] How many workarounds are you running to keep vector search fast in your Postgres database? Maybe you’ve got an index per tenant, or you’re capping how much data you index. Or you’ve tried rebuilding overnight and it doesn’t finish in time. Maybe you have a bigger instance just so your index fits in memory. But you picked Postgres to keep things simple. So today we’re introducing PG Pinecone, an open-source Postgres extension based on the search engine that Pinecone runs at scale. You get a small index, fast builds,

[00:34] accurate filtered or unfiltered search all right inside your database. And you keep the same SQL interface and no new infrastructure. Getting started takes just a few minutes. Grab the pre-built release from GitHub or pull the image from Docker Hub. Then [music] in Postgres, create the extension. You can either add a new vector column or use one that you already have. >> [music] >> Then create an index on it. Here, I’m using a tenant ID column for filtering

[01:06] by tenant. [music] And then query the way you always do. Filter by tenant ID and then order by embedding. >> [music] >> That’s it. The same SQL interface right inside your Postgres database. >> [music] >> When you all crawl one server, one command moves your search to Pinecone. >> [music] >> You’ve got the same queries and Postgres stays your source of truth. With an API key, you can also add embeddings, keyword search, and re-ranking. >> [music] >> PG Pinecone is open-source and ready to try today. Run it on a table you already

[01:38] have. Create the extension, add the index, and run your first filtered query. >> [music] >> Grab the links below to get started.