Pinecone Changelog: busca híbrida em um único índice, BYOC e VQ-Bench

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Pinecone Changelog: Hybrid search in one index, BYOC, and VQ-Bench · Canal: Pinecone · 03:35 · Assistir no YouTube

Tópicos: Dados, bancos de dados e embeddings, Infraestrutura e hardware de IA, RAG, busca e recuperação de informação

Resumo

A Pinecone apresenta atualizações na Documents API, que agora oferece inference integrada e facilita a busca híbrida em um único índice. O BYOC ficou disponível de forma geral e passou a oferecer capacidade sob demanda, mantendo o plano de dados na nuvem do cliente. A equipe também lançou o VQ Bench, com uma biblioteca open source e um benchmark para comparar quantizadores de vetores. Por fim, clientes Enterprise podem usar uma API para exportar dados de custos e uso no formato FOCUS.

Pontos-chave

A Documents API permite definir documentos com vários campos pesquisáveis e combinar buscas densas, esparsas, por texto completo e por metadata em um único índice.
A inference integrada permite que a Pinecone gere embeddings e pesquise os dados pela mesma API.
O BYOC está disponível em AWS, GCP e Azure; o plano de dados roda na nuvem do cliente, enquanto a Pinecone gerencia as operações da plataforma.
O BYOC também oferece capacidade sob demanda, que pode acompanhar o crescimento da demanda sem exigir que o tamanho do índice seja definido antecipadamente.
O VQ Bench reúne um artigo, uma biblioteca open source e um benchmark para implementar e comparar quantizadores de vetores.
A quantização pode comprimir vetores em representações menores e reduzir os custos de armazenamento.
A API de exportação de custos e uso permite que clientes Enterprise obtenham até um ano de dados no formato FOCUS.

Capítulos

Início	Capítulo	Resumo
00:00	Documents API e busca híbrida	A Documents API passa a oferecer inference integrada e permite combinar diferentes campos e métodos de busca em um único índice.
01:32	BYOC e capacidade sob demanda	O BYOC fica disponível de forma geral em AWS, GCP e Azure, com capacidade que pode crescer conforme a demanda.
02:34	VQ Bench e quantização de vetores	A Pinecone lança um artigo, uma biblioteca open source e um benchmark para comparar quantizadores e reduzir custos de armazenamento.
03:05	API de exportação de custos e uso	Clientes Enterprise podem exportar até um ano de dados de custos e uso no formato FOCUS.

Citações

Você pode fazer com que a Pinecone gere embeddings e pesquise todos os seus dados na mesma API. — 00:30

Agora, você pode acessar o mesmo índice para todas essas cargas de trabalho. — 01:02

À medida que a demanda cresce, sua capacidade pode crescer junto. — 02:02

Quantizadores são algoritmos que podem comprimir vetores em representações menores. — 02:34

Conceitos e entidades

Pinecone (empresa): Empresa que oferece uma plataforma de busca vetorial e apresentou as atualizações descritas no vídeo.
Documents API (ferramenta): API da Pinecone que permite definir documentos com campos pesquisáveis e realizar diferentes tipos de busca em um índice.
hybrid search (conceito): Abordagem que combina métodos de busca, como busca densa, esparsa e por texto completo.
BYOC (conceito): Modelo em que o plano de dados da Pinecone roda na nuvem do cliente, enquanto a Pinecone gerencia as operações da plataforma.
VQ-bench (ferramenta): Projeto que inclui um artigo, uma biblioteca open source e um benchmark para implementar e comparar quantizadores de vetores.
vector quantization (conceito): Técnica que comprime vetores em representações menores para reduzir o espaço e o custo de armazenamento.
Cost and Usage Export API (ferramenta): API da Pinecone para exportar dados de custos e uso, disponível no plano Enterprise.
FOCUS (conceito): Formato aberto de dados de custos e uso usado pela API de exportação da Pinecone.

Tradução completa (pt-BR)

00:00 Busca híbrida mais fácil, Documents API, BYOC e quantizadores. A equipe da Pinecone está arrasando, e neste vídeo vamos recapitular essas mudanças e muito mais. Oi, aqui é Arjun, da Pinecone, e este é o changelog da Pinecone. Documents API, agora com inference integrada. Implemente busca híbrida em embeddings densos, embeddings esparsos, metadados e busca tradicional de texto completo com mais facilidade usando a Documents API. A partir de hoje, você pode usar inference integrada com a Documents API, o que significa que você

00:30 pode fazer com que a Pinecone gere embeddings e pesquise todos os seus dados na mesma API. A Documents API é a nova maneira padrão de criar índices na Pinecone. Antes, tínhamos vetores e registros, que davam suporte a vetores e texto, respectivamente. Em vez disso, a Documents API permite especificar um documento com um schema que define vários campos distintos pesquisáveis. Um dos objetivos da Documents API é tornar muito mais fáceis as cargas de trabalho de busca híbrida, com um índice que dá suporte a vários tipos de dados e pesquisas. Antes, para implementar busca híbrida,

01:02 ou seja, esse tipo de busca que combina um ou mais métodos de pesquisa, como esparsa, densa ou de texto completo, você precisava de um índice da Pinecone para cada um deles. Agora, você pode acessar o mesmo índice para todas essas cargas de trabalho. Quando lançamos esse recurso, era possível ter um campo de vetor, útil para um vetor denso, um campo esparso para vetores esparsos, campos de busca de texto completo para necessidades típicas de FTS e metadados. Mas agora, você pode fazer com que seu campo de texto denso use nossos modelos de embedding hospedados, o que representa uma chamada de API a menos para você e um aumento significativo de velocidade em comparação com chamar a API de

01:32 embedding e fazer as pesquisas separadamente na Pinecone. Nosso foco é tornar a busca híbrida ainda mais fácil de usar na Pinecone, então fique de olho para mais anúncios nessa área em breve. BYOC e sob demanda. Também disponibilizamos recentemente o BYOC de forma geral, um recurso corporativo muito solicitado, além de adicionar a ele recursos sob demanda. O BYOC está disponível na AWS, GCP e Azure. Ele permite que você mantenha os dados e o conhecimento dos seus clientes nas suas contas, enquanto a Pinecone gerencia as operações da plataforma,

02:02 o que é ótimo para cargas de trabalho corporativas sensíveis nos setores financeiro, jurídico, de saúde e em outros. Mais especificamente, a parte do plano de dados da Pinecone é executada na sua nuvem, daí o BYOC, enquanto o plano de controle permanece com a Pinecone. Agora, o BYOC também dá suporte ao nosso modo de capacidade sob demanda, o que significa que você não precisa determinar o tamanho do índice com antecedência. À medida que a demanda cresce, sua capacidade pode crescer junto. VQ Bench. Lançamos o VQ Bench, um artigo, uma biblioteca open source e um benchmark que implementa e compara quantizadores de vetores populares para a comunidade em geral.

02:34 Quantizadores são algoritmos que podem comprimir vetores em representações de dados menores. Conseguir quantizar vetores bem significa que você pode reduzir significativamente o custo de armazenamento dos vetores. Mas o problema era que era muito difícil implementar e comparar o desempenho de diferentes quantizadores no mesmo contexto e compará-los. Por isso, nossos pesquisadores decidiram criar um repositório que facilita criar, avaliar e medir esses quantizadores. Você pode conferir o site aqui ou a base de código aqui.

03:05 Por fim, a API de exportação de custos. Também lançamos uma API de exportação de custos e uso para clientes corporativos. Ela é útil para obter até um ano de dados de custos e uso da Pinecone no formato FOCUS, da especificação aberta de custos e uso FinOps. Esse é o mesmo formato usado pelas principais nuvens, e facilita a análise de informações de uso pelas equipes financeiras de organizações corporativas em poucos dias, em vez de mais tarde. A API de custos está disponível no plano corporativo da Pinecone.

03:35 E esse é o resumo do changelog de hoje. Tem algo que você gostaria que trouxéssemos para a Pinecone? Deixe um comentário abaixo e inscreva-se para receber o próximo changelog. Obrigado a todos.

Transcrição original

[00:00] Easier hybrid search, the documents API, BYOC, and quantizers. The Pinecone team has been absolutely cooking, and in this video, we’ll recap those changes and more. >> [music] >> Hi, this is Arjun from Pinecone, and this is the Pinecone changelog. Documents API, now with integrated inference. >> [music] >> Implement hybrid search across dense embeddings, sparse embeddings, metadata, and traditional full-text search more easily with the documents API. Starting today, you can use integrated inference with the documents API, which means you

[00:30] can have Pinecone embed and search all of your data in the same API. Documents API is the new standard way of making indexes in [music] Pinecone. Before, we had vectors and records, which supported vectors and text respectively. [music] The documents API instead lets you specify a document, which has a schema specifying multiple distinct searchable fields. One purpose of the documents API is to make hybrid search workloads a lot easier with one index supporting multiple data types and searches. >> [music] >> Previously, to implement hybrid search,

[01:02] that kind of search that combines one or more search methods like sparse, dense, or full-text, you needed a Pinecone index for each one. Now, you can hit the same index for all of these workloads. When we launched this, you could have a vector field, which is useful for a dense vector, a sparse field for sparse vectors, full-text search fields for typical FTS needs, and metadata. But today, you can have your dense text field [music] use our hosted embedding models instead, which is one less API call for you to hit, and a significant speedup compared to hitting the

[01:32] embedding API and searching separately within Pinecone. We’re focused on making hybrid search even easier to use on Pinecone, so stay tuned for more announcements in this area soon. >> [music] >> BYOC and on-demand. We also recently made bring your own cloud generally available, an often requested enterprise feature, alongside bringing on-demand capabilities to it as well. BYOC is available on AWS, GCP, and Azure. It lets you keep your customer data and knowledge in your accounts while Pinecone manages platform ops,

[02:02] which is great for financial, legal, healthcare, and other sensitive enterprise workloads. Specifically, the data plane portion of Pinecone runs inside your cloud, hence BYOC, [music] and the control plane remains with Pinecone. Now, BYOC also supports our on-demand capacity mode, which means you don’t have to figure out your index sizing in advance. [music] As your demand grows, your capacity can grow with it. >> [music] >> VQ Bench. We released VQ Bench, a paper, an open-source library, and a benchmark that implements and compares popular

[02:34] vector quantizers for the broader community. Quantizers are algorithms that can compress vectors into smaller data representations. Being able to quantize vectors well means you can significantly reduce the cost it takes to store vectors. But, the problem was that it was really hard to implement and compare the performance of different quantizers in the same context and compare [music] them. So, our researchers decided to make a repository that makes it easy to build, evaluate, and measure those quantizers. You can take a look at the website here or the code base here.

[03:05] >> [music] >> Finally, the cost export API. We’ve also released a cost and usage export API for [music] enterprise customers. This is handy for grabbing up to a year of Pinecone cost and usage data in the FinOps open cost and usage specification focus format. [music] This is the same format popular clouds they use, and it makes it easy to analyze usage information [music] for finance teams at enterprise organizations in days rather than later. The cost API is available on the Pinecone enterprise plan.

[03:35] And that’s a wrap for our change log today. [music] Is there anything you’d like us to bring to Pinecone? Drop a comment below and subscribe so you can get a hold of the next change log. Thanks, everybody. >> [music]