O cache de prompt da OpenAI tem um limite oculto de 15 RPS
Autoria: LangChain · Assistir no YouTube
Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.
Idioma original: inglês
Vídeo original: OpenAI’s Prompt Cache Has a Secret 15 RPS Ceiling · Canal: LangChain · 00:31 · Assistir no YouTube
Tópicos: Ferramentas de desenvolvimento com IA, Inferência e otimização de modelos
O vídeo explica como o prompt caching permite reutilizar ativações já calculadas quando o modelo recebe o resultado de uma chamada de ferramenta. Segundo a transcrição, usar o cache pela API da OpenAI custa 90% menos do que enviar todo o conteúdo novamente. A taxa de acertos do cache pode ser decisiva para o funcionamento e a velocidade do produto. Em alto volume, a chave do cache tem um limite de 15 solicitações por segundo, embora seja possível chegar perto de 95% de acertos.
Pontos-chave
Seção intitulada “Pontos-chave”- O prompt caching reutiliza ativações já calculadas e acrescenta apenas o conteúdo novo.
- A transcrição afirma que o cache pela API da OpenAI custa 90% menos do que reenviar todo o conteúdo.
- Acertos no cache podem afetar tanto o funcionamento quanto a velocidade do produto.
- Por padrão, a OpenAI calcula um hash de parte do texto e usa esse resultado para fazer o roteamento.
- O limite mencionado para a chave do cache em alto volume é de 15 solicitações por segundo.
- A equipe relata uma taxa de acertos no cache próxima de 95%.
Capítulos
Seção intitulada “Capítulos”| Início | Capítulo | Resumo |
|---|---|---|
| 00:00 | Como funciona o prompt caching | O vídeo explica a reutilização de ativações após uma chamada de ferramenta e a economia de custo atribuída ao cache. |
| 00:31 | Roteamento e limite em alto volume | A transcrição descreve o hash usado no roteamento e menciona um limite de 15 solicitações por segundo para a chave do cache. |
| 00:31 | Taxa de acertos do cache | O interlocutor afirma que a equipe chegou perto de uma taxa de acertos de 95%. |
Citações
Seção intitulada “Citações”Você quer que ele use um prompt cache: leia as ativações que já tinha calculado e apenas acrescente um pouco mais. — 00:00
Pela API da OpenAI, isso custa 90% menos do que enviar tudo novamente. — 00:00
A chave do prompt cache, acho, é de 15 solicitações por segundo. — 00:31
Estamos com uma taxa de acertos no cache de algo como 95%. — 00:31
Conceitos e entidades
Seção intitulada “Conceitos e entidades”- prompt caching (conceito): Técnica que reutiliza ativações calculadas anteriormente para evitar processar novamente todo o conteúdo enviado ao modelo.
- prompt cache key (conceito): Chave usada para identificar e encaminhar solicitações relacionadas ao cache de prompt.
- OpenAI (empresa): Empresa cuja API e comportamento de cache são discutidos no vídeo.
Tradução completa (pt-BR)
Seção intitulada “Tradução completa (pt-BR)”00:00 O que é cache de prompt? O modelo executa, faz uma chamada de ferramenta e, quando envio de volta o resultado dessa chamada de ferramenta junto com uma solicitação para o modelo executar mais, você quer que ele use um cache de prompt, que basicamente diz: leia as ativações que você já tinha e que acabou de executar para mim, mas adicione só mais um pouquinho. E, sabe, pela API da OpenAI, isso custa 90% menos do que enviar tudo de novo. A binariedade faz seu produto funcionar ou não funcionar, basicamente, além de acelerá-lo. Então, é muito importante conseguir esses acertos de cache; caso contrário, você está ferrado. Por padrão, o que a OpenAI faz é pegar uma certa quantidade de
00:31 caracteres, gerar um hash deles e, então, fazer o roteamento com base nisso. Isso é ótimo se você tiver pouco volume. Se tiver muito volume, essa chave de cache de prompt, acho que é de 15 solicitações por segundo. Você pode ser matematicamente perfeito — não estou dizendo que somos, mas fizemos as contas e chegamos bem perto — e ainda assim estamos com uma taxa de acerto de cache de uns 95%, ou algo assim.
Transcrição original
[00:00] What is prompt caching? The model runs, it does a tool call, and then when I send the result of that tool call back with to request the model to run more, you want it to get a prompt cache which basically says, read the activations that you already had that you were just running for me, but just add a little bit more. And it’s, you know, 90% cheaper through the OpenAI API than it would be to to send the whole thing. Binary makes your product work or not work, basically, as well as speed it up. So, it’s really important that you get these cache hits, or otherwise you’re just you’re cooked. By default, what OpenAI does is it takes some number of
[00:31] characters and hashes it and then it routes based based on that. That’s really great if you have low volume. If you have high volume, that prompt cache key, I think it’s 15 requests per second, you can be mathematically perfect which I’m not saying we are, but like we’re I we did the math and then we’re pretty close, and we’re at like a 95% cache hit rate or something.