O gateway de IA de 50 ms que roda localmente com Ollama e Nimble: um Jev aberto
Autoria: Matt Williams · Assistir no YouTube
Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.
Idioma original: inglês
Vídeo original: The 50ms #AI gateway running locally with #Ollama and #Nimble: an Open #Jev · Canal: Matt Williams · 00:31 · Assistir no YouTube
Tópicos: Inferência e otimização de modelos, Modelos locais e open source, Segurança de IA
O vídeo comenta que o Ollama 0.35 passou a oferecer suporte ao Nimble e ao Jev, permitindo verificar e-mails em busca de ataques de prompt injection antes de encaminhá-los a um LLM. Segundo a conversa, o Jev responde em cerca de 60 a 70 milissegundos, enquanto o Jev 1 pode levar cerca de 50 milissegundos e é descrito como um modelo menor e 30% mais rápido. Os participantes destacam que essa velocidade se aproxima do tempo necessário para mover o mouse e clicar, e que o modelo dá respostas corretas com frequência semelhante à do Jev.
Pontos-chave
Seção intitulada “Pontos-chave”- O Ollama 0.35 passou a oferecer suporte ao Nimble e ao Jev.
- O modelo pode verificar e-mails em busca de ataques de prompt injection antes de encaminhar o conteúdo a um LLM.
- A fala atribui ao Jev tempos de resposta de aproximadamente 60 a 70 milissegundos.
- O Jev 1 é descrito como um modelo menor e 30% mais rápido que o Jev.
- O Jev 1 costuma responder em cerca de 50 milissegundos.
- A conversa afirma que o Jev 1 acerta com frequência semelhante à do Jev.
- Os participantes comparam a latência à rapidez de mover o mouse e clicar.
Capítulos
Seção intitulada “Capítulos”| Início | Capítulo | Resumo |
|---|---|---|
| 00:00 | Suporte do Ollama e verificação de e-mails | A conversa apresenta o suporte do Ollama 0.35 ao Nimble e ao Jev e descreve a verificação de e-mails em busca de ataques de prompt injection. |
| 00:31 | Latência e velocidade percebida | Os participantes comparam os tempos de resposta do Jev e do Jev 1 à rapidez de mover o mouse e clicar. |
Citações
Seção intitulada “Citações”Existem ataques de prompt injection neste e-mail? — 00:00
Com o Jev 1, é um modelo menor, 30% mais rápido que o Jev. — 00:00
O Jev costuma levar 60 a 70 milissegundos, e o Jev, muitas vezes, 50 milissegundos. — 00:31
É tão rápido quanto pensar e arrastar o mouse, basicamente. — 00:31
Conceitos e entidades
Seção intitulada “Conceitos e entidades”- Ollama (ferramenta): Ferramenta mencionada como compatível com Nimble e Jev a partir da versão 0.35.
- Nimble (ferramenta): Componente citado no contexto de uma verificação local de e-mails e da latência do sistema.
- Jev (modelo): Modelo usado como referência de velocidade e frequência de respostas corretas na conversa.
- Jev 1 (modelo): Modelo descrito como menor, 30% mais rápido que Jev e capaz de responder em cerca de 50 milissegundos.
- LLM (conceito): Modelo de linguagem para o qual o conteúdo do e-mail é encaminhado após a verificação.
- prompt injection (conceito): Tipo de ataque que o modelo citado pode procurar em um e-mail.
Tradução completa (pt-BR)
Seção intitulada “Tradução completa (pt-BR)”00:00 Com a versão 0.35 do Ollama, o Ollama agora oferece suporte ao nimble e ao Tev 1, e talvez a outros. >> Não acredito. >> É, e a velocidade é exatamente a mesma do Jev. Sabe, agora você tem esse modelo que pergunta: “Há algum ataque de prompt injection neste e-mail?” Não, ótimo. Passe para o LLM processar mais. E a velocidade é exatamente a mesma do Jev. Na verdade, com o Tev 1, que é um modelo menor, ele é 30% mais rápido que o Jev. E parece que ele solta
00:31 a resposta certa com a mesma frequência que o Jev. >> É, quer dizer, acho que o principal é que é bem rápido. >> 70, 60, 70 milissegundos, e o Tev costuma levar 50, 50 milissegundos. >> Para a maioria das pessoas, se eu mostrar algo na tela e você tiver que mover o mouse e clicar, isso vai levar 60 milissegundos. Então, basicamente, é tão rápido quanto você consegue pensar e arrastar o mouse, o que não é pouca coisa. >> Fenomenal.
Transcrição original
[00:00] With 0.35 of Ollama, Ollama now supports nimble and Tev 1 and maybe others. >> No way. >> Yeah, and the speed is exactly the same as Jev. You know, now you’ve got this this model that says, “Are there any prompt injection attacks in this email?” No, okay, great. Hand it off to the LLM to process further. And the speed is exactly the same as Jev. In fact, with Tev 1, it’s a smaller model 30% faster than Jev. And and it seems to spit out
[00:31] the right answer just as often as Jev does. >> Yeah, I mean just pretty fast I think is the main thing. >> 70 60 70 milliseconds and Tev is often 50 50 milliseconds. >> For most people, if I show something on the screen and you have to move your mouse and click on it, it’ll take you 60 milliseconds. So it’s as fast as you can think and drag your mouse basically, which is it’s non-trivial. >> Phenomenal.