O novo modelo de tradução da Bilibili roda no meu laptop de 8 GB — testei os memes

Autoria: Prompt Engineer 48 · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Bilibili’s New Translation Model Runs on My 8GB Laptop - I Tested the Memes · Canal: Prompt Engineer 48 · 03:07 · Assistir no YouTube

Tópicos: Inferência e otimização de modelos, Modelos de IA, Modelos locais e open source, Modelos multimodais

Resumo

O vídeo testa o Index Translate, uma família de modelos de tradução da BiliBili, em um laptop com GPU de 8 GB. O modelo traduz entre vários idiomas, incluindo memes e gírias, embora perca o sarcasmo em um exemplo. Também é testado com idiomas de poucos recursos e instruções para preservar termos, tags HTML, placeholders e formalidade. Na configuração usada, alcança cerca de 44 tokens por segundo e consome aproximadamente 6 GB de VRAM.

Pontos-chave

O Index Translate é uma família de modelos da BiliBili lançada sob a licença Apache 2.0 e com suporte a 150 idiomas.
O modelo de texto está disponível nos tamanhos de 2B, 9B e 35B em versão de prévia.
A família inclui modelos para tradução de fala e dublagem, controle de sílabas e tradução de documentos longos.
O teste usa o arquivo GGUF Q4KM de 5,78 GB, executado localmente em uma GPU de laptop com 8 GB.
As traduções de memes e gírias foram, em geral, convincentes, mas o modelo não preservou o sarcasmo de um exemplo.
Nepali, télugo, hindi e suaíli foram traduzidos de forma compreensível nos exemplos apresentados.
O modelo seguiu instruções para usar um glossário, preservar tags HTML e placeholders e produzir francês formal.
Em um teste, gerou uma frase em inglês com exatamente oito sílabas; o apresentador ressalva que isso não é um benchmark.
A execução local atingiu cerca de 44 tokens por segundo e usou aproximadamente 6 GB de VRAM com context de 4.000 tokens.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação do Index Translate	O vídeo apresenta a família de modelos, seus tamanhos, variantes especializadas e resultados publicados pela BiliBili.
01:02	Execução local e traduções básicas	O apresentador baixa o modelo GGUF recomendado e testa traduções entre inglês, chinês, espanhol e japonês.
01:33	Memes, gírias e idiomas de poucos recursos	Os testes mostram boas traduções de expressões informais e de exemplos em Nepali, télugo, hindi e suaíli, mas o sarcasmo se perde em uma frase.
02:36	Instruções, desempenho e demonstração online	O modelo preserva elementos de formatação e segue instruções de estilo e contagem silábica; o vídeo também informa sua velocidade e menciona a demonstração da BiliBili.

Citações

Essas traduções saíram todas bem. — 01:33

É bom, mas não é mágica. — 02:05

Isso é um teste, não um benchmark. — 02:36

Cerca de 44 tokens por segundo e aproximadamente 6 GB de VRAM. — 02:36

Conceitos e entidades

Index Translate (modelo): Família de modelos de tradução da BiliBili, testada no vídeo em execução local.
BiliBili (empresa): Empresa que lançou o Index Translate e disponibiliza uma demonstração online.
Index Echo (modelo): Modelo da família Index voltado à tradução de fala e à dublagem.
Index Homura (modelo): Modelo da família Index que controla a quantidade de sílabas da tradução para ajustá-la a uma janela de dublagem.
Index Nylong (modelo): Modelo da família Index destinado à tradução de documentos longos em uma única passagem.
Ollama (ferramenta): Ferramenta usada no vídeo para baixar e executar localmente o modelo.
Hugging Face (empresa): Plataforma de onde o apresentador obtém o modelo para uso com Ollama.
GGUF (conceito): Formato dos arquivos disponibilizados para executar o modelo localmente.
Apache License 2.0 (conceito): Licença sob a qual o Index Translate foi lançado.

Tradução completa (pt-BR)

00:00 Certo. Neste vídeo, vamos ver o Index Translate, o novo modelo de tradução open source da BiliBili, rodando completamente na GPU do meu laptop de 8 GB. E vocês podem ver que ele lida com memes da internet chinesa e instruções complicadas, não só com frases simples. Vamos testar. Então, o que é isso? Index Translate é uma família de modelos da equipe Index, da BiliBili, lançada em 30 de setembro sob a licença Apache 2.0. O modelo de texto principal oferece suporte a 150 idiomas e vem em três tamanhos: 2 bilhões, 9

00:30 bilhões e uma versão de prévia de 35 bilhões. Além disso, eles treinaram mais três modelos. Index Echo faz tradução de fala e dublagem. Index Homura controla quantas sílabas a tradução tem, para que ela caiba na janela de dublagem. E Index Nylong traduz documentos longos de uma só vez. Nos números que publicaram, o modelo 9B marca 0,8789 no Floors com Comet 22 e 0,6771 no teste de seguimento de instruções deles. Esses são números da própria BiliBili, então vamos considerá-los um bom ponto de partida e depois conferir por conta própria. Para executá-lo

01:02 localmente, eles lançaram arquivos GGUF oficiais em 3 de outubro. Os tamanhos vão de 3,91 GB até 18,41 GB, e o que eles recomendam é o Q4KM, com 5,78 GB, que cabe na minha placa de 8 GB. Então, o que vou fazer é baixá-lo com o Ollama diretamente do Hugging Face. Ele tem cerca de 5,8 GB e, com a minha conexão, levou uns 6 minutos. Uma coisa a saber: esse modelo gosta de pensar antes de responder. Então, desativei o pensamento e defini a temperatura como zero, que é o recomendado no cartão do modelo. O primeiro carregamento

01:33 levou cerca de meio minuto e, depois disso, é rápido. Vamos começar pelo básico: inglês para chinês, inglês para espanhol, inglês para japonês e chinês de volta para inglês. E vocês podem ver que todas essas traduções ficaram boas. Um pequeno detalhe: na frase em chinês, ele escreveu a memória como 8.000 MB e traduziu “cabe” como “ocupa”, então ficou um pouco estranho. Agora, a parte que eu realmente queria ver: os memes. A gíria “Joe Biden” virou “absolutamente incrível, vale muito a pena elogiar”. “Zundu Jiadu” virou “sério, você realmente terminou o código durante a noite. Você é meu herói”. E “Pofan” saiu como “me deixou completamente

02:05 na pior”. Isso é muito bom. Mas não é perfeito. A frase sarcástica, “Xuan Q”, em que alguém agradece por terem comido a comida que pediu para viagem, saiu como “muito obrigado. Sou muito grato”. Então, o sarcasmo se perdeu. É bom, mas não faz milagres. Agora, idiomas com poucos recursos: escrevi a mesma frase em nepali, télugo e hindi, e as três traduções voltaram como o mesmo inglês coerente. Suaíli também funcionou, com uma frase um pouco diferente. E isso é ótimo para um modelo que roda em um laptop. Depois, o seguimento de instruções, que é o grande destaque deles. Dei a ele um glossário, e ele usou

02:36 os dois termos fixos que defini. Pedi para manter as tags HTML e um marcador de nome, e as tags e as chaves ficaram intactas. Também pedi francês formal, e ele respondeu de forma educada, com “por favor” e “obrigado”. Também pedi exatamente oito sílabas em inglês. Ele produziu: “O tempo de hoje está realmente bom”. E, se contar, são oito. Embora, para ser justo, esse seja um teste, não um benchmark. E quanto à velocidade: cerca de 44 tokens por segundo e cerca de 6 GB de memória de vídeo, com um context window de 4.000 tokens, em um laptop. Isso é mais do que rápido

03:07 o bastante para traduções do dia a dia. Se você não quiser configurar nada, a Bilibili hospeda uma demonstração no site, com botões rápidos como saída JSON em japonês polido e pacotes de memes, como gírias da Geração Z e “quinta-feira maluca”. Então, neste vídeo, vimos o Index Translate rodando no meu próprio laptop. Se tiver interesse, experimente no seu próprio sistema e me conte como foi. Vejo vocês em outro vídeo.

Transcrição original

[00:00] All right. In this video, we will see Index Translate, BiliBili’s new open translation model, running completely on my 8 GB laptop GPU. And you can see that it handles Chinese internet memes and tricky instructions, not just plain sentences. Let’s go ahead and test this out. So, what is it? Index Translate is a model family from the Index team at BiliBili, released on September 30th under the Apache 2.0 license. The main text model supports 150 languages, and it comes in three sizes, 2 billion, 9

[00:30] billion, and a 35 billion preview. Now, on top of that, they trained three more models. Index Echo does speech translation and dubbing. Index Homura controls how many syllables the translation has, so it fits a dubbing window. And Index Nylong translates long documents in one pass. On the numbers they published, the 9B model scores 0.8789 on Floors with Comet 22, and 0.6771 on their instruction following test. These are BiliBili’s own figures, so take them as a good start, and then we will check it ourselves. For running it

[01:02] locally, they released official GGUF files on October 3rd. The sizes go from 3.91 GB up to 18.41, and the one they recommend is Q4KM at 5.78 GB, that fits on my 8 GB card. So, what I’m going to do is pull it with Ollama straight from Hugging Face. It’s about 5.8 GB, and on my connection that took around 6 minutes. One thing to know, this model likes to think before it answers. So, I turned thinking off and set the temperature to zero, which is what the model card recommends. The first load

[01:33] took about half a minute, and after that it’s quick. Let’s start with the basics, English to Chinese, English to Spanish, English to Japanese, and Chinese back to English. And you can see these all come out clean. One small thing, in the Chinese line, it wrote the memory as 8,000 MB and turned fits in into takes up, so that reads a bit off. Now, the part I really wanted to see, the memes, the slang Joe Biden became absolutely amazing, Totally worth raving about. Zundu Jiadu became really you actually finished the code overnight. You’re my hero. And Pofan came out as completely

[02:05] broke me. That’s really good. But it’s not perfect. The sarcastic one, Xuan Q, where someone thanks you for eating their takeout, came out as thanks a lot. I’m really grateful. So, the sarcasm got lost. It’s good, not magic. Now, low resource languages, I wrote the same sentence in Nepali, Telugu, and Hindi, and all three came back as the same sensible English. Swahili worked, too, with a slightly different sentence. And that’s really great for a model that runs on a laptop. Then instruction following, which is their big selling point. I gave it a glossary and it used

[02:36] both of my fixed terms. I asked it to keep the HTML tags and a name placeholder, and the tags and curly braces stayed untouched. And I asked for formal French, and it came back polite with please and thank you. I also asked for exactly eight syllables in English. It gave today’s weather is truly fine. And if you count it, that is eight. Though, to be fair, that’s one test, not a benchmark. And the speed, about 44 tokens per second and about 6 GB of video memory with a 4,000 token context on a laptop. That’s more than fast

[03:07] enough for everyday translating. If you don’t want to set anything up, Bilibili hosts a demo on the website with quick buttons like polite Japanese JSON output and meme packs such as Gen Z slang and crazy Thursday. So, in this video, we have seen Index Translate running on my own laptop. If you’re interested, go ahead and try it on your own system as and let me know how it goes. I’ll see you in another one.