Kolibri chegou: um modelo de pesos abertos soberano da Alemanha

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Kolibri Has Landed: A Sovereign Open-Weight Model from Germany · Canal: Fahd Mirza · 10:35 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Engenharia de software com IA, Modelos de IA, Modelos locais e open source

Resumo

O vídeo apresenta Kolibri, um modelo de pesos abertos da empresa alemã LF Alpha, voltado principalmente para alemão e inglês, com 78 bilhões de parâmetros totais e cerca de 3,5 bilhões ativos por token. O apresentador demonstra tarefas de geração de código e gráficos, incluindo a criação de um parque de trampolins em Godot e de uma animação em HTML e JavaScript. Também compara Kolibri com seu antecessor não lançado, Kolibri Origin, e avalia o desempenho do modelo em um desafio multilíngue baseado em Hegel. Por fim, explica o processo iterativo de treinamento descrito pela empresa e considera Kolibri um avanço significativo para a equipe.

Pontos-chave

Kolibri é um modelo de pesos abertos da alemã LF Alpha, desenvolvido principalmente para alemão e inglês.
O modelo tem 78 bilhões de parâmetros, com cerca de 3,5 bilhões ativos por token, e suporta contexto de até um milhão de tokens.
Em uma demonstração, o modelo gerou um jogo de parque de trampolins em Godot, sem assets externos e executado localmente.
Outra demonstração mostrou uma animação de döner kebab feita em um único arquivo HTML, usando canvas e JavaScript.
Segundo a comparação apresentada, Kolibri cresceu em tamanho e dados de treinamento em relação a Kolibri Origin, mantendo quase igual a quantidade de parâmetros ativos.
O desafio sobre Hegel testou tradução, compreensão filosófica, escrita em alemão e cumprimento de restrições; o apresentador considerou o resultado forte em alemão, mas mais fraco em alguns aspectos de profundidade e concisão.
A equipe descreve o treinamento como um processo de muitas experiências menores e avaliações antes da execução final, tanto no pré-treinamento quanto no pós-treinamento.
O modelo foi lançado sob a licença Apache 2.0.

Capítulos

Início	Capítulo	Resumo
00:01	Apresentação de Kolibri e demonstração em Godot	O apresentador descreve as características do modelo e mostra um jogo de parque de trampolins criado com código.
04:14	Evolução em relação a Kolibri Origin	O vídeo compara os dois modelos e destaca mudanças em parâmetros, dados de treinamento, contexto e arquitetura.
05:53	Teste multilíngue com Hegel	O apresentador avalia uma tarefa que combina tradução, interpretação filosófica, escrita em alemão e restrições de formato.
09:01	Como a LF Alpha treina seus modelos	O vídeo descreve ciclos de experimentação e avaliação com modelos menores antes das execuções finais de treinamento.

Citações

É um novo modelo de pesos abertos desta empresa alemã, desenvolvido principalmente para alemão e inglês. — 00:01

Foi capaz de construir tudo em uma única tentativa, sem assets externos e rodando localmente. — 02:41

A atenção também mudou: a maioria das camadas olha apenas para o texto próximo, e poucas olham para tudo. — 05:19

É bastante forte em alemão e no cumprimento de restrições, mas um pouco superficial quando era necessária uma percepção mais profunda. — 08:27

O trabalho de verdade são centenas de experimentos pequenos; a execução grande é só a última etapa. — 10:03

Conceitos e entidades

Kolibri (modelo): Modelo de pesos abertos da LF Alpha, voltado principalmente para os idiomas alemão e inglês.
Kolibri Origin (modelo): Modelo anterior da LF Alpha, usado para testar o pipeline de treinamento e não lançado ao público.
LF Alpha (empresa): Empresa alemã responsável pelo desenvolvimento de Kolibri e Kolibri Origin.
Godot (ferramenta): Engine usada na demonstração de um jogo de parque de trampolins gerado pelo modelo.
Blender (ferramenta): Aplicativo usado na demonstração de geração de um script Python para construir um parque de trampolins.
Apache License 2.0 (conceito): Licença sob a qual Kolibri foi lançado, conforme informado no vídeo.
Hegel (pessoa): Filósofo cuja frase sobre a coruja de Minerva serve de base para o desafio multilíngue apresentado.
HTML Canvas (conceito): Tecnologia de desenho no navegador usada, junto com JavaScript, para criar a animação do döner kebab em um único arquivo.

Tradução completa (pt-BR)

00:01 Este é o Kibri, uma palavra alemã para beija-flor. A empresa por trás deste modelo é a LF Alpha, que acompanhamos desde o primeiro dia. Como vocês podem ver, eles lançaram seu primeiro modelo há mais de dois anos. Estão de volta ao jogo. Agora, o Kibri é um novo modelo open-weight dessa empresa alemã, desenvolvido principalmente para alemão e inglês. Ele tem 78 bilhões de parâmetros no total, mas apenas cerca de 3,5 bilhões ficam ativos por

00:33 token. Ele consegue lidar com até um milhão de tokens de contexto e foi lançado sob a licença Apache 2. No momento, está usando cerca de 140 GB de VRAM no meu sistema local, que roda com duas GPUs fornecidas pela Mass Compute. Se você está procurando alugar uma GPU por um preço muito bom, pode encontrar o link para a Mass Compute na descrição do vídeo. Eu sou Fahad Midsa e dou as boas-vindas a vocês ao canal. Para começar, deixa eu mostrar um resultado feito por este modelo. Então,

01:06 este teste não é sobre criar um jogo bonito. É sobre saber se um modelo consegue trabalhar como um desenvolvedor paciente. Como vocês podem ver aqui, pedi que ele escrevesse um script Python para Blender e dá para ver que está executando. Estou apertando a barra de espaço, e ele está funcionando muito bem. Agora, este é um aplicativo Python para Blender com Godot, e ele construiu um parque de trampolins coberto completo: o galpão, a

01:38 grade de trampolins, uma piscina de espuma, uma quadra de queimada, uma área para enterradas e um percurso de Ninja Warrior. Foi isso que pedi a ele. Levou cerca de 40 a 60 minutos e, depois, ele teve que exportar tudo, o que fez. “Crie um jogo jogável em Godot 4.4 com um personagem em terceira pessoa.” Vou apertar a barra de espaço de novo. Vou apertar E, e deve… demora um pouco na primeira vez. Então, vamos esperar. Certo, acho que fiz algo errado. Vou reiniciar

02:10 o jogo. Pronto. Então, este é o E e este é o Q. Vejam, está girando. Está girando. Girando. Girando. Ficou muito bom. Também dá para apertar F para dar um giro. E, de novo, a barra de espaço; estou apertando a barra de espaço sem parar aqui. Ele também está me mostrando toda a física envolvida, os diferentes ângulos, e agora estou mexendo o mouse. Claro que há várias arestas

02:41 mal-acabadas, mas vejam que ele conseguiu construir isso com uma única tentativa. Sem nenhum recurso externo, tudo rodando localmente. Deixa eu mostrar outro resultado feito por este modelo. Olhem só para este. Este foi outro tipo de desafio que propus ao modelo. Dei uma especificação muito longa e detalhada e pedi um único arquivo HTML, sem bibliotecas, sem imagens e sem ajuda externa. Dentro dele, deveria haver um döner kebab cinematográfico girando diante de um queimador a gás

03:11 com chamas azuis, calor brilhante, fumaça, brasas, gordura, faíscas, cintilação, calor tremeluzente, distorção e reflexos no aço inoxidável, tudo desenhado apenas com Canvas puro e JavaScript. Isso testa se o modelo consegue seguir dezenas de instruções ao mesmo tempo e transformá-las em código gráfico de verdade, sem esquecer metade da lista pelo caminho. E vocês podem ver quantos itens dessa lista ele realmente

03:42 conseguiu entregar: quase todos. Minha parte favorita são estas chamas no painel do lado direito. Acho que parecem muito boas, realistas, e funcionam perfeitamente. Também dá para aumentar a velocidade aqui no canto superior esquerdo: lenta, depois normal e rápida. Deixa eu aumentar o calor. Este é o nível baixo. E vocês podem ver a cor. Este é o nível muito alto. De novo: baixo, médio

04:14 e alto. Podemos pausar e depois retomar. Tudo acontece em um único arquivo com este modelo Cibri. Mas a história não acaba aqui. Eles compartilharam muita documentação, artigos técnicos e várias outras coisas. De tudo isso, esta é minha parte favorita, porque conta uma história e eu adoro histórias. O Collibri tem um irmão mais velho chamado Cibri Origin, que nunca foi lançado ao público. A LF Alpha diz

04:46 que primeiro o criou para testar seu pipeline de treinamento e depois usou o mesmo pipeline para criar o Calibri. Cerca de três meses depois, vejam o que mudou em tão pouco tempo. O modelo cresceu de cerca de 30 bilhões de parâmetros para 78 bilhões. Mesmo assim, o número de parâmetros ativos mal mudou: de 3,27 bilhões para 3,46 bilhões. Isso significa que ele ficou muito maior sem ficar muito mais caro para executar. Os dados de treinamento passaram de 7,5 trilhões de tokens para 20

05:19 trilhões, e o comprimento de contexto usado no treinamento saltou de 64.000 para 262.000 tokens. O número de especialistas dentro do modelo triplicou, passando de 128 para 384. A atenção também mudou, de modo que a maioria das camadas só olha para o texto próximo e apenas algumas olham para tudo, o que é um dos principais motivos pelos quais um contexto longo continua acessível. Ele também aprendeu a pensar em quatro níveis diferentes, em vez de um só, e agora seu conhecimento vai até junho de 2026, em vez de 2024

05:53 — o que é muito impressionante. A propósito, estes são os números fornecidos pela própria LF Alpha. Mas, se forem confiáveis — e acho que, até certo ponto, são, pelo teste que acabamos de ver —, isso é muito progresso em um trimestre. Deixa eu mostrar um teste multilíngue em alemão. Os resultados. Este é o prompt que usei. É um desafio filosófico em cinco partes, baseado na famosa frase de Hegel sobre a coruja de Minerva. Pedi ao modelo para

06:23 traduzi-la de duas maneiras. Explicar seu significado. Escrever um texto denso em alemão hegeliano. Resumi-lo de forma estrita em inglês. Depois, identificar o que se perdeu. É muito difícil porque reúne tradução, compreensão filosófica profunda, escrita criativa em alemão e restrições rigorosas de uma só vez, e qualquer etapa fraca afeta a seguinte. Isso importa muito para o Kibri, porque alemão e inglês são justamente o foco deste modelo. Agora, este é o

06:53 teste mais justo da promessa central do modelo, na minha opinião, e este é o resultado. Vou ser sincero. Não consigo dizer com total certeza se esta resposta está correta, porque realmente não falo alemão. Não sou especialista em Hegel, de forma alguma. Nem tenho certeza se estou pronunciando o nome dele direito. Mas, se vocês são alemães ou conhecem Hegel, por favor, nos orientem e deem sua opinião, porque não sou especialista. Mas, sabe,

07:25 com diferentes modelos de avaliação, o que posso dizer é que ele começa bem, com uma tradução literal e outra poética que realmente são diferentes, e uma explicação clara de por que a parte sobre Hegel é sólida, na minha opinião. A coruja como filosofia, o anoitecer como o fim de uma época e uma explicação clara de por que “Aufheben” significa cancelar, preservar e elevar ao mesmo tempo. Peço desculpas se não estou pronunciando o alemão corretamente. Segundo o

07:57 modelo de avaliação, o parágrafo em alemão é o ponto alto. É uma única frase enorme, encaixada dentro de si mesma, usa as palavras corretamente e soa propriamente hegeliana. Embora tenha cerca de 100 palavras, eu diria que ficou um pouco longo. Também contém alguma outra inteligência, o que não tem problema, já que a proibição era apenas para a versão em inglês. Aí vem a armadilha da tarefa quatro, que me interessou bastante. Vou direto para ela. Aí está. As três frases são curtas e evitam todas as palavras proibidas que eu

08:27 pedi. Então, ele segue as regras. Mas o problema é que elas parecem um pouco vagas e sem força, e a versão em inglês perde totalmente a coruja. Assim, a própria ideia fica enfraquecida. A tarefa cinco é a parte mais fraca. As três nuances perdidas são razoáveis. Mas a terceira apenas repete o ponto fora de contexto da tarefa dois. Então, pelo raciocínio do modelo de avaliação, acho que ele é bem forte em alemão e em seguir restrições, mas um pouco superficial quando era necessária uma percepção mais profunda. Também acho que, no geral, o resultado

09:01 é bastante interessante. Tem mais uma coisa que quero muito mostrar: a parte sobre o treinamento dos modelos, em que eles dizem que o treinamento do modelo é feito como código. Olhem este diagrama. Ele mostra principalmente como este modelo foi criado, e a surpresa é que ninguém o treina apenas uma vez. À esquerda está o pré-treinamento. A equipe escolhe alguns dados, uma receita e uma arquitetura; depois, primeiro treina um pequeno modelo de desenvolvimento, verifica como ele se sai e volta ao início para

09:33 otimizar as coisas. Eles repetem esse ciclo, sabe, quantas vezes forem necessárias, fazendo muitos experimentos baratos e, só quando a configuração parece certa, partem para o grande experimento. A execução cara, que produz um modelo-base com o pós-treinamento adequado, funciona da mesma maneira. Agora, os ingredientes são dados, uma receita e recompensas que ensinam o modelo a se comportar. Mais uma vez, há um modelo pequeno de desenvolvimento e avaliação, e um ciclo que se repete m vezes antes da execução final de treinamento

10:03 transformar o modelo-base no modelo finalizado. Em resumo, o trabalho de verdade são centenas de pequenos experimentos, e a grande execução é só a última etapa. E sim, não se preocupe. Ainda vou pedir que você assine esta newsletter, porque o número de assinaturas ainda não é tão bom quanto eu gostaria. Então, assine esta newsletter semanal gratuita sobre IA em vajba.substack.com. Se quiser ajudar o canal, torne-se membro. O link está na página inicial ou no primeiro comentário fixado. Olha, Kolibri é menos uma grande

10:35 execução de treinamento do que uma série de pequenas apostas. Gosto muito disso e acho que é um grande avanço para a equipe da LF Alpha. É isso. Me conte o que você pensa. Obrigado por todo o apoio.

Transcrição original

[00:01] This is Kibri, a German word for hummingbird. The company behind this model is LF Alpha, which we have been covering from day one. As you can see, they released their first model more than 2 years ago. They are back in the game. Now, Kibri is a new openweight model from this German company built mainly for German and English. It has got 78 billion parameters in total but only about 3.5 billions are active for

[00:33] each token. It can handle up to a million tokens of context and it is released under the Apache 2 license. At the moment it is taking around 140 gig of VRAM on my local system running two GPUs courtesy mass compute. If you’re looking to rent a GPU on very good price, you can find the link to mass computing videos description. This is Fahad Midsa and I welcome you to the channel. Right away, let me show you a result which was done by this model. So,

[01:06] this test is not about making a pretty game. It is about whether a model can work like a a patient developer. As you can see here, I ask it to write a Blender Python script and you can see it is running. I’m pressing my space bar and it is running pretty nicely. Now this is a Blender Python application with Go dot and this has built a complete indoor trampoline park, the warehouse, the

[01:38] trampoline grid, a foam pit, a dodgeball court, a slam dunk zone and a ninja warrior course. This is what I asked it to do. Took around 40 to 60 minutes and then it has to export everything which it has done. Build a playable Go.4 4 game with a third person player. Let me press space bar again. Let me press E and it should it takes bit of a time first time. So let’s wait for it. Okay, I think I messed it up. Let me restart

[02:10] it. There you go. So this is E and this is Q. You see it is spinning. It is spinning. Spinning. Spinning. It is pretty good. Now you can also press F to do a spin. and again space bar and I’m continuously pressing the space bar here. It is also showing me all the physics which is involved different angles and now I’m moving the mouse. Of course there are lot of rough rough

[02:41] edges but you see that it was able to build it in just one shot. No external assets at all running all locally. Let me show you another result which this model has done. Look at this one. This one is a different kind of challenge which I gave it to this model. So a very long very detailed spec and asked it for a single HTML file with no libraries, no images and no outside help. Inside it there should be a cinematic donor kebab

[03:11] spinning in front of gas burner with blue flames, glowing heat, smoke, embers, grease, sparks, shimmer, shimmering heat, distortion and stainless steel reflections all drawn with nothing but plain canvas and JavaScript. It tests whether the model can follow dozens of instructions at once and turn them into a real graphics code without forgetting half the list along the way. And you can see that how many items on that list it has actually

[03:42] delivered almost all of them. My favorite part is these flames on the right hand side panel. I think they look real good, realistic and works like a charm. Um, you can also increase the speed here on the top left. Slow and then normal and then fast. Let me increase the heat. This is a low heat. And you can see the color of it. This is very high. Again, low, medium,

[04:14] and high. We can pause it and then we can resume it. All happening in one file with this Cibri model. Now the story doesn’t end here. They have shared lot of documentation, technical post and lot of other things. Out of all of those, this is my favorite part because it tells a story and I love stories. Collibri has an older sibling called Cibri Origin which was never released to the public. LF Alpha says

[04:46] they built it first to test their training pipeline and then use the same pipeline to build Calibri. About 3 months later, look at what changed in that short time. The model grew from about 30 billion parameters to 78 billion. Yet the number of active parameters barely moved from 3.27 billion to 3.46 billion. That means it got much bigger without getting much more expensive to run. The training data went from 7.5 trillion tokens to 20

[05:19] trillion and the context length it was trained on jumped from 64,000 to 262,000 tokens. Experts inside the model tripled from 128 to 384. Its attention also changed so that most layers only look at nearby text and just a few look at everything which is a big reason long context stays affordable. It also learned to think at four different levels instead of one and its knowledge now goes up to June 2026 instead of 2024

[05:53] which is very impressive. These are LF Alpha’s own number by the way. But if they hold up and I think uh to some extent they do in the test which we have just seen. This is a lot of progress in one quarter. Let me show you a multi- lingual test in German. The results. So this is the prompt which I used. This is a five-part philosophy challenge built around Hegel’s famous owl of Manurva line. I have asked the model to

[06:23] translate it two ways. Explain its meaning. Write dense Hegelian German. Squeeze it into strict English. Then name what got lost. It is very hard because it stacks translation, deep philosophical understanding, creative German writing and hard constraints in one go and one weak step shows up in the next. It really matters for Kibri because German and English are the whole point of this model. Now this is the

[06:53] fairest test of its core promise in my opinion and this is the result. I’ll be upfront. I really cannot tell you this answer um you know with full certaintity because I really don’t speak German. I have uh I’m not an expert in you know Hegel at all. I’m not even sure if I’m pronouncing his name right. But if you are German or if you know about Hegel, please please guide us, advise us as I’m not an expert at all. But you know with

[07:25] different judge models what I can tell it that it opens well with a literal and poetic translation that really do differ and a clean explanation of why the Hegel section is solid in my opinion. Owl as philosophy, dusk as an epoch ending and a clear breakdown of why um of bang means cancelling, preserving and lifting up at once. My apologies if I’m not pronouncing German right. The German paragraph is the showpiece as per the

[07:57] judge model. It is one enormous nested sentence uses of correctly and sounds properly hegelian. Though at roughly 100 words, it runs a bit long, I would say. It does contain um some other intelligence something which is fine since the ban was only for English version and then comes the trap in task four which I was very interested I’ll just go there. There you go. The three sentences are short and avoid every band word which I

[08:27] asked. So it passes the rules. Uh but the thing is that it seems that they are bit vague and flat and the English loses the owl entirely. So the idea itself gets thin. Task five is the weakest part. The three lost nuances are reasonable. But the third one just repeats the off point from the task two. So I think as per the judge model’s reasoning, it is quite strong on German and on falling constraints a little shallow where the real insight was needed. Also I think overall the result

[09:01] is quite interesting. One more thing which I really want to show you is you know around its models training where they say that model training as a code and look at this diagram. So this diagram primarily shows how this model got made and the surprise is that nobody trains it just once. On the left is pre-training. The team picks some data, a recipe and an architecture, then trains a small development model first, checks how it does and loops back to

[09:33] optimize things. They repeat that loop in you know any number of times running many cheap experiments and only when the setup looks right do they commit to the big one. Expensive run that produces a base model on the right post training works the same way. Now the ingredients are data, a recipe and rewards which teach the model how to behave. Again there is small development model and evaluation and a loop repeated m number of times before the final training run

[10:03] turns the base model into the finished one. In short, the real work is hundreds of small experimentations and the big run is just the last step. And yes, don’t worry. I’m going to still tell you to subscribe to this newsletter because still um the number of subscriptions are not as good as I would like. So, please subscribe to this free weekly AI newsletter at vajba.substack.com. If you want to help out the channel, please become a member. The link is at the homepage or in the first pin comment. Look, Kibri is less um one big

[10:35] trending rent than a small bets. I really like it and I think um a real good step up for this LF Alpha team. That’s it. Let me know your thoughts. Thank you for all the support.