Testei o FLUX 3 Klein localmente: a geração de imagens com IA estagnou?

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Tested FLUX 3 Klein Locally: Has AI Image Generation Plateaued? · Canal: Fahd Mirza · 12:04 · Assistir no YouTube

Tópicos: Ferramentas de desenvolvimento com IA, Geração de conteúdo com IA, Modelos locais e open source, Modelos multimodais

Resumo

Fahd Mirza instala e testa localmente o FLUX 3 Klein usando ComfyUI, avaliando geração de imagens, edição e uso de várias imagens de referência. O modelo segue bem muitos prompts e produz resultados convincentes em iluminação, reflexos e cenários, mas ainda apresenta falhas em mãos, naturalidade e edição de detalhes específicos. O apresentador informa que o modelo tem 5,6 bilhões de parâmetros, consome menos de 27 GB de VRAM em precisão total e usa GLM-3-4B como text encoder. Ao final, ele considera que os resultados são bons em alguns casos, mas não representam uma inovação marcante e que a geração de imagens parece ter estagnado.

Pontos-chave

O vídeo demonstra a instalação e os testes do FLUX 3 Klein localmente com ComfyUI.
O modelo segue prompts detalhados e cria cenários, roupas e iluminação com bons resultados, mas falha em mãos e em algumas proporções anatômicas.
O FLUX 3 Klein tem 5,6 bilhões de parâmetros e oferece geração de texto para imagem, edição de imagens e geração com até 10 imagens de referência.
A versão destilada requer 16 passos e usa GLM-3-4B como text encoder.
O teste de texto em placas apresenta resultados legíveis em inglês e árabe, embora alguns rótulos pequenos fiquem ilegíveis.
Nos testes com imagens de referência, o modelo preserva características das pessoas e adapta roupas e cenários, mas pode produzir um aspecto artificial.
A edição funciona bem para mudar a cor do cabelo, mas falha ao corrigir a posição de um cinto de segurança.
O apresentador estima o consumo em 26.418 MB de VRAM, menos de 27 GB, usando precisão total.
A conclusão é que, apesar de alguns resultados impressionantes, o modelo não traz uma inovação revolucionária e a geração de imagens pode ter chegado a um platô.

Capítulos

Início	Capítulo	Resumo
00:02	Apresentação e primeiro teste de geração	O apresentador introduz o FLUX 3 Klein e avalia uma imagem de uma dançarina flamenca, apontando acertos no cenário e problemas anatômicos.
03:08	Licença, VRAM e testes com referências	O vídeo aborda as condições de uso e o consumo de memória, além de testar texto em placas e geração com várias imagens de referência.
06:48	Testes de edição de imagens	O apresentador testa a adição de alimentos, a correção de um cinto de segurança e a mudança da cor do cabelo, com resultados variados.
09:25	Cenas de vários lugares e conclusão	O modelo é avaliado em imagens de Amritsar, Kalimantan, Baviera e Mogadíscio, e o apresentador conclui que não há uma inovação revolucionária.

Citações

Ele seguiu bem o prompt, o que melhorou, mas está longe de ser perfeito. — 01:34

Não é, de forma alguma, uma imagem de nível mundial, na minha humilde opinião. — 07:51

Acho que o modelo anterior era um pouco melhor em termos de realismo. — 08:21

Não vejo nenhuma inovação revolucionária ou transformadora neste novo FLUX 3. — 12:04

Conceitos e entidades

FLUX 3 Klein (modelo): Modelo de geração e edição de imagens da Black Forest Labs testado localmente no vídeo.
FLUX 2 Klein (modelo): Versão anterior mencionada pelo apresentador como referência para comparar velocidade e realismo.
ComfyUI (ferramenta): Ferramenta usada para executar os workflows de geração e edição de imagens.
GLM-3-4B (modelo): Modelo usado como text encoder pelo FLUX 3 Klein, segundo o vídeo.
Black Forest Labs (empresa): Empresa responsável pelo modelo FLUX 3 Klein.
Fahd Mirza (pessoa): Apresentador do vídeo, que demonstra e avalia o modelo.
Vast Compute (ferramenta): Serviço de aluguel de GPU mencionado pelo apresentador.
geração com múltiplas imagens de referência (conceito): Uso de várias imagens de entrada para orientar a geração de uma nova imagem.
edição de imagens (conceito): Alteração de elementos de uma imagem existente por meio de instruções em texto.

Tradução completa (pt-BR)

00:02 Esta imagem foi gerada por um modelo Flux Client da Black Forest Lab, o mais novo modelo Flux 3 da empresa. Neste vídeo, não só vou mostrar como instalá-lo localmente, como também vamos testá-lo a fundo. Aqui é Fahad Mirza, e dou as boas-vindas ao canal. Também vou explicar como esse modelo é diferente da versão Flux 2 e mostrar como instalar o comfy UI, que é a ferramenta

00:33 que vou usar. Para ver uma versão detalhada, assista a este tutorial de comfy UI no meu canal. Então, vamos direto ao assunto. O prompt que usei foi este, como você pode ver aqui. Pedi uma dançarina de flamenco em um pátio caiado de Sevilha na hora dourada, girando, com um vestido vermelho-carmesim de babados, uma mantilha preta de renda, um cravo vermelho e pouca profundidade de campo. E você pode ver facilmente o resultado nesta

01:04 imagem, que foi gerada neste workflow do comfy UI. Não se preocupe, também vou deixar o link para este workflow no meu repo do GitHub. Mas olhe para esta imagem. Veja o resultado. O pátio, as buganvílias, os azulejos azuis e os vasos de terracota combinam com o pedido, e a luz quente e o fundo suave parecem certos. O vestido tem babados em camadas, e a saia mostra o giro; a mantilha e o cravo estão onde eu os coloquei.

01:34 Mas há vários problemas. As mãos erguidas parecem bem esquisitas. O polegar se dobra de um jeito estranho. Mesmo assim, sabe, depois de todos esses anos, esses modelos ainda não conseguem acertar as mãos ou os braços. A outra mão também está meio escondida e, veja, se você olhar para este torso, ele também não parece muito natural. Então, o modelo seguiu bem o prompt, o que melhorou, mas está longe de ser perfeito.

02:06 Agora, se você olhar para este workflow, ele é bem simples. Uma das diferenças em relação à versão anterior, Flux 2 Client, é que o Flux 2 era bem rápido. Este não é tão rápido quanto eu esperava, mas tudo bem, desde que gere boas imagens. O Flux 3 Image Client é um novo modelo de pesos abertos da Black Forest Lab, mas confira também a licença. Ele tem 5,6 bilhões de parâmetros no transformador de imagem

02:38 e faz geração de texto para imagem, edição de imagens e geração com múltiplas referências em um único modelo, com até 10 imagens de referência; também vamos testá-lo. A versão destilada precisa de apenas 16 passos, então é rápida e não usa orientação. E, veja só, ela usa o GLM 3 4 billion como codificador de texto. Você também pode posicionar elementos usando caixas delimitadoras no prompt. Ele consegue renderizar texto dentro das imagens, e vamos testar isso. Mas o problema é que

03:08 muito surpreendentemente, a Black Forest Lab disse que o texto talvez não esteja correto nesta versão. Para terminar, sobre a licença: ela permite uso não comercial e uso comercial dos resultados para usuários qualificados com menos de US$ 5 milhões em receita anual. Então, confira a licença se pretende usá-lo comercialmente. Agora vamos fazer mais alguns testes. Antes disso, deixe-me mostrar rapidamente o consumo de VRAM. Estes são alguns dos workflows. O modelo está carregado, e este é o meu consumo de VRAM

03:38 com menos de 27 GB de VRAM, um pouco menos que na versão anterior, e estou usando precisão total. E, se quiser alugar uma GPU por um preço muito bom, você encontra o link para a Vast Compute na descrição do vídeo. Além disso, inscreva-se nesta newsletter em fawadmirza.substack.com. E, se quiser ajudar o canal, torne-se membro. Para isso, basta acessar a página inicial e se tornar membro pelo primeiro comentário fixado. Certo, agora vamos

04:11 testar mais algumas coisas com este modelo. E desculpe, esqueci. As pessoas têm me dito para realmente falar quanto de VRAM ele está consumindo. Então, são 26.418 MB, ou, como você pode dizer, menos de 27 GB de VRAM. E aqui está outro resultado. Deixe-me mostrar em tela cheia. Esta imagem é da cidade de Sana’a, no Iêmen. Uma loja de mel tem placas em árabe e inglês. E estamos

04:42 testando se o modelo renderiza textos curtos nos dois alfabetos. O modelo acertou a placa. A palavra “mel” está nítida e correta. E o texto em árabe abaixo também parece correto, mas não tenho certeza; se você fala árabe, me conte, por favor. A torre de tijolos, todo o acabamento, o vitral e os potes combinam com o prompt. Mas há alguns rótulos minúsculos nos potes que são bem difíceis de ler, o que faz sentido considerando a distância na imagem. Mas veja,

05:13 as roupas tradicionais também parecem muito boas. O que está me impressionando é como a luz do sol, as sombras e todo esse cenário ao fundo da loja ficaram incrivelmente bons. E olhe para este padrão no alto. É um resultado muito bom. Deixe-me mostrar rapidamente o prompt que usei. Este é o prompt. E agora este é um teste com múltiplas imagens. Demos algumas fotos a este modelo, como

05:44 você pode ver à esquerda, onde há algumas imagens que já inseri, e este é o prompt, bem curto, que foi ampliado. A partir dele, foi isto que o modelo gerou. Veja, ele construiu este mirante de madeira, manteve o chapéu, o vestido amarelo e o cabelo comprido dela, e combinou a luz com as colinas alaranjadas e enevoadas. Há algumas coisas que você pode criticar, mas acho que, no geral, não é uma imagem ruim. Talvez esteja um pouco plastificada no

06:16 primeiro plano, deste lado e também deste lado, mas, tirando isso, não é um resultado ruim. Agora, para o próximo teste, simplesmente substituí aquela mulher por uma imagem minha. Vamos ver se o modelo consegue me colocar diante daquela floresta de outono, mantendo meu rosto e as outras coisas intactos e removendo o chapéu. Veja, ele manteve tudo. Está tudo bom. Ficou até melhor que antes; claro, talvez seja porque eu apareço na imagem, além de

06:48 olhar para estas árvores, as árvores de outono: elas parecem um pouco mais realistas. Ainda há aquele aspecto plastificado, mas talvez o modelo esteja tentando colocar névoa nas árvores. Fora isso, esta imagem está melhor. Além disso, a novidade aqui é que ele também colocou uma calça jeans em mim, algo que não estava presente na imagem original. Então, este resultado é bem bom em termos de edição de imagens ou geração com múltiplas imagens. Além disso, dá para dizer que é uma espécie de edição também. Agora vamos conferir a edição de imagens.

07:21 E, antes disso, este foi o prompt que usei para o teste anterior. A seguir, vou mostrar como fazer edição de imagens. Estou fornecendo esta foto de uma torrada, e o prompt pede para passar geleia de morango na torrada e acrescentar alguns mirtilos frescos no prato. Vamos ver o que ele gera. E pronto. Deixe-me mostrar aqui. Legal. Não tenho certeza do que exatamente está atrás, mas é um padrão daquele

07:51 jogo americano. Tirando isso, acho que ficou bem bom. O que você acha? Os mirtilos parecem bem harmoniosos, com um leve aspecto de imagem gerada por IA, mas, no geral, a textura da torrada e esta geleia parecem boas. Mas, na minha humilde opinião, de forma alguma é uma imagem de nível mundial. O motivo é que ela não é

08:21 totalmente natural. Ainda falta muito. Acho que o modelo anterior era um pouco melhor do que este em termos de realismo. Certo, para o próximo teste de edição de imagens, vou fornecer esta imagem gerada por IA e pedir que ele corrija o cinto de segurança e o coloque corretamente sobre o ombro, dentro dos limites legais. E eu já passei esse prompt para um modelo; era muito, muito detalhado. E este foi o resultado gerado pelo modelo, que falhou

08:54 um fracasso. Como você pode ver, ele não conseguiu editar a imagem para corrigir o cinto de segurança direito. Vou tentar algo simples, talvez mudar a cor do cabelo. E pronto. O cabelo foi mudado. Esta é a imagem original, e esta é a versão editada, em que o modelo se saiu muito, muito bem. Se você observar os outros detalhes da imagem, eles continuam intactos, e os detalhes do cabelo estão muito bons. Ele está um pouco frisado, o que é bastante

09:25 natural. Acho que o modelo se saiu muito, muito bem aqui. E, a seguir, com todo o respeito, testei este reflexo na água, o Harmandir Sahib. Como você pode ver no prompt, é o belíssimo Templo Dourado em Amritsar, Punjab, na Índia. E foi isso que ele criou, como vocês acabaram de ver. Os detalhes dourados, o reflexo na água e os pequenos devotos ficaram muito bons; o

09:55 trabalho de incrustação em mármore e o reflexo da luz nos espelhos são bastante convincentes. Eu diria que a imagem toda tem um ar sagrado e suave, mas, se você é dessa parte do mundo e já esteve lá, compartilhe também sua opinião. O que acha? Sim, os pássaros estão fora de escala, e a geração da imagem não ficou perfeita, mas, ainda assim, ele tentou. Acho que esta é a melhor imagem que este modelo gerou até agora. Testei a atmosfera com fumaça e os rostos mascarados em um

10:27 movimentado mercado fluvial em Kalimantan do Sul, na Indonésia. É um mercado fluvial movimentado; a névoa alaranjada, o sol fraco, a coluna de fumaça e as máscaras parecem bastante convincentes e reais. Todas as casas sobre palafitas e as figuras ao fundo também ficaram muito boas, bem realistas. Veja também a imagem ao lado: esta é a melhor. E meu coração está com todas essas pessoas da região, afetadas pela fumaça e pela estação seca neste momento. Este é o prompt que usei.

11:01 A seguir, vou levar vocês à Baviera. É lá que as vacas estão voltando dos Alpes, e esta é a imagem que ele gerou. Sabe de uma coisa? Acho que esta não ficou lá essas coisas. Há coisas demais acontecendo, especialmente em relação às plantas. Ele tentou demais. Também parece bastante plastificada. Algumas partes estão razoáveis, mas acho que não ficou realista. O que você acha? Mas, aliás, o conceito é bem interessante.

11:32 E, por fim, chegamos a Mogadíscio, na Somália, na África. Esta é a praia de Lido, em Mogadíscio, durante a hora dourada. Basicamente, estamos testando tecidos coloridos, uma multidão animada e água azul-turquesa, com a luz do sol na areia e na pele. No geral, é uma boa imagem de uma família sentada, fazendo um piquenique. Mas há um detalhe: veja que a comida aqui é sempre do mesmo tipo. A praia está razoável. Nada mal. Os reflexos estão muito bons. Esta é uma coisa em que este

12:04 modelo melhorou. Há alguns minaretes ao fundo. E algumas pegadas, então não é uma imagem ruim. Mas, se me permitem ser sincero, acho que a geração de texto para imagem e de imagem para imagem realmente chegou a um platô. Não vejo nenhuma inovação revolucionária ou que mude tudo neste novo Flux 3. Mas me contem o que acham. Qual é a opinião de vocês? Mais uma vez, obrigado por todo o apoio.

Transcrição original

[00:02] This image has been generated by a flux client model from Black Forest Lab, their newest flux 3 model. In this video, not only I’m going to show you how you can get it installed locally, we are going to test it out thoroughly. This is Fahad Mirza and I welcome you to the channel. I’m also going to unpack how this model is different from its flux 2 version and I’m also going to share how you can get installed comfy UI, which is the tool

[00:33] I’m going to use. For detailed version, just watch this comfy UI tutorial on my channel. So, let’s get a right into this. The prompt which I used was this as you can see here. I asked for a flamenco dancer in a whitewashed Seville courtyard at golden hour, mid-turn in a crimson ruffled dress with a black lace mantilla, a red carnation and a shallow depth of field. And you can easily see the result in

[01:04] this image which was generated in this comfy UI workflow. Don’t worry, I’m also going to give you the link to this workflow in my GitHub repo. But look at this image now. You see, this is what has come out. The courtyard, bougainvillea, blue tiles and terracotta pots match and the warm light and soft background look right. The dress has layered ruffles and the skirt shows the spin and the mantilla and carnation are where I put them.

[01:34] But there are various issues. Raised hands look quite awkward. The thumb bends oddly. Still, you know, after all these years, these models are unable to get the hand right or arms right. Um the other hand is also half hidden and the you see, if you look at this torso, it also doesn’t look that, you know, natural. So, it has followed the prompt well, which has improved, but it is not perfect by any means.

[02:06] Now, if you look at this workflow, it is quite simple. One of the differences with the previous version Flux 2 client is that the Flux 2 was quite fast. This one is not as fast as I was hoping, but still that is fine as long as it generates good images. The Flux 3 image client is new open weights model from Black Forest Lab, but check out their license, too. It has got 5.6 billion parameters in the image

[02:38] transformer and does text-to-image, image editing, and multi-reference generation in one model with up to 10 reference images, and we will also try it out. The distilled version needs only 16 steps, which is fast without any guidance, and lo and behold, it uses GLM 3 4 billion as its text encoder. You can also place elements with bounding boxes in the prompt. It can render text inside images, which we will test out. But, the thing is that

[03:08] very surprisingly, Black Forest Lab has said that text might not be correct in this version. So, last bit on the license, it allows non-commercial use plus commercial output for qualifying user under $5 million in annual revenue. So, please do check it out if you’re looking to use it commercially. Let’s now do a few more tests. Before that, let me quickly show you my VRAM consumption. These are some of the workflows. The model is loaded, and this is my VRAM

[03:38] consumption under 27 gig of VRAM, which is a bit less than the previous version, and I’m using it in full precision. And if you’re looking to rent a GPU on very good price, you can find the link to Vast Compute in video’s description. Also, please subscribe to this newsletter at fawadmirza.substack.com. And if you want to help out the channel, please become a member. For that, all you need to do is to just go to the homepage and become a member on in the first pinned comment. Okay, so now let’s

[04:11] try out few more stuff with this model. And sorry, I forgot. People have been telling me to actually pronounce, you know, announce how much VRAM it is consuming. So, it is 26418 you know, MB or around you can say that under 27 gig of VRAM. And here is another result. Let me show you in full screen. So, this is from Yemen’s Sana’a city. A honey shop is signs in Arabic and English. And we are

[04:42] testing whether the model renders short text in both scripts. The model has the sign got right. Honey is crisp and correct. And the Arabic below it is also okay, but I’m not sure if you’re an Arabic speaker, let me know, please. The brick tower, while, you know, the whole trim, stained glass window, and jars all match the prompt. But there are few tiny labels on the jar which are quite unreadable ones, and that makes sense given the distance of image. But you see,

[05:13] the traditional attire also looks pretty good. The thing which is impressing me is the way, you know, the sunlight and the shadows and this whole stuff, you know, at the backdrop drop of this shop looks amazingly good. And look at this pattern at the top. It is quite a good result. And let me quickly show you the prompt which I used. This is the prompt. And now this is a test for multi-image. We have given this model few photos as

[05:44] you can see on the left where there are um a few images which I already have inputted and then this is the prompt, a very short one, which has been upsampled. From there, this is what it has generated. So, you see, now it has built this wooden lookout, kept her hat, yellow dress, and long hair, and matched the light to the foggy orange hills. Um there are a few things which you can nitpick, but I think overall, it is not a bad image. Maybe a bit plasticky at

[06:16] the foreground, this side, and also this side, but other than that, uh not a bad result. Now, for the next test, what I have done, I have just replaced that woman with my own image. And let’s see if model has been able to put me in front of that autumn forest while keeping my face and other stuff intact and removing the hat. You see, it has kept it. Everything looks good. It is even better than before, not, you know, of course, maybe because I am in that image, plus

[06:48] look at these trees, autumn trees, they look a bit more realistic. There is still that plasticky look, but maybe it is trying to put that fog on the trees, but other than that, this is better. Plus, the innovation here is that it has also put a blue jeans on me, um which was not present in the original image. So, this one is quite good in terms of image editing or multi-image rendering. Plus, you can also say it is sort of editing, too. Let’s now check out image editing.

[07:21] And before that, this was the prompt which I used for my previous one. Next up, let me show you how you can do the image editing. I am giving it this photo of a toast and the prompt is to spread strawberry jam on the toast and add a few fresh blueberries on the plate. Let’s see what it generates. And there you go. So, let me show you here. Nice. I’m not sure what exactly uh is behind, but that is a pattern of

[07:51] that mat. But other than that, I think looks pretty good. What do you think? Um this thing, you know, the blueberries, they just look quite harmonious, bit uh AI generated one, but overall the toast texture and this jam, that looks okay. But it is by no means a world-class image in my humble opinion. The reason being it is not uh net you

[08:21] know, totally natural-looking. Still a long way to go. I think, you know, the previous model was slightly better than this one in terms of realism. Okay, next step for image editing, I’m going to give it this AI generated image where I’m asking it to fix the seatbelt and put it properly on the shoulder so that it is in the legal range. And I already gave that prompt to a model, very very detailed one. And then this is what model has generated where it failed

[08:54] miserably. As you can see, it was unable to edit the image to fix the seatbelt properly. Let me try a simple one to change the maybe hair color. And there you go. So, the hair have been changed. So, this is the original and this is now the edited one where model has done really really good. If you look at rest of the detail in the image, that is intact and the hair detail is quite good. It is a bit frizzy, which is quite

[09:25] natural. I think model has done very very well here. And next up, with all due respect, I have tested this water reflection, the Harmandir Sahib, as you can see the prompt here, the beautiful beautiful Golden Temple in Amritsar, Punjab in India. And this is where it has created as you just saw. So, you see the gold detail, the water reflection, and the small devotees, they all look really good, the

[09:55] marble inlay and mirror light reflection is quite convincing. So, the whole image is quite I would say sacred and soft, but if you are from that part of the world, if you have seen it, please also share your thoughts. What do you think about it? Yes, the birds, they look out of size and not a perfect image generation, but still it has tried. I think this is the best image this model has generated so far. I tested the smog at atmosphere and mass faces in a

[10:27] busy river market in South Kalimantan in Indonesia. This is a busy river market, the orange haze, dim sun, smoke plume, and mass look quite convincing and real. All the stilt houses and background figures are also quite nice, very real. Also see on the side, this is the best one, and really my heart goes out to all these people in that region who are affected by this smog and dry season at the moment. And this is the prompt which I used.

[11:01] Next up, I’m taking you to Bavaria, and this is where the the cows are returning from the Alps, and this is the image which it has generated. Um you know what? I think this one is not really there. There’s too much happening, especially in terms of plants. It has tried too hard. Looks also quite plasticky. Um Some of it is okay, but I think the realism is not there. What do you think? But looks pretty interesting concept, by the way.

[11:32] And finally, we are to Mogadishu in Somalia in Africa. This is the Lido beach in Mogadishu at golden hour and basically, we are testing some colorful fabrics, a lively crowd, and turquoise water with sun satellite on sand and skin. So, overall, a good image of family sitting having a picnic. But, a detail is you see there’s just same kind of food here. Uh the beach is okay. Not bad. The reflections are really good. This is one thing which it

[12:04] this model has improved. There are some minarets in the background. And some footsteps, so not a bad image. But, if you allow me to be honest, I think it seems that this text-to-image, image-to-image generation has really plateaued now. I don’t see any earth-shattering, groundbreaking innovation in this new Flux 3. But, let me know your thoughts. What do you think about it? Again, thank you for all the support.