Modelo de imagem 100% open source permite posicionar texto com JSON

Autoria: Sam Witteveen · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: 100% Open Image Model Lets You Place Text With JSON · Canal: Sam Witteveen · 13:23 · Assistir no YouTube

Tópicos: Geração de conteúdo com IA, Modelos de IA, Modelos locais e open source

Resumo

Moss image é um modelo de geração de imagens de 5 bilhões de parâmetros, com pesos e código sob licença Apache 2.0. Ele se destaca na criação de imagens com texto e permite controlar a posição de elementos por meio de layouts em JSON. O modelo gera imagens apenas a partir de texto, sem edição de imagens de entrada, e pode ser lento nas configurações padrão. LoRAs e fine-tunes da comunidade já oferecem formas de acelerar a geração e personalizar estilos ou pessoas.

Pontos-chave

Moss image é um modelo de difusão transformer de 5 bilhões de parâmetros, treinado do zero, com pesos e código sob licença Apache 2.0.
O modelo usa o encoder de texto Qwen 3.5 9B e aceita prompts de até cerca de 4.000 tokens.
A geração de retratos fotorrealistas, imagens de produtos, estilos artísticos e diferentes proporções de imagem está entre seus pontos fortes.
O modelo se destaca na geração de texto em imagens, como cartazes e infográficos, embora possa falhar com textos longos.
Layouts em JSON permitem especificar caixas delimitadoras e controlar a posição de textos e objetos na imagem.
Um LLM pode produzir o JSON de layout a partir de uma descrição detalhada, facilitando a geração em pipeline.
Moss image é apenas texto para imagem: não aceita imagens de entrada para edição ou condicionamento.
A geração padrão, com 50 passos, pode ser lenta; a comunidade já publicou versões quantizadas e LoRAs de quatro e oito passos.
LoRAs e fine-tunes podem personalizar estilos ou inserir pessoas que não aparecem bem nos pesos originais do modelo.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação do Moss image e licença	O vídeo apresenta o modelo, sua arquitetura de 5 bilhões de parâmetros, o encoder de texto e a licença Apache 2.0.
02:11	Qualidade das imagens e geração de texto	O apresentador mostra resultados em diferentes estilos e proporções e destaca o desempenho do modelo com texto em imagens.
05:53	Limitações e versões aceleradas	O modelo não edita imagens de entrada e pode ser lento, mas LoRAs e fine-tunes permitem personalização e aceleração.
08:02	Demonstração de controle por layout	Uma galeria demonstra como usar caixas de layout para alterar textos, objetos, cores e estilos nas imagens.
11:15	Personalização de pessoas e conclusão	O vídeo compara a geração de pessoas conhecidas e personalizadas e conclui que o Moss image é promissor para imagens com texto, mas ainda não oferece edição.

Citações

O modelo tem apenas 5 bilhões de parâmetros. — 00:00

Como é Apache 2, basicamente você pode fazer o que quiser. — 01:37

Você pode descrever o que quer e usar caixas delimitadoras em JSON para indicar onde quer isso na imagem. — 04:47

Não é possível inserir uma imagem para transformar; ele é puramente texto para imagem. — 05:53

Se você precisa de imagens com muito texto ou de elementos posicionados exatamente onde quer, este é um modelo interessante para o seu tamanho. — 12:50

Conceitos e entidades

Moss image (modelo): Modelo de geração de imagens de 5 bilhões de parâmetros, com pesos e código sob licença Apache 2.0.
Open Moss (empresa): Equipe responsável pelo Moss image, além de Moss TTS e do modelo de vídeo Mova.
Qwen3.5 9B (modelo): Encoder de texto usado pelo Moss image para interpretar prompts.
ComfyUI (ferramenta): Interface em que o Moss image pode ser executado nativamente.
Apache License 2.0 (conceito): Licença permissiva aplicada aos pesos e ao código do Moss image, permitindo uso comercial.
JSON layout (conceito): Formato de layout que descreve a cena e define caixas delimitadoras para posicionar textos e objetos.
LoRA (conceito): Método de adaptação usado para acelerar a geração ou personalizar estilos e pessoas.
SGLang (ferramenta): Uma das opções mencionadas para executar o Moss image.
VLM Omni (ferramenta): Outra opção mencionada para executar o Moss image.

Tradução completa (pt-BR)

00:00 Certo, então, todas estas três imagens foram geradas por um modelo que tem apenas 5 bilhões de parâmetros. Ele tem pesos abertos e, o mais importante, licença Apache 2.0, o que significa que, basicamente, você pode fazer o que quiser com ele. O modelo se chama Moss image e, neste vídeo, vou mostrar alguns exemplos do que ele consegue fazer, do que não consegue, quais são seus pontos fortes e como você pode usar esse modelo bem pequeno para produzir imagens realmente fantásticas. Então, vamos ver o que dá para obter hoje em dia com um modelo de imagem de 5B. Certo, o Moss image vem da Open Moss. Essa é a equipe que

00:34 lançou o Moss TTS e o modelo de vídeo Mova. E este é o primeiro modelo de imagem deles. Ele foi lançado na semana passada. Basicamente, por baixo do capô, é um transformer de difusão com 5 bilhões de parâmetros, treinado do zero. Para fazê-lo funcionar, eles usam o encoder de texto Qwen 3.59B. Então, na verdade, há um modelo de linguagem de 9 bilhões de parâmetros lendo seu prompt. E esse prompt pode ter até cerca de 4.000 tokens. Os modelos de imagem mais antigos usavam encoders de texto bem menores. E isso é um dos principais motivos pelos quais tinham dificuldade

01:04 com contextos longos e prompts complicados. O Moss tem basicamente dois checkpoints. Há um modelo base, que serve mesmo para fine-tuning e treinamento de LoRAs. E há um modelo SFT, que você pode usar para gerar imagens. Mas, como mencionei na introdução, o mais importante aqui é que tudo está sob Apache 2.0, tanto os pesos quanto o código. Se você olhar alguns dos outros modelos de imagem fortes que analisei antes, como o Qwen image e outros, embora os pesos sejam abertos, as licenças deles não são. Muitas vezes, estão sob uma licença de pesquisa não comercial. Modelos como o Flux 3

01:37 client estão sujeitos à licença comunitária do Flux. E, muitas vezes, isso limita o que você pode fazer com eles. Este, por estar sob Apache 2.0, basicamente permite que você faça o que quiser. Você pode ganhar dinheiro com ele. Pode incluí-lo nos seus próprios produtos. E pode criar praticamente qualquer tipo de imagem que quiser. Surpreendentemente, tanto imagens seguras para o trabalho quanto imagens NSFW. Então, o modelo já está disponível no Hugging Face. Ele funciona nativamente no ComfyUI, que acho que a maioria das pessoas vai usar. Também dá para usá-lo no SG Lang e no VLM Omni, que é basicamente como estou executando-o aqui hoje. Certo,

02:11 então vamos começar com imagens gerais. Todas foram geradas com o modelo SFT nas configurações padrão. Temos 50 etapas e CFG, ou orientação sem classificador, configurado para três. Então, você vai notar que os retratos fotorrealistas ficam muito bons. A pele e os detalhes se mantêm bem. As fotos de produtos ficam bem bonitas e limpas, e o modelo é perfeitamente capaz de gerar efeitos de bokeh no fundo e coisas do tipo. Vou falar sobre isso conforme avançarmos. Também acho que o modelo lida muito bem com efeitos e fontes de iluminação,

02:44 tanto em imagens realistas quanto se você quiser criar algo como uma aquarela ou algum tipo de interpretação artística. Os estilos também funcionam. Se quiser algo como anime ou o estilo de algum artista específico, por exemplo, o modelo parece ser muito bom nisso. Além disso, poder configurá-lo para usar diferentes proporções significa que você não fica limitado a imagens quadradas. Dá para criar banners largos, mais ou menos como papéis de parede para celular em formato retrato, e fazer isso com

03:14 qualquer resolução, de cerca de um quarto de megapixel até 4 megapixels. Eu diria que o ponto ideal fica entre 1 e 2 megapixels. Então, o modelo consegue, sim, criar imagens decentes para um modelo desse tamanho. Mas acho que o verdadeiro motivo para prestar atenção nele é o texto. Vamos começar com algo simples. Você vai ver que um título sozinho não é problema. Três linhas — título, data e local — para um pôster ou algo assim, ele consegue lidar muito bem com isso. Também consegue gerar texto em inglês e chinês

03:45 na mesma cena. E, se você quiser algo estilizado, como algo escrito num quadro-negro de cardápio e coisas do tipo, ele não tem problema em fazer isso. Até para coisas como infográficos, em que você quer destacar diferentes etapas ou algo assim, o modelo está se saindo muito bem. E dá para ver, olhando estas pontuações, que o MOS image fica muito à frente dos outros modelos open source nessa tarefa. Na verdade, fica logo atrás do Nano Banana e apenas alguns pontos percentuais atrás do GPT image

04:15 2. Então, claramente, no benchmark próprio do laboratório para textos longos, ele está se saindo muito bem para um dos modelos open source. Mas vale lembrar que esse é o benchmark deles. Até agora, não encontrei evals de terceiros. Isso não significa que ele acerte o texto sempre. Às vezes, pode falhar se você forçar demais os limites, por exemplo, colocando muitas palavras numa página. Ele pode começar a se desmanchar. E, talvez, quando comparado a modelos maiores, como o Korea 2, você perceba que este modelo não é tão bom. Dito isso,

04:47 ele tem alguns recursos bem legais, assim como aqueles outros sistemas. Um deles é a ideia de um layout em JSON. Além de um prompt comum, você pode fornecer ao MOS image um layout que descreve a cena inteira e, depois, listar elementos — textos ou objetos — cada um com uma caixa delimitadora. Basicamente, eles treinaram o modelo para respeitar esse tipo de layout em JSON e as legendas associadas. Então, pelo que entendo, isso não é algo simplesmente acrescentado depois. Você tem a possibilidade de

05:19 descrever o que quer e, depois, usar caixas delimitadoras em JSON para indicar onde quer cada coisa na imagem. Isso pode ser muito legal se você já tentou fazer in-painting e não conseguiu colocar o que queria no lugar certo, ou algo do tipo. Também é um truque interessante: você pode gerar algo, olhar o resultado e decidir: “Não, na verdade eu queria isso em outra parte da imagem.” E o legal aqui também é que não se esqueça de que você pode pedir a um LLM para escrever esse JSON. Então, você pode partir de um briefing bem

05:53 descritivo, pedir a um LLM que escreva o prompt com o JSON e, então, fazer o MOS image gerar tudo isso num pipeline. Eles também têm o próprio aprimorador de prompt de layout, que você pode experimentar e que faz exatamente isso. Certo, o que o modelo não faz? Bem, para começar, não há edição aqui. Você não pode fornecer uma imagem para gerar outra imagem a partir dela. Não dá para editar imagens de nenhum tipo. Ele é exclusivamente de texto para imagem. Dá para fazer coisas como o in-painting padrão no ComfyUI, mas é praticamente só isso.

06:26 Você não vai conseguir pegar uma foto do mundo real e editá-la, como pode fazer com o Nano Banana e o Quant Image Edit, por exemplo. E quem sabe, talvez esse seja o próximo modelo que eles lancem, o que seria bem legal, especialmente se também tiver licença Apache 2. Uma das coisas legais é que, como eles disponibilizaram o modelo base, podemos criar nossas próprias LoRAs e fazer fine-tuning para obter estilos bem específicos ou incluir determinadas pessoas, esse tipo de coisa. No momento em que estou gravando isto, não sei se todos os exemplos de código para isso já foram publicados, mas eu

06:58 Imagino que a comunidade também vai conseguir descobrir isso por conta própria. Fora da caixa, com as configurações padrão, ele é bem lento. São cerca de 50 etapas, e imagino que, se você estiver fazendo tudo isso com uma GPU mais antiga e menor, vai levar um tempo para gerar a imagem. Dito isso, acho que a comunidade já lançou algumas destilações e modificações para versões que você pode executar no ComfyUI. Eu não ficaria surpreso se víssemos uma espécie de versão turbo disso, e acho que a comunidade vai lançar muitas versões diferentes.

07:30 Em menos de uma semana, a comunidade já lançou LoRAs de oito e quatro etapas, versões quantizadas e até um fine-tune completo do modelo base. Sem contar que a própria equipe da Most disse que está trabalhando ativamente em uma destilação de poucas etapas. Então, isso pode até levar a uma versão turbo oficial no futuro. Vamos dar uma olhada em algumas das imagens que você pode criar com isso nesta pequena demonstração que preparei. Certo, se entrarmos neste tipo de aplicativo de galeria que criei aqui, vou mostrar algumas coisas diferentes. Para começar,

08:02 há muitas coisas que você pode gerar. Obviamente, você pode gerar imagens com texto. O grande problema é que, às vezes, o texto funciona e, às vezes, não. A maneira de fazer isso funcionar é usar o controle de layout. Então, veja que algo assim eu basicamente gerei diretamente, sem orientar o modelo de forma alguma, e, com o tempo, ele começa a errar diferentes partes do texto. Já se eu entrar e fizer algo assim, você pode ver que basicamente tenho caixas de layout diferentes

08:33 aqui. Posso desenhar uma caixa e depois preenchê-la. Certo? Isso usa a geração com JSON. Depois de inserir isso, posso basicamente dizer o que quero que apareça naquela caixa. Temos, sabe, um monte de coisas diferentes. Se quiser… Deixe-me ativar a versão turbo. Assim, vai ser um pouco mais rápido. Podemos explorar ainda mais. Você pode ver que temos os layouts propriamente ditos. Se quisermos mudar, sabe, o sofá, podemos entrar e simplesmente mudar

09:05 a cor aqui. Podemos mudá-la aqui. Posso clicar em gerar, e agora você vai ver que teremos um sofá verde em vez de um sofá vermelho. Também podemos fazer coisas como mudar, sabe, elementos do pôster lá atrás. Se eu gerar agora, devemos ver Ready Player One em vez de apenas Player One. Então, essa é a principal maneira de brincar com texto: você controla onde ele vai aparecer, e isso também parece deixar o texto bem mais

09:38 preciso aqui. Mas não só o texto: também podemos mudar, sabe, o gato para um tigre. Vamos ver como vai ficar. E agora você pode ver que temos nosso tigre. Às vezes, vamos perceber que coisas como essa mudam, sabe, colocando o capuz nele. Então, se quiséssemos algo bem específico, basicamente diríamos: “Certo, mude estas coisas.” Diríamos para não colocar o capuz na cabeça dele, deixá-lo atrás, ou algo assim. Também podemos fazer

10:08 estilos e efeitos bem legais aqui. São resultados diretos do modelo, sem pré-treinamentos de LoRA nem nada do tipo, e ele faz um ótimo trabalho com isso. Também pode fazer coisas como inpainting; você pode ver aqui que temos a mesma imagem, só estamos mudando o que vai aparecer ali. Neste caso, os livros ficaram cortados, mas funciona bem com o gato e talvez nem tanto com o cachorro. Então, é bom experimentar. Voltando aos estilos, ele realmente consegue reproduzir estilos bem legais de diferentes tipos de imagens e coisas assim. Você pode

10:44 basicamente usar LoRAs com ele. Uma das LoRAs que já foi criada é esta de oito etapas. Ela apenas acelera a geração. Para mim, gerar sem ela leva cerca de 30 segundos, mas, se eu usar esta… Vamos entrar e fazer um remix. Se eu usar esta e ativar esta LoRA, posso entrar aqui e mudar isso. Antes ele estava usando uma blusa amarela; agora vamos mudar para uma laranja. E você pode ver

11:15 que agora a geração está bem mais rápida do que 30 segundos. O tempo caiu bastante. Quanto a pessoas famosas, ele conhece muito bem algumas delas, por exemplo, Brad Pitt, entre outras. Mas, se eu pedir para criar uma imagem de Sam Altman, ele realmente não sabe quem ele é, certo? Por algum motivo, simplesmente não há exemplos suficientes dele nos pesos e coisas do tipo. Você vai ver que, com cada uma dessas imagens, o resultado não funciona muito bem. Mas, se eu criar uma LoRA — e você pode ver que basicamente criei uma LoRA personalizada de

11:48 Sam Altman aqui — treinada com não muitas imagens, e provavelmente imagens de qualidade não muito boa. Na verdade, muitas das imagens que encontrei eram de coisas que ele fez quando era bem mais jovem, na Y Combinator, por exemplo. Por isso, ele tende a aparecer um pouco mais jovem. Mas, se você se dedicar, pode treinar uma LoRA bem rapidamente para colocar alguém nas fotos, mesmo que essa pessoa não estivesse no conjunto de dados de treinamento original. Só para comparar, esta é uma imagem que fiz com nano banana

12:19 com ele. E dá para ver que, sim, a qualidade melhorou em alguns aspectos, mas o rosto ainda não ficou tão parecido com o que eu gostaria. Isso acontece porque não estamos fazendo edição de imagem. Não estamos condicionando a geração a uma imagem dele. Estamos gerando a partir dos pesos do modelo. Isso mostra bem qual é a fraqueza deste modelo: como não é possível fazer edição de imagem, você precisa fazer fine-tuning com uma LoRA ou algo assim para

12:50 injetar uma pessoa, um tema ou um estilo nos próprios pesos, em vez de simplesmente usar isso no contexto e fazer algum tipo de edição aqui. Espero que eles criem uma versão que realmente possa editar imagens e ser condicionada por imagens, e não apenas por texto, etc. Certo. Então, se você precisa de imagens com muito texto ou de elementos posicionados exatamente onde quer, e quer uma licença que permita criar um produto, este é um modelo realmente interessante para o seu tamanho. Se você precisa de edição, sim,

13:23 ainda não chegou lá. Vai ter que esperar por um modelo mais novo ou por uma nova versão quando ela sair. Enfim, coloquei os links na descrição. Conte nos comentários o que você acha, caso esteja experimentando: o que você percebeu que ele faz bem e o que percebeu que faz mal. Como sempre, se achou o vídeo útil, clique em gostei e inscreva-se, e a gente se fala no próximo vídeo. Até mais.

Transcrição original

[00:00] Okay, so all three of these images came out of a model that’s just 5 billion parameters. It’s open weight and most importantly, it’s got an Apache 2.0 license, meaning that basically you can do whatever you want with it. The model’s called Moss image and in this video I’m going to go through some examples of what it can do, what it can’t do, what its strengths are, and how you can use this very small model to produce really fantastic images out. So let’s take a look at what you can actually get from a 5B image model nowadays. All right, so Moss image comes from Open Moss. This is the team that

[00:34] put out Moss TTS and the Mova video model. And this is their first image model. It came out last week. And basically under the hood, this is a 5 billion parameter diffusion transformer that they trained from scratch. Now to get it to work, they’re basically using the text encoder, which is Qwen 3.59B. So you’ve actually got a 9 billion parameter language model reading your prompt. And that prompt can be up to around 4,000 tokens. Older image models used much smaller text encoders. And that’s a big part of why they struggled

[01:04] with long context and complicated prompts. Moss basically has two checkpoints here. There’s a base model, which is really for fine-tuning and training LoRAs. And then there’s an SFT model, which you can actually use to generate with. But like I mentioned in the intro, the big thing here is that this is all Apache 2, both the weights and the code. If you look at some of the other strong image models that I’ve looked at in the past, things like Qwen image, et cetera, while the weights are open, the licenses on those are not. They’re often under a non-commercial research license. Things like Flux 3

[01:37] client is gated under the Flux community license. And often that just limits what you can actually do with this. This one, because it’s Apache 2, basically you can do what you want. You can make money out of it. You can put it in your own products. And you can pretty much make any kind of images that you would want to do. Amazingly, both safe for work images and NSFW images as well. So out of the box, the model is actually up on Hugging Face already. It runs natively in ComfyUI, which I think most people are going to use. You can also use it in SG Lang and VLM Omni, which is basically how I’m running it here today. All

[02:11] right, so let’s start with just general images. These are all on the SFT model at default settings. We’ve got 50 steps, and we’ve got a CFG, which is a classifier-free guidance of three in here. So, you’ll notice that photorealistic portraits are really solid here. The skin and the details really hold up well. Product shots come out really nice and clean, and the model’s perfectly good at generating out bouquet effects for the background, etc. And I’ll talk about that as we go through. I also find that the lighting effects and lighting sources here, the model seems to handle those very well,

[02:44] both for realistic images, but also if you want to make something like a watercolor or some kind of artistic interpretation as well. Styles work, too. If you want to do something like anime or some particular kind of artist, etc., the model seems to be really good at being able to do that. Also, being able to set it to actually do different kinds of aspect ratios means that it’s not just locking you into square images. You can really go into wide banners, sort of portrait phone wallpapers, and can do that with

[03:14] anything from about a quarter of a megapixel up to 4 megapixels. With what I would say is 1 to 2 megapixels is being the sweet spot there. So, the model can definitely make decent images for this model size. But I think the real reason to look at this model is text. So, we start with something simple. You’ll see that just a single title, well, that’s no problem. Three lines, title, date, venue for a poster or something, can handle that kind of thing really well. It also can generate the text both in English and Chinese for

[03:45] the same scene. And if you wanted to have something stylistic, like having something written on a chalkboard menu and stuff like that, it has no problems with doing things like that. Even for things like infographics, where you basically want to call out different steps, that kind of thing, this model’s doing really well at this. And you can see if we look at these scores here, MOS image is scoring way above the other open models for this. In fact, it’s only just behind fraction of Nano Banana and only a few percentage behind GPT image

[04:15] two. So, clearly at the lab’s own long text benchmark, it’s really doing fantastically well for one of the open models. I guess though, do keep in mind that that’s their own benchmark. And so far, I haven’t really found any third-party evals there. Now, that doesn’t mean that it’s perfect at text all the time. There are times that it’s going to break if you push the limit to be too many words on a page, something like that. It can start to fall apart. And perhaps when compared to bigger models like the Korea 2 model, etc., you are going to find that perhaps this model is not quite as good. That said,

[04:47] it’s got some really nice features just like those other systems have. So, the whole idea of sort of JSON layout. So, along with a regular prompt, you can give MOS image a layout where you describe the whole scene and then you list out elements, text or objects, each with a bounding box. And they basically train the model to respect this sort of layout JSON and the captions that go along with it. So, it seems to me that this is not something that’s just bolted on afterwards. You’ve basically got the opportunity to have it where you can

[05:19] describe what it is that you want and then use JSON sort of bounding boxes to show where you actually want it on the actual image. This can be really cool if you’ve been trying to do things with in-painting in the past and you just haven’t been able to get what you wanted where you wanted it, that kind of thing. And it’s also kind of cool trick of how you can generate something and then look at the output and then decide, “No, actually I wanted that on a different part of the image.” Now, the cool thing here, too, is that don’t forget you can get an LLM to actually write that JSON out. So, you can go from a very

[05:53] descriptive brief to have an LLM actually write out the prompt with the JSON to then have MOS image actually generate this in a pipeline. And they’ve got their own layout prompt enhancer, which you can play around with and does exactly that. All right, so what does the model not do? Well, first off, there’s no editing here. You cannot put in image to image here. You can’t do any sort of editing of images. It’s purely text to image. You can do sort of stuff like the standard in painting in ComfyUI, but that’s pretty much about

[06:26] it. You’re not going to be able to do something where you take a real-world photo and then edit it, like you can with Nano Banana and Quant Image Edit, etc. And who knows, maybe that’s going to be the next model that they actually release, which would be pretty cool to see, especially if that’s also Apache 2. Now, one of the cool things is because they’ve given you the base model, we can actually do sort of LoRAs and fine-tunes ourselves to actually get very specific styles or get certain people in there, that kind of thing. Now, at the time I’m recording this, I’m not sure all the code examples are out for that, but I

[06:58] imagine that’s something that the community is going to be able to work out themselves as well. Out of the box itself, it’s pretty slow at these stock settings. You’re about 50 steps there, and I imagine if you’re doing all of this with a smaller, older GPU, it is going to take time for you to generate that out. Now, that said, I think the community has already released some distillations of this and modifications for versions that you can run in ComfyUI. I wouldn’t be surprised that we actually see a sort of turbo version of this, and I think the community will put out a lot of different versions of this.

[07:30] In just under a week, the community has already put out like an eight-step and four-step LoRAs, quantized versions, and even a full fine-tune on the base model. Not to mention that the Most team themselves have said that they’re actively working on a few-step distillation. So, that itself might even lead to an official turbo version on the way. So, let’s take a look at some of the images you can actually do with this in this little demo that I’ve created. Okay, so if we come into this sort of gallery app that I built here, just go through and show you a number of different things in here. First off,

[08:02] you’ve got lots of things that you can generate. Now, obviously, you can generate with text. The big issue is that sometimes the text is going to work, sometimes not. The way to actually make it work is to use layout control. So, you see that something like this, I basically had in there as just a straight-up generation where I’m not guiding it in any way, and it will start to get different parts of the text wrong over time. Whereas, if I come in and do something like this, you can see here I’ve basically got different layout

[08:33] boxes. So, I can actually draw a box and then fill it in. Right? So, this is using the JSON generation in here. Once I I’ve put it in there, I can then basically tell it what do I want to appear in that box. We’ve got, you know, a whole bunch of different things. If you want to Let me just turn on the turbo version. So, this is going to be a bit quicker. We can go even deeper in here. So, you can see here we’ve basically got the actual layouts there. If we want to change, you know, the couch, we could come in and just change

[09:05] the color in here. We can change it here. I can then click generate, and you’ll see now we’ll get a green couch instead of a red couch there. We can also do things like we can change, you know, things on the the poster at the back there. If I generate that now, we should see we’re going to get Ready Player One instead of just Player One there. And so, this is sort of the key way if you want to actually play with text, you want to actually control where it’s going to appear, and that also seems to make the text a lot more

[09:38] accurate in here. Not just text though, we can also change, you know, the cat to a tiger. Let’s see how that’s going to come out. And you can see now we’ve got our tiger. Now, we will find sometimes, you know, things like that changed, you know, him to putting the hoodie on. And so, if we had something really specific that we wanted, we would basically go through and tell it, “Okay, change these different things.” We would go through and actually tell it to not put the hoodie on his head, keep it at the back, or something like that. We can also do

[10:08] really nice sort of styles and effects in here. So, these are just straight out of the model, no sort of Laura pre-trains or anything like that, and it does a really nice job of those. It can also do things like in-painting, so you can see here we’ve got the same picture, we’re just changing what’s going to appear there. And you can see in this case the books got cut off, but for the cat it works well, for the dog perhaps not as much. So, you do want to experiment with it. Back to the styles here, it really is able to capture some really nice styles of different kinds of pictures and stuff like that. You can

[10:44] then basically use Laura’s with it. So, one of the Laura’s that’s already been made is this eight-step Laura. So, this just speeds up generation. So, generation without it for me is around about 30 seconds, but if I use this, let’s just come in and remix this. If I use this and I actually put on this Laura here, I can actually come in here and change that. So, we had him wearing a yellow top now, we change it to basically an orange one. And you can see

[11:15] that that’s generating a lot quicker now than 30 seconds. We’ve got the time down much quicker. So, you’ll see in regards to sort of famous people, certain people it will know very well, for example, Brad Pitt, etc. it knows really well. But if I ask it to make a picture of Sam Altman, it really doesn’t know who he is, right? For whatever reason, there’s just not enough of him in the weights and stuff in it. You’ll see that like each of these, it doesn’t really work. But if I create a Laura, and you can see basically I’ve made a custom Laura of

[11:48] him here, trained up on not a huge amount of images, and probably not the best quality images, and actually many of the images when I scraped them were actually from things that he did when he was much younger at Y Combinator, etc. So, that’s why they tend to come out looking a bit younger. But if you put the effort in, you can actually train up a Laura pretty quickly that will put someone into the photos, even though they weren’t in the original training data set. Just to sort of compare that, this is one that I did with nano banana

[12:19] with him. And you can see that, yeah, okay, it’s gotten better quality on certain things, but it still hasn’t got his face perhaps as good as I would like here. And that’s coming about here because we’re not doing image editing. We’re not conditioning on a picture of him to actually generate. We’re actually generating from the weights of the model out there. So, that really shows where the weakness of this model is, is that because you can’t do image editing, you either have to fine-tune through a Laura or something like that to actually

[12:50] inject a person or a topic or a style into the actual weights itself, rather than just using it in context and doing some kind of editing here. So, I do hope that they would go on to make a version of this that actually can do image editing and can condition on images, not just condition on text, etc. All right. So, if you need text-heavy images or you need things placed exactly where you want them, and you want a license that you can actually build a product on, this is really an interesting model for its size. If you need editing, yeah,

[13:23] it’s not quite there yet. You’ll have to wait for a newer model or a newer version of this as it comes. Anyway, I’ve put the links in the description. Let me know in the comments what you think if you’re playing with this, what you’re sort of noticing this to be good at, what you’re noticing it to be bad at. As always, if you found the video useful, please click like and sub- scribe, and I will talk to you in the next video. Bye for now.