Avanços em IA que passaram despercebidos

Autoria: Matt Wolfe · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: AI Breakthroughs Everyone Missed · Canal: Matt Wolfe · 24:57 · Assistir no YouTube

Tópicos: Geração de conteúdo com IA, Modelos de IA, Modelos multimodais

Resumo

Matt Wolfe apresenta projetos e pesquisas de IA que não receberam tanta atenção quanto os lançamentos das grandes empresas. Entre eles estão modelos de voz e vídeo, modelos de mundo com diferentes soluções para memória e renderização, e ferramentas para reconstrução e animação 3D. O vídeo também destaca limitações práticas, como custos, requisitos de hardware, resolução e disponibilidade de código. No fim, Wolfe mostra World Gacha, uma ferramenta de geração procedural que não usa IA, mas pode ser combinada com modelos de imagem e vídeo.

Pontos-chave

Fish Audio Drama 3 permite orientar a interpretação de vozes com instruções em texto e tem pesos disponíveis, mas exige bastante VRAM.
ByteDance Omni Human 2.0 gera vídeos de até cinco minutos a partir de uma imagem e de uma faixa de áudio, embora ainda tenha limitações visuais e levante preocupações com deepfakes.
Tencent World Crafter usa memória associada à posição da câmera para manter a consistência de cenas quando o usuário retorna a um local.
Matrix Game 4.0 combina um game engine convencional com um modelo de vídeo que transforma uma cena simplificada em imagens mais elaboradas.
Nvidia Stream Render H3 envia ao modelo de vídeo um mapa de cores simples e usa o modelo para renderizar a aparência final em tempo real, mas requer hardware de data center.
Odyssey conectou uma simulação de cérebro de mosca-das-frutas a um mundo gerado por Odyssey 3, mas não apresentou código nem uma explicação detalhada da integração.
Telescope reconstrói malhas 3D detalhadas a partir de fotos e pode preencher áreas com poucos registros, mas precisa de muitas imagens e ainda não disponibilizou o código.
Gaussi Animate acrescenta nós flutuantes à animação de personagens para representar movimentos de roupas, pele e outras partes flexíveis.
World Gacha gera regiões fictícias proceduralmente, sem IA, e permite exportar cenas como PNG, SVG ou arquivos de objetos 3D.

Capítulos

Início	Capítulo	Resumo
00:00	Projetos que passaram despercebidos	Matt Wolfe explica que o vídeo destaca notícias e pesquisas que costumam ficar fora da cobertura das grandes empresas de IA.
00:31	Drama 3 e vozes dirigidas por texto	O apresentador demonstra como o modelo da Fish Audio interpreta instruções de atuação, compara sua pronúncia com outros modelos e comenta preço e requisitos de hardware.
04:09	Omni Human 2.0 cria vídeos a partir de imagem e áudio	O vídeo apresenta a geração de falas e canto a partir de uma imagem, além de discutir duração, custo, qualidade e riscos de deepfake.
06:45	Modelos de mundo e memória de cena	World Crafter usa a posição da câmera para recuperar vistas anteriores, enquanto uma demonstração da ByteDance mostra novas perspectivas de cenas.
09:51	Demos e agentes do ChatGPT	Wolfe apresenta Dots, agentes que podem executar tarefas recorrentes, organizar dados e criar relatórios, incluindo um exemplo de análise de seu canal.
10:54	Renderização de jogos com modelos de vídeo	Matrix Game 4.0 e Stream Render H3 dividem o trabalho entre um game engine que mantém o mundo e um modelo que renderiza sua aparência.
16:38	Uma mosca simulada em um mundo virtual	Odyssey mostra uma simulação de cérebro de mosca-das-frutas conectada a Odyssey 3, antes de Wolfe demonstrar como controlar um mundo gerado pelo modelo.
18:11	Reconstrução e animação 3D	Telescope reconstrói malhas detalhadas a partir de fotos, e Gaussi Animate adiciona movimento a partes flexíveis de personagens 3D.
21:19	World Gacha e o encerramento	Wolfe mostra uma ferramenta procedural que gera regiões fictícias exportáveis e encerra explicando que pretende publicar mais vídeos sobre projetos menos conhecidos.

Citações

Quero compartilhar algumas das coisas mais interessantes que encontrei recentemente e que não apareceram nos vídeos maiores de notícias da semana. — 00:31

Você pode escrever a direção como explicaria a um ator. — 01:01

A solução do World Crafter é uma memória que você consulta pela posição da câmera. — 07:16

O Matrix Game divide esse trabalho em dois. — 11:25

Acho que esse motor com uma camada visual de IA é um caminho bem realista para jogos com IA. — 14:02

Conceitos e entidades

Fish Audio (empresa): Empresa que lançou o modelo de text-to-speech Drama 3.
Drama 3 (modelo): Modelo de text-to-speech que permite orientar a interpretação com instruções escritas diretamente no roteiro.
Artificial Analysis (ferramenta): Plataforma mencionada para comparar o desempenho de modelos de voz.
Hugging Face (empresa): Plataforma onde, segundo o vídeo, os pesos do Drama 3 estão disponíveis.
ByteDance (empresa): Empresa responsável pelo Omni Human 2.0 e por uma demonstração ainda sem nome público de um modelo de mundo.
OmniHuman 2.0 (modelo): Modelo que gera um vídeo de uma pessoa, personagem ou animal a partir de uma imagem e de uma faixa de áudio.
world models (conceito): Modelos que geram mundos em vídeo nos quais é possível se deslocar e interagir.
Tencent (empresa): Empresa cujo Arc Lab lançou o modelo de mundo World Crafter.
World Crafter (modelo): Modelo de mundo que usa memória vinculada à posição da câmera para ajudar a manter a consistência ao revisitar lugares.
Matrix-Game 4.0 (modelo): Sistema que combina um game engine, que mantém o estado do jogo, com um modelo de vídeo que melhora a aparência das cenas.
game engine (conceito): Motor de jogo que mantém regras, posições e outros dados do mundo virtual.
NVIDIA (empresa): Empresa que desenvolveu Stream Render H3, um sistema de renderização baseado em mapas de cores e modelos de vídeo.
Stream Render H3 (modelo): Sistema que transforma mapas de cores produzidos pelo game engine em cenas visuais renderizadas por um modelo de vídeo.
Claude Code (ferramenta): Ferramenta que, segundo o vídeo, foi usada para criar um decoder de vídeo mais rápido para Stream Render H3.
Odyssey 3 (modelo): Modelo de mundo da Odyssey que gera ambientes com os quais é possível interagir.
Eon Systems (empresa): Empresa que criou a simulação de cérebro de mosca-das-frutas mencionada no vídeo.
Telescope (modelo): Modelo da Preferred Networks que transforma conjuntos de fotos em malhas 3D detalhadas.
Preferred Networks (empresa): Empresa japonesa que lançou Telescope.
Gaussian splatting (conceito): Método de reconstrução de cenas 3D a partir de imagens, usado no vídeo como comparação para Telescope.
Gaussi Animate (ferramenta): Sistema para animar personagens 3D que combina um esqueleto com nós adicionais para representar partes flexíveis.
World Gacha (ferramenta): Ferramenta gratuita de navegador que gera regiões fictícias proceduralmente e permite exportar imagens e arquivos 3D.
Matt Wolfe (pessoa): Apresentador do vídeo, que comenta projetos de IA e outras tecnologias pouco discutidas.

Tradução completa (pt-BR)

00:00 Então, toda semana gosto de fazer um vídeo de resumo das notícias de IA do fim da semana, em que compartilho tudo o que aconteceu no mundo da IA ao longo da semana. Geralmente, esses vídeos são muito focados em alguns dos grandes laboratórios. São eles que recebem a maior parte da atenção nas notícias: OpenAI, Anthropic, Microsoft, Google, Nvidia, empresas desse tipo. No entanto, muitas vezes há notícias muito legais que passam despercebidas. Há muita pesquisa acontecendo e ferramentas menores sobre as quais nem tanta gente, inclusive eu, está falando agora. Então, neste vídeo, eu

00:31 quero compartilhar algumas das coisas mais legais com que me deparei recentemente e que não apareceram nos vídeos maiores de resumo das notícias do fim da semana. Digam nos comentários se gostaram deste formato de vídeo e provavelmente vou fazer mais vezes e compartilhar coisas que não vêm dos grandes laboratórios. Mas vamos começar com Fish Audio. A Fish Audio lançou um modelo chamado Drama 3. É um modelo de conversão de texto em fala em que você dirige a interpretação em inglês simples, em vez de escolher opções em um menu de emoções predefinidas. Como acontece com a maioria das ferramentas de voz, elas oferecem um

01:01 menu suspenso com opções como feliz, triste, com raiva e coisas assim. O Drama 3, porém, permite escrever a orientação como você explicaria a um ator. Você a coloca entre colchetes, direto no roteiro. Por exemplo, aqui está um trecho falado sem nenhuma orientação. >> Estou bem, de verdade. Vão sem mim. >> E agora, aqui está um com uma orientação escrita: mal conseguindo se controlar, forçando um sorriso. >> Estou bem, de verdade. Vão sem mim. >> E você pode até escolher palavras específicas. Por exemplo, aqui, eles dizem especificamente

01:33 para sussurrar “vão sem mim”. >> Estou bem, de verdade. Vão sem mim. >> Então, você pode moldar um efeito para palavras específicas. Pode inserir efeitos sonoros, coisas como uma risadinha, uma respiração trêmula, e colocá-los exatamente onde quiser. >> Estou bem, de verdade. Vão sem mim. >> Você pode até ter vários falantes, com várias vozes. >> Você estava lá naquela noite. >> Eu estava em casa, dormindo. >> Então por que seu casaco ainda está molhado?

02:03 >> Estava chovendo. >> Eles até licenciaram a voz do Uncle Roger para a página de demonstração, o que é bem hilário. >> Hiya, sobrinho. Por que você coloca ketchup no arroz frito com ovo? Arroz frito precisa de molho de soja, precisa de MSG, precisa de wok hei, não de molho de tomate. Uncle Roger não consegue assistir a isso. >> Se você já assistiu a algum vídeo do Uncle Roger, sabe que ficou bem parecido. Se dermos uma olhada rápida no Artificial Analysis, dá para ver que o Fish Audio Drama 3 tem a maior pontuação em

02:35 pronúncia. Então, ele é muito bom em pronunciar palavras e chega a pontuar mais alto que o modelo de conversão de texto em fala da 11 Labs e da SpaceX AI, que eu mostrei no vídeo de notícias da semana passada. Porém, quando olhamos a preferência no ranking da arena, que, como você sabe, funciona mais ou menos como um teste cego: as pessoas ouvem vários modelos diferentes e escolhem seus favoritos sem saber qual modelo estão escolhendo. Bem, ele não se saiu tão bem assim. Então, sabe, ele lê palavras difíceis melhor do que quase qualquer outro, mas muita gente ainda prefere outras

03:07 vozes. Ele também parece estar disponível com pesos abertos no Hugging Face. É um modelo de 36 bilhões de parâmetros, então você vai precisar de um hardware bem decente para executá-lo. As pessoas relataram que é necessária uma placa com cerca de 46 GB de VRAM, ou dá para se virar com 32 GB usando uma versão comunitária quantizada em 4 bits, mas nenhuma dessas opções vai funcionar na maioria dos laptops. Mais algumas observações rápidas que encontrei sobre esse modelo: a licença permite uso comercial gratuito, mas só se você

03:38 ganhar menos de meio milhão por ano, o que provavelmente não é um problema para a maioria das pessoas. No momento, a API custa cerca de US$ 10 por milhão de caracteres, mas esse é um desconto de lançamento que sobe para US$ 50 depois de 12 de novembro. E os resultados do Fish Audio variam, então planeje gerar alguns e ficar com o melhor. E, se você for usar a API, confira se definiu o modelo como Drama 3, porque ela costuma voltar silenciosamente para modelos mais antigos, e você ainda será cobrado mesmo se estiver usando os modelos antigos. Então,

04:09 lembre-se de conferir isso. Mas, se você acessar fish.audio/dramat3 e clicar em “try drama three for free”, pode experimentar agora mesmo. E, se você cria audiolivros, diálogos para jogos ou qualquer coisa com personagens, provavelmente vale a pena experimentar. Certo, já que estamos falando de vozes, depois de ter essa interpretação vocal, talvez você queira um rosto para acompanhá-la. Pois bem, a ByteDance lançou recentemente o Omni Human 2.0. Esse modelo recebe uma única imagem e uma faixa de áudio e, em seguida, gera um vídeo da pessoa falando, cantando

04:41 ou interpretando. Esta é a versão 2.0, e a maior diferença é que a versão anterior chegava no máximo a apenas 60 segundos. Esta permite criar até cinco minutos em uma tomada contínua. Assim, você não precisa juntar vários clipes curtos e torcer para que as emendas não apareçam nem sejam percebidas no áudio. Aqui estão alguns exemplos. >> Os reinos chamavam isso de lenda. Esta noite, vou torná-la real.

05:13 >> E também funciona com canto. >> Agora, o dobro [música] do tempo, acompanhe o ritmo. Cada expressão pronta para entrar. Voz no sentimento, sentimento na emoção. >> Espera, você percebeu? >> Você também pode adicionar prompts de texto para controlar os movimentos da câmera ou incluir coisas que não estavam na foto original. Ele gera em resolução 720p e não precisa ser só com humanos: também pode funcionar com personagens de desenho animado, animais e coisas assim. Para ser totalmente sincero, ainda acho que esses modelos de sincronização labial têm um longo caminho pela frente. Quando assisto a um

05:43 vídeo com sincronização labial feita por IA, ainda não funciona para mim. Estamos chegando cada vez mais perto. Quer dizer, estamos muito melhores do que há alguns anos, mas ainda deixa bastante a desejar. Não sei, o que você acha? Conta nos comentários. Quanto ao preço, o custo caiu de 12 centavos por segundo no modelo anterior para 7 centavos por segundo neste. Então, se você fizer um vídeo inteiro de 5 minutos, ainda vai custar cerca de 21 dólares. Agora, mais algumas coisas rápidas para

06:13 observar sobre este modelo. Tudo o que estou mostrando é do próprio vídeo de demonstração da ByteDance, e alguns dos primeiros espectadores notaram que o fundo se deslocava no clipe. Mais uma vez, ele é só 720p. Você não vai conseguir 1080p nem 4K com ele. E, como o modelo usa apenas uma foto e um áudio, há preocupações bem óbvias com o potencial de deepfake nesse tipo de coisa. Embora, pelo que acabei de ver, acho que ainda não precisamos nos preocupar com muita gente sendo enganada. Este modelo está disponível agora por meio da

06:45 Byte Plus e da API deles. Certo, agora vamos falar de um dos meus assuntos favoritos ultimamente. Tenho adorado isso. Vamos falar de modelos de mundo. São modelos de IA que geram um mundo em vídeo pelo qual você pode se movimentar. E o Arc Lab da Tencent lançou recentemente um chamado World Crafter. Ele começa com apenas uma imagem ou uma única linha de texto. Um dos grandes problemas que temos tido com modelos de mundo é que, se você está dentro de um e

07:16 desvia o olhar de alguma coisa e depois olha de novo, muitas vezes ela desapareceu ou mudou. O modelo só se lembra dos últimos segundos do que mostrou e, se você se movimenta pelo ambiente, tudo fica meio distorcido. A solução do World Crafter é uma memória que você consulta pela posição da câmera. Então, quando aponta a câmera para algum lugar, ele recupera as imagens anteriores correspondentes à direção para a qual você está olhando e as envia de volta ao gerador. Assim, quando você retorna ao restaurante original, ele se lembra do que viu da primeira vez. Então, eles demonstram isso

07:48 com esse pequeno truque aqui. Eles pegam o vídeo gerado pelo modelo e reconstroem uma nuvem de pontos 3D a partir dele. Se o mundo fosse inconsistente, essa reconstrução 3D sairia toda deformada. Em vez disso, você obtém uma geometria bem definida, e os trajetos da câmera coincidem quando ela revisita um lugar. Ele também lida com coisas em movimento, como um personagem que sai do enquadramento e depois realmente volta a aparecer nele, como podemos ver neste vídeo do cavalo aqui, em que a câmera tira o cavalo do enquadramento e, então, quando a câmera

08:19 gira de volta para a direita, dá para ver que o cavalo ainda está lá, embora estivesse se movendo. No benchmark próprio deles, com 145 cenas diferentes, eles dizem que o modelo supera os outros que testaram em consistência ao revisitar lugares e controle da câmera. Mas lembre-se de que esse é o benchmark deles. Então, encare o resultado com cautela. O código está disponível no GitHub agora mesmo, e há até uma versão no Hugging Face com a qual você pode brincar agora mesmo. Nos meus próprios testes, porém, quando digo a ele o que

08:50 gerar, ele não é exatamente a coisa mais rápida do mundo, mas acaba chegando lá. A ByteDance também apresentou recentemente sua própria versão de um modelo de mundo, em um evento em Pequim. Meu amigo Tim, do Theoretically Media, publicou algumas imagens que alguém meio que gravou durante o evento. Então, é uma gravação pirata feita com uma câmera. A demonstração mais impressionante que eles mostraram foi pegar uma cena do filme de Stephen Chow, King of Comedy, e gerar um novo movimento de câmera

09:20 por ela. É como refilmar uma cena que foi filmada décadas atrás. Agora é possível obter novos ângulos dessa cena. Você também pode digitar uma descrição para gerar um mundo: fazer aparecer uma colher gigante, escalá-la e atravessar um portal que leva de um quarto para o espaço sideral. Mas há uma ressalva: ainda não podemos usar isso. O produto nem sequer tem um nome público, não há data de lançamento, e as únicas imagens que vi dele foram gravadas por pessoas nesse evento, como as que Tim, do

09:51 Theoretically Media, compartilhou aqui. Então, vamos ficar de olho nesse projeto, mas ele parece bem impressionante. Antes de voltarmos ao vídeo, queria mostrar como tenho usado esse novo recurso, Dots, da OpenAI. Falei sobre ele em um vídeo recente de notícias sobre IA e, desde então, fui me aprofundando ainda mais. Basicamente, Dots são agents de IA sempre ativos aos quais você pode atribuir responsabilidades contínuas, e eles continuam trabalhando nelas mesmo quando você não está mais usando o ChatGPT. Por exemplo, tenho usado meu Dot para me ajudar com as análises do YouTube e atualizá-las

10:22 automaticamente toda vez que publico algo. Conectei-o ao meu canal do YouTube, e ele busca dados de visualizações e engajamento para encontrar padrões nos meus títulos, temas, enfoques e horários de publicação. Também tenho um espaço compartilhado com minha equipe, onde meu Dot mantém tudo organizado e cria novas subpáginas com relatórios semanais e ideias para vídeos com base no que está dando certo. O legal é que cada Dot tem seu próprio computador na nuvem e pode usar o ChatGPT e o Codex para realizar tarefas. Ele é desenvolvido com GPT-6 Astra e aprende minhas preferências, então pode sugerir coisas proativamente, sem que eu

10:54 precise pedir. Então, confira pelo link na descrição e muito obrigado à OpenAI por patrocinar este trecho do vídeo de hoje. Certo, já vimos dois modelos de mundo tentando resolver o problema da memória. Bom, o Sky Works Matrix Game 4.0 adota uma abordagem completamente diferente. Este modelo deixa de pedir que a IA se lembre do mundo. Em um modelo de mundo comum, a IA faz tudo. Ela desenha o quadro, mas também é o mecanismo de física, as regras do jogo e a memória. Quando algo sai da tela, a única

11:25 prova de que aquilo existiu está nos pixels que o modelo já desenhou, e é mais ou menos por isso que as coisas tendem a desaparecer. Matrix Game divide essa tarefa em duas. Um mecanismo de jogo comum executa o jogo. Ele sabe onde estão todos os inimigos, o que acontece quando você atira em algo e o que está atrás de você. Ele desenha uma versão simples, em blocos e com poucos polígonos, da cena. Então, a única tarefa do modelo de vídeo é redesenhar esse quadro em blocos para que pareça finalizado. Podemos ver alguns desses modelos aqui embaixo: à direita está o que o mecanismo de jogo

11:56 realmente desenha. À esquerda está o que você vê. É o mesmo quadro, no mesmo momento, mas o mecanismo cuida da jogabilidade e a IA cuida da aparência, que é aplicada por cima da jogabilidade. Como esse mecanismo de jogo acompanha tudo, o mundo não vai esquecer que há uma pirâmide atrás de você: ela continua no mapa do mecanismo, quer a IA a desenhe de novo ou não. Aqui está outro exemplo, de um jogo de carros. Dá para ver a versão inicial, em blocos, e depois a IA aplicando seus próprios gráficos

12:28 por cima. Então, o mecanismo de jogo só precisa se lembrar disso, e a IA faz aquilo. Há também outro componente. Se você pedir algo que as regras do jogo não contemplam, um agent de programação escreve novas regras no mecanismo e atualiza o prompt usado pelo modelo de vídeo. Assim, o mundo pode mudar no meio do jogo sem que a IA tenha de inventar novas leis da física na hora. Aqui embaixo podemos ver três jogos: um jogo de tiro em um castelo medieval, um jogo de tiro no Egito antigo e uma corrida urbana. Essas sessões longas de jogo podem durar até cerca de um minuto e meio sem nenhum tipo de

12:59 corte. Mas há algumas ressalvas. Cada jogo tem seu próprio modelo, e cada um tem cerca de 5 bilhões de parâmetros, treinado especificamente para aquela cena. Então, não é bem um modelo geral do tipo “crie qualquer jogo para mim”, e a saída tem resolução de 480 por 864. Ou seja, está longe de ser HD. A página do projeto fala em executá-lo em uma única RTX 5090, mas o model card diz que não há garantia de taxa de quadros, de que caiba na memória de uma GPU de consumo nem de reconstrução exata da cena

13:30 . Portanto, talvez ele não caiba totalmente na memória da sua GPU, e movimentos rápidos de câmera e sessões longas ainda podem causar algum desvio. Além disso, o código de treinamento não está incluído. Mas você pode obter os pesos e o código de inference sob a licença Apache 2.0, então pode usá-los comercialmente. Há aqui um espaço no Hugging Face para o hugging apps Matrix Game 4.0. Então, você deve poder brincar com ele por aqui. Eles têm alguns exemplos pré-carregados, caso queira conferir algum deles. Agora,

14:02 pessoalmente, acho que esse mecanismo mais uma espécie de pintura ou reformulação visual com IA é um caminho bem realista para jogos com IA, pelo menos mais realista do que pedir a um modelo que faça tudo. Acontece que a Nvidia também pensa assim. A seguir, vamos falar de algo que veio da Nvidia, chamado Stream Render H3. Na verdade, o conceito é bem parecido com o que acabamos de ver. Ele usa mais ou menos a mesma divisão: o código executa o mundo, e então um modelo de vídeo o desenha em tempo real. A diferença neste caso é

14:33 o quão pouca informação o jogo realmente fornece à IA. Matrix Game dá ao modelo uma renderização 3D em blocos. A Nvidia fornece um mapa codificado por cores. Cada pixel tem uma cor sólida que indica se é estrada, grama, barreira ou um carro rival. Não há iluminação nem texturas. O modelo de vídeo realmente desenha tudo o que você vê. Então, aqui está a visão do próprio mecanismo de jogo, o mapa de cores que ele realmente envia e, por fim, o quadro que o usuário vê. Agora, como o mapa não contém nenhuma informação sobre a aparência,

15:05 você pode até mudar o estilo do jogo inteiro trocando uma única imagem de referência. Podemos ver aqui que é exatamente a mesma corrida, mas, quando avançamos um pouco, eles podem trocar a cena por qualquer lugar que quiserem e colocar exatamente a mesma corrida em qualquer cenário diferente. É exatamente a mesma entrada que vemos no meio, só que renderizada em lugares diferentes, em configurações diferentes, durante o dia e assim por diante. Então, uma coisa a notar aqui é que este é um dos pontos difíceis para o modelo: o mapa de cores pinta todos os

15:35 carros rivais exatamente da mesma cor. Então, o modelo precisa lembrar por conta própria qual carro é qual e garantir que a pintura permaneça igual nos vários carros. Um fato curioso sobre esse modelo é que eles deram ao Claude Code a tarefa de criar um decodificador de vídeo mais rápido para isso. Eles definiram uma meta de velocidade e, em cerca de 3 horas, já tinham uma versão funcional rodando no pipeline. Isso exige mesmo um hardware potente. Cada etapa de renderização leva cerca de 218 milissegundos.

16:06 No entanto, isso é usando oito GPUs GB200. São como os chips que a Nvidia coloca em data centers. Então, não é algo que você vai conseguir rodar no seu PC gamer, pelo menos não por enquanto. Além disso, ele só foi treinado com corridas até agora. Por isso, todas as demonstrações são com carros de corrida. Então, dá para colocar este meio que ao lado do Matrix game que acabamos de ver e ter uma boa ideia do equilíbrio entre as duas opções. O Matrix game tem como objetivo rodar em uma GPU para consumidores, com resolução mais baixa, enquanto a Nvidia busca

16:38 o fotorrealismo, mas precisa de um rack de hardware de data center. Certo, este é um pouco estranho, mas quero mostrar porque também é meio legal. A Odyssey, empresa de world models que lançou o Odyssey 3 não faz muito tempo, publicou um vídeo dizendo que colocou o cérebro de uma mosca-das-frutas dentro do seu world model e que agora ela voa sozinha por mundos imaginados. Esse cérebro de mosca não foi criado pela Odyssey. É uma simulação feita por uma empresa chamada Eon Systems, a partir de um mapa completo do cérebro de uma mosca-das-frutas,

17:11 com cerca de 140 mil neurônios e 50 milhões de conexões. A Odyssey substituiu o corpo virtual ao qual aquele cérebro estava conectado e o ligou a uma câmera que se move por um mundo do Odyssey 3. Não sei. Achei essa ideia divertida, mas não há artigo, código nem explicação de como os dois estão conectados. E as pessoas nos comentários observaram que a mosca nunca tenta pousar em lugar nenhum, o que, sabe, provavelmente faria se fosse uma mosca de verdade. Mas isso levantou muitas questões sobre a teoria da simulação.

17:41 Por exemplo: será que essa mosca acredita que é real e está em um mundo real, mas na verdade está em uma simulação? E, se for o caso, quais são as implicações da teoria da simulação para os humanos e coisas assim? Mas não precisamos entrar nessa toca do coelho. Embora não dê para interagir diretamente com essa mosca voando dentro do Odyssey 3, dá para experimentar o próprio Odyssey 3. É só acessar experience.odyssey.systems, dar a ele um prompt descrevendo o que você quer que crie, e você pode interagir nesse

18:11 mundo. Estou controlando esta raposa agora. Estou mandando ela pular. Estou dizendo para que direção ela deve ir. Estou mudando a direção da câmera. Estou mesmo controlando tudo isso. Bem legal. Certo, vamos passar para o 3D. A Preferred Networks, que fica no Japão, acabou de lançar o Telescope, que transforma um conjunto de fotos de um lugar em uma malha 3D detalhada. Pode ser desde um único objeto até quarteirões inteiros. Normalmente, para obter uma malha de alta qualidade a partir de fotos, é preciso passar bastante tempo ajustando um

18:42 modelo àquela cena específica. O Telescope pula tudo isso. É um modelo generativo, então aprendeu como as superfícies costumam parecer e preenche as lacunas quando não há muitas fotos. Ele também lida com superfícies brilhantes e de vidro, que normalmente atrapalham o 3D feito a partir de fotos. O nome descreve o próprio método. Primeiro, ele constrói a cena inteira com poucos detalhes; depois, aproxima as áreas que precisam de mais detalhes e as refina, como um telescópio. As cores aqui mostram de qual nível veio cada

19:13 superfície. Então, aqui temos o Gaussian splatting, que é mais ou menos o método padrão. Se você olhar, parece bem bom, mas faltam muitos detalhes. Agora, este é o Telescope. E há muito mais detalhes aqui. Então, aqui está o Gaussian splatting original e aqui está o Telescope. A diferença é bem grande. Aqui está outro exemplo de Gaussian splatting. E, quando desloco isto, dá para ver a versão deles, com todos os detalhes entrando em foco. Agora,

19:43 há uma pequena ressalva. Você precisa de muitas fotos para conseguir isso. Dá para ver que este usou 256. Este aqui também usou 256. Este, na verdade, usou apenas 56, o que não é tão ruim. E ele só consegue reconstruir o que estiver dentro da área percorrida pela câmera. Este é um projeto ao qual não temos acesso de verdade. Eles dizem que o código será disponibilizado em breve, mas, pelo que vimos com o Gaussian splatting, parece um avanço bem promissor. Aqui está outro projeto bem legal, chamado Gaussi Animate. E este é usado

20:15 para animar personagens 3D. Ele foi criado para montar rigs de personagens que são macios por fora, mas rígidos por dentro. Por exemplo, pessoas com roupas folgadas, animais ou até peças de roupa por si só. Um esqueleto de animação normal dá controle, mas uma camisa folgada ou a barriga de um cachorro não se move como os ossos. Então, este acrescenta um monte de outros nós flutuantes por cima. Esses nós flutuantes adicionais capturam mais ou menos todo o balanço e o movimento, além da física adicional que acompanha o, sabe,

20:48 tecido ou material sobre os ossos. Então, dá para ver aqui que ele encontra o formato, mas, depois de encontrá-lo, coloca um esqueleto no meio para descobrir quais partes precisam ser rígidas. Depois de identificar os pontos que precisam ser rígidos, ele descobre quais pontos devem se mover mais livremente, fora dos ossos. Aqui estão outros exemplos, como uma pessoa vestida. Temos o esqueleto, os ossos, o skinning e, depois, tudo combinado, em que dá para ver o vestido se movimentando. Agora, você

21:19 precisa primeiro de uma sequência de movimentos capturada do personagem. Não vai funcionar com apenas uma imagem, mas o código deste projeto está disponível no GitHub para uso em pesquisa. Certo. Este é o último e, na verdade, não é IA, mas achei muito legal e quis mostrar mesmo assim. Chama-se World Gacha. Acho que estou pronunciando certo. É uma ferramenta gratuita para navegador, feita por um desenvolvedor japonês, que cria regiões fictícias aleatórias com montanhas e rios

21:50 e costas, cidades, ferrovias, campos de arroz e quase qualquer coisa que você possa imaginar, e desenha tudo como uma arte de linhas no estilo mangá. Bom, esta não está nesse estilo de arte de linhas de mangá. Esta é uma cidade gerada aleatoriamente, mas, se eu adicionar as linhas, dá para começar a ver esse estilo. Também dá para escolher linhas e tons, e você obtém uma versão em preto e branco. Dá para escolher este modo de argila, e esta é, de novo, uma semente gerada aleatoriamente. Posso jogar os dados de novo e ele vai criar uma

22:20 cidade ou vila totalmente nova, ou seja lá o que for. Agora posso aproximar esta cidade que ele acabou de criar. Também podemos mudar para o centro da cidade. Ele vai criar uma cidade nova que parece uma região central, com arranha-céus. Vai criar uma cidade nova, e estas são, de novo, geradas aleatoriamente todas as vezes. Também dá para aproximar e ver de diferentes ângulos. Digamos que queremos uma vista de cima: podemos olhar diretamente para baixo, para esta cidade, assim. Talvez você queira uma vista na altura dos olhos da Central Street. Ele nos leva para dentro da cidade, onde podemos olhar ao redor

22:51 e passear por ela. Agora, imagine usar algo assim e depois mudar o visual com um dos modelos de IA que vimos antes. Você pode criar uma cidade com aparência bem primitiva e depois usar modelos de imagem ou vídeo de IA para dar a ela um visual mais realista e talvez até criar cenas para filmes, animações e coisas assim. De novo, este não é um modelo de IA. Não há dados externos. São apenas números aleatórios e matemática gerando tudo isso. E, se você gostar de uma cena específica, pode exportá-la como PNG, SVG ou até mesmo em 3D

23:24 arquivo de objeto. Então, teoricamente, você poderia criar um mundo e depois importá-lo para o Unreal Engine e criar um jogo dentro dele, ou algo assim. Sei que geralmente me concentro em coisas de IA, mas, na verdade, o tema do meu canal é só compartilhar coisas legais que encontro online e que quero mostrar para vocês, e às vezes nem sempre são sobre IA. Mas é isso que eu tinha para vocês hoje. Mais uma vez, toda sexta-feira faço um vídeo de notícias em que analiso todas as novidades que saíram no mundo da IA naquela semana, mas geralmente são as histórias mais importantes, com maior impacto sobre o maior número de

23:54 pessoas. De certa forma, estou tentando separar o que importa do ruído de tudo o que está acontecendo e ajudar vocês a entender o que pode realmente mudar o que fazem no dia a dia. E, ao fazer isso, às vezes deixo passar alguns desses projetos menores de pesquisa, que não recebem tanta atenção e sobre os quais pouca gente fala. Acho tudo isso muito legal e fascinante. E, se vocês voltarem uns três anos no meu canal, esse é o tipo de coisa sobre a qual eu costumava falar com muito mais frequência, até que todos os grandes laboratórios e empresas começaram a fazer novos lançamentos

24:25 toda semana, e acabei dando mais atenção a isso. Mas quero voltar um pouco às minhas origens e fazer vídeos assim com mais frequência. Então, se vocês gostam de vídeos como este, em que eu dou uma fuçada e encontro coisas menos conhecidas que estão acontecendo no mundo da IA e em pesquisas de tecnologia interessantes, me contem. Vou me certificar de fazer mais vídeos assim. Estou planejando fazer pelo menos um por mês, porque é muito divertido para mim investigar e encontrar algumas dessas coisas. Mas, mais uma vez, era isso que eu tinha para vocês. Se gostam de vídeos como este e também querem ficar por dentro de tudo

24:57 sobre as últimas notícias de IA, vou acompanhar tudo isso para vocês. Publico um vídeo toda sexta-feira com todas as notícias. Também publico uma newsletter duas vezes por semana. Vocês podem assinar gratuitamente em futuretools.io. Mas muito obrigado por passarem um tempo comigo e por nerdarem comigo hoje. Tem muita coisa interessante para nerdar. Agradeço muito, muito a vocês e espero vê-los no próximo vídeo. Tchauzinho.

Transcrição original

[00:00] So every week I like to make an end of week AI news breakdown video where I share everything that happened in the world of AI for the week. Usually those videos are very focused on some of the bigger labs. They’re the ones that get most of the news. OpenAI, Anthropic, Microsoft, Google, Nvidia, companies like that. However, there’s often some really cool news that flies under the radar. There’s a lot of research going on and smaller tools that not as many people, including myself, are talking about right now. So in this video, I

[00:31] want to share some of the cooler things that I’ve come across recently that haven’t made the bigger end of week news videos. Let me know in the comments if you like this style of video and I’ll probably make them more often and share some stuff that’s not from the big labs. But let’s start here with Fish Audio. Fish Audio released a model called Drama 3 and it’s a text-to-speech model where you direct the performance in plain English instead of picking from like a menu of emotional presets. So like most voice tools, they’ll give you a

[01:01] drop-down for happy, sad, angry, things like that. Drama 3, however, it lets you write the direction the way you’d like explain it to an actor. You put it in square brackets right in the script. So for example, here’s some spoken text with no direction. >> I’m fine, really. Go on without me. >> And now here’s one where there’s some direction written in, barely holding it together, forcing a smile. >> I’m fine, really. Go on without me. >> And you can even pick specific words. Like right here, they specifically tell

[01:33] it to whisper go on without me. >> I’m fine, really. Go on without me. >> So you can like sculpt an effect to specific words. You can drop in sound effects, things like a small laugh, shaky breath, and you can put them exactly where you want them. >> I’m fine, really. Go on without me. >> You can even have multiple speakers with multiple voices. >> You were there that night. >> I was home, asleep. >> Then why is your coat still wet?

[02:03] >> It rained. >> They even licensed Uncle Roger’s voice for the demo page, which is kind of hilarious. >> Hiya, nephew. Why you put ketchup in egg fried rice? Fried rice need soy sauce, need MSG, need wok hei, not tomato sauce. Uncle Roger cannot watch this. >> If you’ve ever watched like any of the Uncle Roger videos, it’s actually pretty spot on. If we take a quick peek at artificial analysis here, we can actually see that Fish Audio Drama 3 here scores the highest on

[02:35] pronunciation. So, it’s really good at pronouncing words, even scoring higher than 11 Labs and SpaceX AI’s text-to-speech model, which is what that I actually demoed in last week’s news video. However, when looking at the arena leaderboard preference, which you know, sort of did a blind taste test where people listen to a bunch of different models and picked their favorites without knowing what model they were picking. Well, it didn’t quite do as well. So, you know, it reads hard words better than almost anything else, but a lot of people still prefer other

[03:07] voices. It also appears to be open weight available on Hugging Face. It is a 36 billion parameter model, so you’re going to need some pretty decent hardware in order to run it. People have reported that you need roughly a 46 GB VRAM card, or you can get away with 32 GB with a community quantized 4-bit version, but neither of those are going to run on like most laptops. A couple other quick notes that I found about this one. So, the license is free for commercial use, but only if you’re

[03:38] making under half a million a year, which is probably a non-issue for most people. The API is about $10 per million characters right now, but that is a launch discount that jumps to $50 after November 12th. And Fish audio takes do vary, so plan on generating a few and keeping the best one. And if you are going to use the API, double check that you set the model to drama three because it often will quietly fall back to older models and you’ll still get billed even if you’re using the older models. So,

[04:09] make sure you check that. But if you head on over to fish.audio/dramat3, click try drama three for free, you can play around with it right now. And if you make audiobooks or game dialogue or anything with characters, probably worth trying out. All right, while we’re talking about voices, once you have that voice performance, you might want like a face to go with it. Well, ByteDance recently released Omni Human 2.0. Now, this model will take a single image and an audio track and then it’ll generate a video of the person talking or singing

[04:41] or acting it out. Now, this is the 2.0 version and the biggest difference is that the previous version topped out at just 60 seconds. This one will allow you to go up to five minutes in one continuous shot. So, you don’t have to like stitch a bunch of short clips together and hope that you know, you don’t see the seams or hear the seams. So, here’s some examples. >> The kingdoms called it a legend. Tonight, I make it real.

[05:13] >> And it even works with singing. >> Now, double [music] time, follow the flow. Every expression ready to go. Voice in the feeling, feeling emotion. >> Wait, did you catch that? >> You can also add in text prompts to control camera moves or add things that weren’t in the original photo. Now, it generates in 720p resolution and it doesn’t just have to be humans, it can work with like cartoon characters and animals and things like that as well. Now, if I’m being totally honest, I still think these lip syncing models have a long way to go. When I watch a

[05:43] video with like an AI lip sync attached to it, it still just like isn’t working for me. We’re getting closer and closer. I mean, like we’re way better than we were a couple years ago, but it still has a lot to be desired. I don’t know, what do you think? Let me know in the comments. As far as pricing goes, the price on this one dropped from 12 cents a second in the last model down to 7 cents per second in this model. So, if you are making a full 5-minute video, it’s still going to cost you about 21 bucks. Now, a few other quick things to

[06:13] note about this one. Everything I’m showing you is ByteDance’s own demo reel, and some early viewers did notice like background shifting around in their clip. Again, it’s only 720p. You’re not going to get 1080p or 4K out of this. And because this is only one photo plus any audio, there’s some pretty obvious potential deepfake concerns with stuff like this. Although, if you saw what I just saw, I don’t think we have to worry about too many people being fooled just yet. This one is available now through

[06:45] Byte Plus and through their API. All right, now let’s talk about one of my more favorite topics recently. I’ve been absolutely loving these. Let’s talk about world models. So, these are AI models that generate a video world that you can move around in. And Tencent’s Arc Lab released one called World Crafter recently. And this one starts from just a single image or a single line of text. Now, one of the big issues that we’ve had with world models is that if you’re inside a world model and you

[07:16] look away from something and then turn back, a lot of times it’s like gone or changed. The model only remembers the last few seconds of what it showed you, and if you move around the room, everything kind of goes wonky. Now, World Crafter’s fix is a memory that you look up by camera position. So, when you point the camera somewhere, it pulls the past views that match where you’re looking and feeds those back to the generator. So, when you turn back to the original restaurant, it remembers what it saw the first time. So, they prove it

[07:48] with this little trick here. They take the video the model generated and rebuild a 3D point cloud from it. If the world were inconsistent, that 3D reconstruction would come out as just like mush. Instead, you get clean geometry and the camera path lines back up when it revisits a spot. It handles moving things, too, like a character going out of frame and then later actually coming back into the frame, like we can see with this horse video here, where the camera takes the horse out of frame, and then when the camera

[08:19] pivots back around to the right, you can see that the horse is still there even though it was moving. Now, on their own benchmark of 145 uh different scenes, they say that it beats the other models they tested on revisit consistency and camera control. But, just keep in mind that that is their benchmark. So, you know, take that with a grain of salt. The code for this is available on GitHub right now, and there’s even a version on Hugging Face that you can go and play around with right now. In my own testing, though, telling it what to

[08:50] generate, it’s kind of not the fastest thing in the world, but eventually it gets there. ByteDance also showed off their own version of a world model recently at an event in Beijing. My buddy Tim from Theoretically Media, he posted some footage that somebody sort of took during the event. So, it’s like this bootlegged camera version. Now, the wildest demo they shared was they took a scene from Stephen Chow’s movie King of Comedy and generated a brand new camera

[09:20] path through it. It’s like reshooting a shot that was filmed decades ago. You can now get new angles on that shot. You can also type a description to get a world spawn a giant spoon and then climb it and walk through a portal from a room into outer space. Now, there is a catch, and that’s that we can’t use it yet. It doesn’t even have a public name yet, and there’s no release date, and the only footage I’ve actually seen of it was from people who recorded it at this event, as, you know, Tim from

[09:51] Theoretically Media shared here. So, yeah, we’ll keep an eye on that one, but it looks pretty impressive. Real quick, before we get back to the video, I wanted to show you guys how I’ve been using this new feature, Dots from OpenAI. Now, I’ve talked about this in a recent AI news video, and since then, I’ve dug into it even more. Basically, Dots are these always-on AI agents that you can assign ongoing responsibilities to, and they keep on working on them even when you’re not using ChatGPT anymore. So, for example, I’ve been using my Dot to help me with my YouTube analytics and updating them

[10:22] automatically every time I post. I connected it to my YouTube channel, and it pulls views and engagement data to find patterns across my titles and topics and angles and post times. And I also have a shared space with my team, where my Dot keeps all this organized and creates new subpages with weekly reports and video ideas based on what’s working. What’s cool is that each Dot has its own cloud computer and can use ChatGPT work and Codex to get things done. It’s powered by GPT-6 Astra and learns my preferences, so it can proactively suggest things without me

[10:54] having to ask. So, check it out in the link in the description, and thanks so much to OpenAI for sponsoring this portion of today’s video. All right, so we already saw two world models trying to fix the memory problem. Well, Sky Works Matrix Game 4.0 takes a completely different approach. This one stops asking the AI to remember the world at all. With a normal world model, the AI is doing everything. It’s drawing the frame, but it’s also the physics engine, the game rules, and the memory. When something leaves the screen, the only

[11:25] record it ever existed is in the pixels the model already drew, and that’s kind of why things tend to vanish. Matrix Game splits that job into two. An ordinary game engine runs the game. It knows where every enemy is, what happens when you shoot something, what’s behind you. It draws a cheap, blocky, low-poly version of that scene. Then the video model’s only job is to repaint that blocky frame so it looks finished. So we can see in some of these models down here, on the right is what the game

[11:56] engine actually draws. On the left is what you see. It’s the same frame in the same moment, but the engine handles the gameplay and the AI handles the look that’s skinned over the gameplay. Since this game engine is keeping track of everything, the world’s not going to forget a pyramid behind you is still in the engine’s map whether the AI is drawing it back in or not. Here’s another example of a car game. You can see the blocky, early rendered version and then AI putting its own graphics

[12:28] over the top. So the game engine only has to remember this and the AI does that. There’s also another piece. If you ask for something the game rules don’t cover, a coding agent writes new rules into the engine and updates the prompt the video model uses. So the world can change mid-game without the AI having to invent new physics on the fly. Down here we can see three games, a medieval castle shooter, an ancient Egypt shooter, and city racing. These long play sessions can run up to about a minute and a half without any sort of

[12:59] cuts. Now there are some catches. Each game has its own model and each one is about 5 billion parameters each, trained just for that scene. So it’s not really a general make me any game model and the output is 480 by 864. So it’s not anywhere near HD. Now the project page does talk about running on a single RTX 5090, but the model card does say there’s no guaranteed frame rate, consumer GPU memory fit, or exact scene

[13:30] reconstruction. So, it may not totally fit into your GPU’s memory, and fast camera moves and long sessions still can cause some drift, and the actual training code isn’t included. But, you can get the weights and the inference code under Apache 2.0 license, so you can use them commercially. Now, there is a hugging face space listed here for hugging apps Matrix game 4.0. So, you should be able to play around with it here. They do have some examples that are pre-cached in if you want to check out some of those examples. Now,

[14:02] personally, I think this engine plus like AI paint job or AI reskin is a pretty realistic path to AI games, at least more so than like asking a model to do everything. Turns out Nvidia thinks so, too. Next up, let’s talk about something that came out of Nvidia called Stream Render H3. This is actually a pretty similar concept to what we just looked at. It uses kind of that same split. Code runs the world, and then a video model draws it in real time. The difference with this one is

[14:33] how little the game actually hands the AI. Matrix game gives the model a blocky 3D render. Nvidia gives it a color-coded map. Every pixel is a flat color that means road or grass or barrier or rival car. There’s no lighting, no textures. The video model actually draws everything you see. So, here’s the game engine’s own view, the color map that it actually sends, and then the final frame that, you know, the user sees. Now, because the map carries no like looks at

[15:05] all, you can actually restyle the whole game by swapping one reference image. We can see here that this is all the exact same drive, but when we fast forward a little bit, they can swap out the scene for anywhere they want and put the exact same drive in any different scene. It’s the same exact input what we see in the middle just rendered out in different locations and different settings during the day and things like that. So, one thing to notice here, this is kind of one of the hard parts for this model, is that the color map paints all of the

[15:35] rival cars the same exact color. So, the model has to actually remember on its own which car is which and make sure to keep the same paint job across the various cars. So, a fun fact about this model is they actually handed Claude code the job of building a faster video decoder for this. They gave it a speed target and then they had a working version running in the pipeline in about 3 hours. Now, this does actually require some serious hardware. Each rendering step takes about 218 milliseconds.

[16:06] However, that’s on eight GB200 GPUs. These are like the chips that they put into data centers from Nvidia. So, this isn’t something you’re going to be running on your gaming PC, at least not for a while. Also, it’s only been trained on racing so far. That’s why all of the demos are like race cars. So, you can put this one kind of next to Matrix game which we just looked at and you get a decent picture of the trade-off. Matrix game aims for one consumer GPU at like lower resolution where Nvidia’s

[16:38] going for photoreal but out of rack of data center hardware. Okay, this one’s a little weird but I want to show it off cuz it’s also kind of cool. So, Odyssey, the world model company that launched Odyssey 3 not too long ago posted a clip saying they put a fruit fly brain inside their world model and now it flies around imagined worlds by itself. So, this fly brain wasn’t actually created by Odyssey. It’s a simulation built by a company called Eon systems from a complete map of a fruit fly’s brain,

[17:11] about 140,000 neurons and 50 million connections. Odyssey swapped out the virtual body that brain was hooked up to and connected it to a camera moving through an Odyssey 3 world. I don’t know. I thought this one was fun, but there’s like no paper, no code, no explanation of how the two are connected. And people in the comments did note that the fly never actually tries to land anywhere, which, you know, if it was a real fly, it probably would. But it’s brought up a lot of questions about, you know, simulation theory.

[17:41] Like, does this fly believe it’s real and in a real world, but it’s actually in a simulation? And if so, what are the implications of route simulation theory for, you know, humans and stuff? We don’t need to go down that rabbit hole, though. While you can’t actually play with this fly flying around inside of Odyssey 3, you can actually mess around with Odyssey 3 itself. Just head over to experience.odyssey.systems, give it a prompt of what you want it to create, and you can actually interact in

[18:11] this world. I am steering this fox right now. I’m telling it to jump. I’m telling it which direction to go. I’m changing camera directions. All of this is me actually controlling this. Pretty cool. All right, moving into 3D. Preferred Networks, which is based in Japan, just released Telescope, which turns a set of photos of a place into a detailed 3D mesh. Like, from a single object all the way up to city blocks. Now, the usual way to get a high-quality mesh from photos is to spend a long time fitting a

[18:42] model to that one specific scene. Telescope actually skips all that. It’s a generative model, so it’s learned what surfaces generally look like, and it fills in gaps where you didn’t get many photos. It also handles shiny and glass surfaces, which normally wreck photo-based 3D. So, the name is actually the method itself. It builds the whole scene at low detail first, then zooms in on areas that need more detail, and refines them, like a telescope. The colors here show which level each

[19:13] surface came from. So, if we look here, we have a Gaussian wrapping, which is sort of the standard method. And if you look at this, it looks pretty good, but it’s lacking a lot of detail. Now, this is telescope. And there’s so much more detail here. So, here’s the original Gaussian wrapping, and here is telescope. Like, it’s a pretty big difference. Here’s another example of Gaussian wrapping. And when I move this over, you can see their version and all of the details pop into focus. Now,

[19:43] there is a little bit of a catch. You do need a lot of photos to achieve this. You can see this one took 256. This one also took 256 right here. This one actually only took 56, which isn’t too bad. And it can only rebuild what’s inside the area your camera actually moved around. This is one we don’t have any sort of real access to. It does say the code is coming soon, but it looks like a pretty promising leap from what we got out of Gaussian splatting. Here’s another pretty cool one called Gaussi Animate. And this one’s actually used

[20:15] for animating 3D characters. It’s designed for rigging up characters that are soft on the outside, but rigid on the inside. So, people in loose clothes, animals, or garments just on their own. So, a normal animation skeleton gives you control, but a loose shirt or like a dog’s belly doesn’t move like bones. So, this adds on a whole bunch of other floating nodes on top. These additional floating nodes sort of capture all the jiggle and flow and the additional physics that come along with the, you

[20:48] know, the cloth or the material on top of the bones. So, we can see here that it finds the sort of shape, but then once it finds the shape, it actually puts a skeleton in the middle to figure out which parts need to actually be rigid. Once it figures out the points that need to be rigid, then it figures out what points need to sort of flow outside of the bones. So, here’s some other examples like a clothed human. You have the skeleton, you’ve got the bones, you’ve got the skinning, and then everything combined where you can see the the dress sort of flow. Now, you do

[21:19] need a captured motion sequence of the character first. It’s not going to just work from like a single image, but the code for this one is available on GitHub and available for research use right now. All right. Now, this is the last one and it’s actually not AI, but I just thought it was really cool, so I wanted to share it anyway. This one’s called World Gacha. I think I’m pronouncing that right. And it’s actually a free browser tool from a Japanese developer that actually creates random fictional regions that has mountains and rivers

[21:50] and coasts and towns and railways and rice paddies and and almost anything you can imagine and it draws it as like this manga style line art. Well, this one’s actually not in that manga style line art. This is a randomly generated city, but you can see if I add it with the lines, you kind of start to get that look. You could also put it on lines and tone and you get like a black and white version. You could put it on this like clay mode and this is again a randomly generated seed. I could re-roll the dice and it’s going to build me a whole new

[22:20] town or city or whatever. So, now I can zoom in on this city that it just created. We can also change it to downtown. It’s going to build us a new city that looks like a downtown area or skyscrapers. It’ll build us a new city and these are again all randomly generated every single time and you can zoom in to different views. So, let’s say we want like a top view, we can look straight down on this city like this. Maybe you want an eye level view of Central Street and it actually brings us into the city where we can look around

[22:51] and wander around in this city. Now, imagine using something like this and then re-skinning it with like one of the AI models we were looking at earlier. You can build a pretty primitive looking city and then use AI image or video models to reskin it into something really realistic and maybe even build scenes for like films and animations and stuff. Again, this is not actually an AI model. There’s no outside data. It’s just random numbers and math generating all of this. And if you do like a specific scene, you can actually export it as a PNG or an SVG or even a 3D

[23:24] object file. So, you could theoretically create a world and then pull it into Unreal Engine and build a game inside of it or something like that. I know I usually focus on AI stuff, but really, you know, the theme of my channel is just cool stuff that I come across online that I want to share and sometimes it’s not always AI. But that’s what I got for you today. Again, I make a news video every single Friday where I break down all of the news that came out in the AI world each week, but it’s usually the biggest stories with the most impact on the most amount of

[23:54] people. I’m sort of trying to filter out the signal from the noise of everything that’s going on and help you understand what might actually change what you do on a day-to-day basis. And in doing that, sometimes I miss some of these smaller research projects that don’t get a ton of love and not a lot of people talk about. And I find all of this stuff really cool and really fascinating. And if you go back like 3 years on my channel, this is the type of stuff I used to talk about a lot more frequently until all of the big labs and big companies started having new launches

[24:25] every single week and I kind of shifted more focus to that. But I want to get back to my roots a little bit and make these videos a little bit more often. So, if you liked videos like this where I sort of dig and find some more underground things that are happening in the world of like AI and just cool tech research, let me know. I’ll make sure to make more videos like this. I’m planning on making at least one of these a month because it’s just really fun for me to dig in and find some of this stuff. But again, that’s what I got for you. If you like videos like this and you also want to be super looped in and informed on

[24:57] all the latest AI news. I’m going to keep up with all of that for you. I put out a video every Friday with all of the news. I also put out a newsletter twice a week. You can subscribe for free over at futuretools.io. But, thanks so much for hanging out with me, nerding out with me today. There’s a lot to nerd out on. I really, really appreciate you, and hopefully I’ll see you in the next one. Bye-bye.