Meta venceu? O “assassino do Seedance” da Alibaba e a evolução do áudio com IA

Autoria: Theoretically Media · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Meta Won? Alibaba’s “Seedance Killer” & AI Audio Levels Up! · Canal: Theoretically Media · 16:37 · Assistir no YouTube

Tópicos: Agentes de IA, Geração de conteúdo com IA, Modelos de IA

Resumo

O vídeo revisa os lançamentos e anúncios recentes de IA, incluindo a disputa entre Anthropic e OpenAI e as novidades de hardware e assistentes da Meta. Também destaca modelos de vídeo da Alibaba, Kling e PixVerse, além de simulações com agentes de IA. Na parte de áudio, aborda atualizações do Seed Audio e do Fish Audio Drama 3. Por fim, apresenta o JamBot, projeto de improvisação musical desenvolvido com Jordan Rudess e o MIT Media Lab.

Pontos-chave

O apresentador considera Opus 5.5 mais agradável de usar e destaca seu custo menor em comparação com Opus 5.
OpenAI conectou a interface de voz a serviços como e-mail, calendário e Slack.
A Meta apresentou novos dispositivos e recursos, incluindo óculos de realidade virtual e o Muse Charm, um aparelho de IA com conectividade 5G.
A Alibaba mostrou imagens de um novo modelo de vídeo previsto para novembro, possível sucessor do WAN.
O Agora 2, da Odyssey, reúne agentes de IA e jogadores humanos em uma simulação de Diablo II.
O PixVerse R2 permite interagir por prompt com um mundo gerado em tempo real.
O Artlist Flows oferece workflows reutilizáveis baseados em nós.
Seed Audio 1.5 e Fish Audio Drama 3 são apresentados como novidades na geração de áudio e fala.
O JamBot é um projeto de pesquisa que gera música em tempo real com base no estilo de Jordan Rudess.

Capítulos

Início	Capítulo	Resumo
00:00	Disputa entre modelos e novidades da Meta	O vídeo compara lançamentos da Anthropic e da OpenAI e comenta os anúncios de assistentes e dispositivos da Meta.
04:38	Novos modelos de vídeo e simulações com agentes	O apresentador comenta o modelo de vídeo anunciado pela Alibaba, atualizações esperadas do Kling e projetos de simulação e mundos em tempo real.
10:17	Demonstração do Artlist Flows	O segmento patrocinado apresenta workflows reutilizáveis em nós e mostra como adaptar um template para gerar conteúdo com personagens.
12:53	Novidades em geração de áudio	O vídeo aborda o Seed Audio 1.5 e demonstra o modelo de fala Fish Audio Drama 3.
15:03	JamBot e improvisação musical com IA	O apresentador explica como o projeto desenvolvido com Jordan Rudess e o MIT Media Lab gera música em tempo real e pode ser usado em uma apresentação ao vivo.

Citações

É simplesmente muito mais agradável de usar. — 01:02

O próximo campo de batalha para todas essas empresas é se tornar seu novo melhor amigo de IA. — 04:07

Este é um ambiente de sandbox para entender como sistemas de IA interagem entre si e conosco. — 07:41

Estamos começando a chegar a um ponto em que isso realmente lembra um holodeck, só que sem os hologramas. — 09:45

O que eu realmente aprecio é que Jordan não está fugindo da tecnologia, mas encontrando uma maneira de incorporá-la à performance. — 16:06

Conceitos e entidades

Meta (empresa): Empresa que apresentou novos dispositivos e recursos ligados ao assistente Muse.
Anthropic (empresa): Empresa responsável pelo modelo Opus 5.5, destacado na comparação com lançamentos da OpenAI.
Opus 5.5 (modelo): Modelo da Anthropic que o apresentador descreve como eficiente e mais agradável de usar.
OpenAI (empresa): Empresa que lançou novos modelos e conectou recursos de voz a aplicativos como e-mail, calendário e Slack.
Alibaba (empresa): Empresa que apresentou imagens de um novo modelo de geração de vídeo.
WAN (modelo): Modelo de vídeo citado como possível antecessor do novo modelo anunciado pela Alibaba.
Odyssey (empresa): Empresa que lançou Agora 2, uma simulação com agentes de IA e jogadores humanos.
Agora 2 (modelo): Sistema de simulação em que agentes de IA podem jogar Diablo II com pessoas.
PixVerse R2 (modelo): Modelo de mundo em tempo real que permite interagir com uma simulação por meio de prompts.
Artlist Flows (ferramenta): Ferramenta de workflows reutilizáveis baseada em nós, apresentada no segmento patrocinado.
Fish Audio Drama 3 (modelo): Modelo de text-to-speech apresentado como disponível em prévia, inclusive no plano gratuito.
Seed Audio 1.5 (modelo): Atualização do gerador de áudio da ByteDance mencionada como lançamento futuro.
Jordan Rudess (pessoa): Tecladista do Dream Theater que colaborou no desenvolvimento do JamBot.
MIT Media Lab (empresa): Laboratório que colaborou com Jordan Rudess no projeto de improvisação musical JamBot.
JamBot (conceito): Projeto de pesquisa que gera improvisações musicais em tempo real com base na forma de tocar de Jordan Rudess.

Tradução completa (pt-BR)

00:00 Bem, esta foi uma semana nada menos que espetacular para a IA, com grandes lançamentos e anúncios de praticamente todo mundo, além de uma série de coisas interessantes no lado criativo, incluindo um possível concorrente do Seedance chegando no próximo mês ou algo assim, mais modelos de mundo de vídeo em tempo real, algumas novidades sobre imagens, atualizações de áudio e uma olhada no que está logo ali. Começando pela batalha dos titãs. Nesta semana, a Meta voltou com tudo — quer dizer, será que ela estava mesmo aqui para começo de conversa? De qualquer forma, Zuck e companhia

00:32 realizaram o grande evento Meta Connect, promovendo, obviamente, o Meta Muse. Mas, antes mesmo disso acontecer, a semana começou com um dia bastante memorável, que realmente ilustrou o embate titânico entre OpenAI e Anthropic, com o lançamento do Opus 5.5, da Anthropic, e do Soul e Luna 6, da OpenAI, ambos chegando no mesmo dia. Deixando de lado os gráficos de benchmark, porque, sinceramente, quem ainda acredita em benchmarks? A impressão geral parece ser a de que

01:02 a Anthropic está de volta com tudo com o Opus 5.5, que consegue competir em nível de inteligência com o Fable por uma fração do custo, sendo 40% mais barato ou, pelo menos, mais eficiente que o Opus 5. Além disso, uma vitória e tanto: o 5.5 parece ter eliminado aquela personalidade irritante que atormentava os modelos Opus desde o fim do 4.6. No geral, tendo a concordar. Tenho experimentado bastante o 5.5. É simplesmente muito mais agradável de usar. Enquanto isso, do lado da

01:32 OpenAI, o Soul 6 chega mais barato, na verdade, significativamente mais barato, mas a impressão geral é que o Soul meio que desiste dos projetos um pouco mais rápido. Mas é barato e entrega. Dito isso, muitas reclamações parecem ser de que ele é conciso demais, quase a ponto de ficar meio sem graça. Ainda assim, não concordo necessariamente com a ideia de que a personalidade dele seja apagada. E, obviamente, isso é algo que dá para ajustar nas configurações, mas também pode ter a ver com o fato de que tenho usado muito mais a voz como modalidade de interface com chat e codecs. Algo em que a Anthropic está bastante atrasada. Curiosamente, em meio a tudo isso, a OpenAI também finalmente conectou a voz a coisas como e-mail, calendário, Slack, basicamente todos os seus apps, o que sempre me pareceu uma falha, para começo de conversa, mas finalmente nos aproxima de ter aquele assistente de IA que realmente ajuda no dia a dia. Quer dizer, pelo menos mais do que a nova Siri. Vocês lembram quando a Alexa recebeu aquela grande

02:04 atualização e todas as Alexas deveriam ficar mais inteligentes, aí todo mundo experimentou e disse: “É, continua sendo basicamente a Alexa.” Então, essa é mais ou menos a minha breve avaliação da nova Siri. Portanto, esse assistente de IA persistente é definitivamente algo que a OpenAI está buscando, o que nos leva à outra grande história da semana: a Meta realizou o Meta Connect e, como vocês sabem, lançou seu assistente de IA, o Muse, com tudo no mercado de hardware. Não há dúvida de que o Muse foi um grande sucesso para a Meta, chegando a

02:34 ultrapassar o app ChatGPT na loja da Apple e, de modo geral, alcançando uma adoção mais ampla entre o público comum. Mas a notícia maior que saiu do Meta Connect parece se concentrar no hardware, com a Meta apresentando não só os novos óculos de realidade virtual da Meta. E, quanto ao formato, quer dizer, para mim, isso não parece ser o que o Apple Vision Pro deveria ter sido desde o início? E, para completar, ele chega ao preço nada absurdo de US$ 1.299.

03:06 Também houve, é claro, novos óculos Ray-Ban Meta. Mas o que parece ter chamado a atenção da imprensa foi o Muse Charm, que é meio que um, sei lá, dispositivo de IA parecido com um Tamagotchi, com voz em tempo real. Basicamente, como o Muse, mas sem um dispositivo móvel ou computador. Aparentemente, este também terá conectividade 5G. Ou seja, é um sistema que nem precisa ficar conectado ao seu celular. Agora, embora a Meta pareça ter vencido a semana com o encanto do Tamagotchi de IA, ainda

03:37 não terminamos, considerando que a OpenAI tem o Dev Day na próxima semana e há fortes indícios de que veremos o AON da OpenAI, que é, como vocês sabem, basicamente a resposta deles ao Muse da Meta e ao Grokbot da Grok. Há muitos rumores sobre o que veremos no Dev Day da próxima semana. Estou principalmente curioso para ver como a OpenAI vai se diferenciar dos outros sistemas. Com certeza vou trazer a cobertura do DevDay, mas, sim, no geral, seja qual for a maneira de olhar para isso, está muito claro que o próximo

04:07 campo de batalha para todas essas empresas é se tornar seu novo melhor amigo de IA. Vamos às notícias rápidas do nosso lado da fronteira da IA criativa. Grande notícia da Alibaba. Na conferência Absera, eles apresentaram um novo modelo de vídeo que será lançado em novembro. E, olhando para ele, parece mesmo estar mais ou menos no nível de qualidade do Seedance. Ainda não há muitos detalhes sobre esse modelo. Ele parece ser o novo sucessor do

04:38 modelo WAN e provavelmente está ligado ao lançamento do Quen 4. Embora, por enquanto, tudo que temos para avaliar sejam algumas imagens gravadas com um celular durante o evento. Ou seja, estamos basicamente vendo uma gravação pirata, mas parece muito bom. Sobre o que sabemos desse próximo modelo, para ser sincero, é meio que a cartela padrão de novidades de um novo modelo de vídeo. A Alibaba afirmou que ele terá maior duração, mantendo a consistência de cenas, personagens e elementos visuais, além de melhor controle e

05:08 narrativas mais completas e raciocínio mais inteligente. Ainda não há informações sobre preços nem, obviamente, sobre a abertura dos pesos. Curiosamente, eles encerraram a apresentação com uma espécie de previsão, eu acho: dentro de três anos, surgirá um modelo nativo, unificado e omnimodal, e a experiência não será mais limitada pelas fronteiras entre modalidades. Ou seja, como vocês sabem, não haverá um Seedance, não haverá um Minax H3, não haverá… vai haver apenas uma espécie de modelo, o Quen, presumo, ao qual eles estão

05:38 obviamente se referindo, que fará tudo. Vamos em frente. E, falando em novos modelos de vídeo, parece que o Clling voltou à pauta. Não posso confirmar nem negar nada disso, mas o Mars for Tech, do Dev Mode, conseguiu algumas capturas de tela exclusivas, que mostram um modelo Omni atualizado e gerações de vídeo de até 120 segundos, ou seja, dois minutos, em 720p e 1080p. Não acho que possa dizer muito mais sobre isso agora, além de… bem, não deixe de clicar

06:09 no botão de inscrição e nos vemos em breve. Em outras notícias rápidas, futuras ou já lançadas, mais uma vez graças aos nossos amigos do Testing Catalog, parece que o Google está preparando o Nano Banana 2.5 Flash. Ele está aparecendo para algumas pessoas no Google Flow. Ainda não tenho acesso, mas vamos dar uma olhada quando for lançado. Mas, importante: não é o NanoBanana 2 Pro, nem o Nano Banana 3. Eu sei, eu sei. O Google realmente parece preso no mundo Flash

06:40 neste momento. Pelo menos essa é a impressão que tenho tido desde o Google IO. Então, espero que o Gemini 4 seja lançado em breve e que, depois disso, venha uma enxurrada de grandes atualizações. Vamos a uma novidade divertida. A Odyssey lançou o Agora 2: Avançando a simulação de mundos multiagente, e você pode experimentar agora mesmo. Basicamente, é um grupo de agents de IA que pode jogar com você e com outros jogadores humanos, até um total de 20. E

07:10 chegar agora. Pelo menos, essa parece ser a impressão que tenho tido desde o Google IO. Então, espero que o Gemini 4 seja lançado em breve e, depois, que venha uma enxurrada de grandes atualizações. Vamos a uma novidade divertida. A Odyssey lançou o Agora 2, que avança a simulação de mundos multiagente, e você pode experimentar agora mesmo. Basicamente, é um grupo de agents de IA que pode jogar com você e com outros jogadores humanos, em um total de até 20. E

07:41 sim, todo mundo está jogando Diablo II. Agora, a leitura imediata e óbvia aqui, claro, é: bom, ótimo, é um MPC de IA. Mas o que a Odyssey realmente está buscando aqui é criar uma espécie de ambiente sandbox, onde o modelo Agora 2 entende o mundo de Diablo II, e podemos aprender como sistemas de IA interagem entre si e conosco em uma simulação controlada. Embora eu não tenha certeza de que ensinar nosso comportamento a um agent de IA por meio de Diablo seja

08:14 a melhor ideia, já que as lições que eles aprendem serão que, quando os humanos são ameaçados, eles esfaqueiam coisas e, quando estão tristes ou para baixo, bebem bebidas coloridas de uma vez. Dito isso, se você está com vontade de jogar Diablo II ultimamente e quer fazer isso junto com alguns agents de IA, o link da Odyssey para o Agora 2 está abaixo. Vamos passar para o lado dos modelos de vídeo em tempo real e de mundo. A Pixverse lançou o R2. Ainda não tive muito tempo para experimentar esse modelo, mas, quero dizer, sou fã do que

08:44 a Pixver vem fazendo com seus modelos em tempo real, e este parece representar um grande avanço em termos de qualidade visual. Mas a atualização maior aqui é que, além do layout de controle meio à la Genie 3, você pode dar prompts ativamente dentro dessa simulação de mundo gerada, o que abre caminho para experiências bem interessantes com modelos de mundo em tempo real, como a possibilidade de conversar com um personagem desse mundo. Alex Prompter registrou um exemplo bem legal disso. Vamos dar uma olhada rápida.

09:15 Não, não consigo provar isso. Não consigo provar nem para mim mesmo, e passei 14 horas sem ter mais nada para fazer. >> Agora, observo que parece que Alex acelerou um pouco esse vídeo. Nada contra ele nem nada. Quando experimentei o R2, ele pareceu um pouco lento, com carregamento demorado. Mas, de novo, ainda estamos bem no começo dessa tecnologia, embora eu ache que estamos começando a chegar a um

09:45 ponto de ruptura e a algo que começa a realmente parecer uma holodeck, sabe, sem os hologramas, mas ainda assim é um enorme avanço em relação à maluquice insana que vimos em tempo real em janeiro deste ano. Quer dizer, esse aqui ainda me deixa muito feliz. É, mas, enfim, era nessa época que as coisas pegavam fogo aleatoriamente e a coerência era, digamos, uma sugestão — uma sugestão bem surreal. Vamos passar para o áudio, onde estão acontecendo coisas muito interessantes. Mas, primeiro, uma rápida palavra do

10:17 patrocinador de hoje, Art List. Ultimamente, embora eu saiba que tudo está indo mais para o lado do MCP e que estamos passando mais tempo gerando conteúdo no Codex ou no Claude, ainda há workflows baseados em plataformas que são mais eficientes. Então, hoje vamos dar uma olhada em um deles, dos nossos amigos da Art List, que tiveram a gentileza de patrocinar este vídeo. Eles lançaram o Art List Flows, que, sim, é um quadro de investigação baseado em nodes, mas o diferencial é que esse quadro é reutilizável

10:47 . A maneira mais fácil de entender isso é olhar um dos templates deles. Esses templates são realmente úteis. Todos nós já vimos aqueles templates e pensamos: “Para que eu usaria isso?”. Mas estes são realmente bons. Gerar um título em 3D. Uma ficha de personagem, claro, é algo que fazemos bastante. Então, obviamente, temos dois nodes aqui: um para a imagem do personagem e outro para um prompt fornecido. Os dois alimentam nossa saída aqui, na qual temos essa geração de vários quadros. Tudo isso pode ser editado, claro, e você

11:20 pode trocar qualquer um dos modelos que quiser usar. Vários deles também são oferecidos no plano ilimitado da Art List. O interessante e personalizável é que, a partir daqui, podemos expandir esse template. Basta clicar com o botão direito para adicionar um prompt e, por exemplo, um gerador de vídeo. Podemos conectar a ficha do personagem a uma entrada aqui e, depois, adicionar um prompt de texto, porque uma das coisas que tenho feito ultimamente com fichas de personagem é criar rotações de vídeo em 360 graus dessas fichas

11:51 — neste caso, no Cance 2.5 — e depois usar esse vídeo como referência ou simplesmente tirar capturas de tela dele. E, na verdade, essa abordagem de vários quadros para fichas de personagem pode ser muito interessante para experimentar. Mas, no fim das contas, o importante é que isso agora se torna o seu template. Bem, é o meu template, mas você pode roubá-lo, e aí ele passa a ser seu. E pode, sabe, executá-lo de novo com personagens diferentes. Basta enviar outro personagem aqui, clicar em executar, e os mesmos resultados — ou o mesmo workflow — serão gerados. Agora

12:23 de novo, sei que nem todo mundo é fã de workflows baseados em nodes. E quero destacar que a Art List tem conexões MCP, então você pode conectar o Claude ou o ChatGPT a ela. Mas acho que vale a pena dedicar um tempinho para criar um flow para algo a que você volta constantemente. Quer dizer, isso pode economizar muito tempo. Bom, pelo menos poupa o tempo de discutir com o Claude sobre o que você fez da última vez. Então, se quiser experimentar o Art List Flows, ele já está disponível no site da Art List.

12:53 O link está abaixo. E agradeço à Art List por patrocinar o vídeo de hoje. Vamos passar a algumas atualizações interessantes no mundo do áudio de IA. Primeiro, parece que teremos uma atualização do Seed Audio, o gerador de áudio da Dance, que analisei alguns vídeos atrás. Achei muito bom. Quer dizer, pense no seance, mas para áudio. Vamos ouvir rapidinho a versão 1.0. Eles vão dizer que as antigas proteções nunca falham. Também me disseram isso. Até a noite em que as estrelas saíram à caça.

13:30 >> Você está atrasado, garoto. O fogo está quase apagando. >> Desculpe. Os degraus estão cobertos de gelo. Eu… >> Os degraus não matam homens. O frio mata. Alimente o fogo. Então, o Seed Audio 1.5, que aparentemente foi anunciado inicialmente como 2.0 e depois rebaixado para 1.5, parece que vai estrear oficialmente no Pippet, que eu não sabia que era outra plataforma da Bite Dance. Bite Dance, por que vocês precisam deixar tudo tão confuso? Vou ficar de olho nesse modelo. Um dos principais pontos fracos do

14:02 modelo de vídeo Seedance é, bem, além do custo, o fato de que o áudio não é seu ponto forte. A versão Seed 1.0 parece ajudar bastante nesse aspecto. Enquanto isso, para áudio que você pode usar de verdade hoje, a Fish Audio lançou uma versão de prévia do Drama 3. Eles o descrevem como o modelo de conversão de texto em fala mais controlável de todos. Na verdade, tenho gostado bastante do modelo da Fish, pois ele costuma fazer leituras expressivas muito bem e, além disso, é multilíngue.

14:32 Então, vamos ouvir rapidinho. Apague as luzes. Fique longe das janelas e, seja lá o que você ouvir lá fora, não abra aquela porta. >> Quer dizer, sim, no geral, parece muito bom. Se quiser experimentar, já está disponível agora, até mesmo no plano gratuito. Não sei quantas gerações você ganha no plano gratuito, mas, enfim, acabei de entrar e ele já estava lá. Então, em “Modelo”, basta selecionar a versão de prévia do Fish Audio Drama 3 e

15:03 dar os prompts. Para encerrar, um projeto musical que acompanho há, acho, uns dois anos. Nossa, faz tanto tempo assim? Meu amigo Jordan Rutis. Sim, aquele Jordan Rutus, o tecladista virtuoso do Dream Theater que consegue tocar guitarra e teclado ao mesmo tempo. [música] Quer dizer, isso nem é justo. Não consigo nem entender como isso é possível. Enfim, ele passou os últimos anos trabalhando com o MIT Media Lab na criação do JamBot, ou, como gosto de chamar, Jordanbot, uma ferramenta de improvisação com IA que

15:33 é treinado com base na maneira como ele toca. O interessante dessa abordagem é que não se trata de um modelo de difusão treinado com gravações do trabalho musical de Jordan. É algo que veríamos em um produto como o SNO, mas, em vez disso, este é um modelo treinado para pensar como Jordan, gerando música e respostas em tempo real com base, suponho, nas notas e frases musicais que ele provavelmente escolheria. [música]

16:06 Então, embora isto não seja um produto, é mais uma pesquisa. Ainda assim, eu adoraria poder baixar o Jordan bot e fazê-lo sofrer enquanto eu toco Dance of Eternity a 70 BPM. Eles vão fazer um concerto no MIT. Então, se você estiver na região no dia 3 de outubro, o evento contará com Jordan e Jamot Jordanbot tocando juntos, acompanhados por músicos ao vivo e um coral completo. Eu sei que estou pregando para o coral com esta fala, mas o que realmente

16:37 aprecio no que Jordan está fazendo aqui é que, obviamente, ele não está fugindo da tecnologia, mas encontrando uma maneira de incorporá-la à apresentação. Então, se quiser conferir o concerto, ele será no MIT, no dia 3 de outubro. Se for, só não seja a pessoa que grita “Free Bird”, embora eu tenha quase certeza de que o Jordan Bot consegue tocar essa música. Então é isso por hoje. A temporada de outono da IA está esquentando e tem cheiro de especiarias de abóbora. [música] Como sempre, agradeço por assistir. Meu nome é

Transcrição original

[00:00] Well, it’s been nothing short of a blockbuster week for AI with major releases and announcements from just about everyone, plus a slew of interesting stuff on the creative side, including a potential sea dance killer coming up in like the next month or so, more realtime video world models, uh some stuff on the image side, audio updates, and a look at what’s just around the corner. Kicking off with the Battle of the Titans. Uh this week Meta came storming back or I mean were they really here to begin with? Regardless, Zuck and Company

[00:32] held their big Meta Connect event hyping up obviously Meta Muse. But before even that happened, the week kicked off with a pretty memorable day that really illustrated the Titanic slugfest between OpenAI and Anthropic with the release on the Anthropic side of Opus 5.5 and on the Open AI side with Soul and Luna 6 uh both dropping on the same day. Setting benchmark charts aside because I I mean honestly who believes benchmarks anymore, the overall vibe does seem to

[01:02] be that Anthropic is so back with Opus 5.5 with it being able to compete on an intelligence level with Fable at a fraction of the cost and is 40% cheaper or at least more efficient than Opus 5. Also, as a pretty big win, uh 5.5 does seem to have removed that annoying personality that has plagued the Opus models since the demise of 4.6. Overall, I do tend to agree. I’ve been playing around a lot with 5.5. It’s just a lot nicer to work with. Meanwhile, on the

[01:32] OpenAI side, Soul 6 does come in cheaper, actually significantly so, but the overall sentiment is that Soul kind of like taps out of projects a little bit quicker. Um, but it is cheap and it does ship. That said, uh, a lot of the complaints seem to be that it feels almost too concise, like almost to the point of it being a bit bland. That said, I don’t necessarily agree with the flat personality aspect of it. And that obviously that is something that you can tune up via the settings, but that also might have something to do with the fact that I’ve been leaning a lot more on

[02:04] voice as an interface modality with chat and codecs. Uh, something that Anthropic is kind of sorely behind on. Interestingly, in the middle of all of this, OpenAI also finally connected voice to like mail, calendar, Slack, basically all of your apps, which always felt like a bit of an oversight to me to begin with, but does finally bring us closer to, you know, it being that AI assistant that is actually helpful in your day-to-day. I mean, at least more so than the new Siri. Do you guys remember when uh Alexa got that big

[02:34] update and all of the Alexexas were supposed to be smarter and then we all tried it and we were like, “Yeah, so still pretty much Alexa, though.” there. That’s kind of my mini review of the new Siri. So, that persistent AI assistant is definitely something that OpenAI is aiming towards which does bring us to our other big story of the week because this week Meta held Meta Connect and you know brought their AI assistant Muse really storming into the hardware game. There is no question that Muse has been a bit of a blockbuster for Meta actually

[03:06] overtaking the chatbt app in the Apple store and generally just kind of having a wider adoption amongst the normie crowd. But the bigger news coming out of Meta Connect seems to be focused on the hardware front with Meta unveiling well not only the new Meta VR glasses and from a form factor. I mean what this to me does this look like what the Apple Vision Pro should have been all along. And to top it off, this is coming in at the non-inssane price point of $1,299.

[03:37] There were, of course, some new Rayban Meta glasses as well. But the thing that really seems to have caught the news cycle was the Muse Charm, which is kind of like a I don’t know, like an AI Tamagotchi like device with real-time voice. Uh, basically like Muse, but without a mobile device or a computer. This one apparently will have 5G connectivity as well. So like it’s a it’s a system that doesn’t even need to be tethered to your phone. Now while Meta does seem to have won the week with the gwow of the uh AI Tamagotchi. Um we

[04:07] are still not done considering that OpenAI has dev day next week as it has been highly indicated that we will be seeing OpenAI’s AON which is uh you know basically their answer to Meta’s Muse and well Gro’s Grockbot. There are definitely a lot of rumors going around as to what we’ll see next week at dev day. Mostly I’m just curious to see how Open AAI decides to differentiate itself from the other systems. I’ll definitely have coverage of DevDay, but yeah, I mean overall any way that you look at it, it’s very clear that the next

[04:38] battleground for all of these companies is to become your new AI best friend. Moving on with some quick hits from our side of the creative AI fence. Big news from Alibaba. uh at their Absera conference uh they showcased a new video model that will be dropping in November. And I mean taking a look at it, it does definitely look like it’s it’s in around like Cance quality. Um not a lot of details about this one thus far. It does appear to be like the new successor to

[05:08] the WAN model uh and is likely tied to the launch of Quen 4. Although all we have to go on currently is some footage captured at at the event on a phone. Um it’s, you know, we’re basically looking at bootleg footage, but it does look very good. In terms of what we do know about this upcoming model, uh to be honest, it’s kind of like the standard new video model bingo card. Alibaba stated that it will have longer duration while keeping scene, character, and visual consistency, better control, and

[05:38] more complete narratives, and smarter reasoning. No word on pricing as of yet and no word obviously on weights being open sourced. Interestingly, they did end the presentation with a bit of a uh prediction, I guess, uh that within three years, a native unified omnimodal model will emerge and experience will no longer be constrained by modal boundaries. Meaning that, you know, uh there won’t be a seance, there won’t be a minax H3, there won’t be a uh there’s just going to be sort of like one model, Quen, I’m presuming that they’re

[06:09] obviously alluding to that will just do it all. Moving on. And well, speaking of new video models, looks like Clling is back on the menu. While I cannot confirm nor deny any of this, uh, Mars for Tech over at Dev Mode had some exclusive screenshots, which will include an updated Omni model and generations allowing up to 120 seconds, like 2 minutes, uh, of video generation at 720 and 1080. Now, I don’t think that I can say much more about this right now other than um well, I mean, make sure you hit

[06:40] that subscribe button and I’ll see you soon. In other upcoming or actually released quick hits uh once again via our friends at testing catalog, uh it does look like Google is staging out Nano Banana 2.5 Flash. It is appearing for some people uh over in Google Flow. I don’t have access to it yet, but you know, we’ll take a look at it when it releases. But importantly, it is not NanoBanana 2 Pro, nor is it Nano Banana 3. I mean, I know, I know. Uh, like Google really seems to be stuck in flash

[07:10] land right now. At least that seems to be the feeling that I’ve been getting since Google IO. So, uh, I I am hoping that we see Gemini 4 drop fairly soon and then hopefully a flood of big updates after that. Moving on with a fun one here. Odyssey has released Agora 2, Advancing Multi- Aentgent World Simulation, and you can try this one right now. So, what this basically is is a group of AI agents that can play a game along with you and other human players uh for a total of up to 20. And

[07:41] yes, everyone is playing Diablo II. Now, the obvious immediate read here, of course, is like, well, great, it’s an AI MPC. But you know what Odyssey is really aiming here for is uh this is sort of a sandbox environment uh where the Agora 2 model understands the world of Diablo II and uh we get to learn how AI systems interact with one another and interact with us in a controlled simulation. Although, I’m not sure that teaching our behavior to an AI agent via Diablo is

[08:14] the best idea since the lessons they learn will be uh when humans are threatened, they stab things, and when they’re feeling sad or low, they chug colorful drinks. Uh that said, if you’ve had a hankering recently to play Diablo II, and you know, you want to do so alongside some AI agents, the Odyssey link to Agora 2 is down below. Moving on to the real-time video and world model side of things. Uh, Pixverse has released R2. I haven’t gotten too much time to play around with this one as of yet, but I mean, I’ve been a fan of what

[08:44] Pixver has been doing with their realtime models, and this one does look like a pretty big step up in terms of visual quality. But the bigger update here is that, you know, aside from the kind of like Genie 3esque control layout, is that you can like actively prompt within this generated world simulation, which does open up the door to some pretty interesting experiences in real-time world models, uh, such as the ability to chat with a character in that world. Alex Prompter captured a cool example of this. Let’s take a quick

[09:15] look. No, I can’t prove that. I can’t prove it to myself and I’ve had 14 hours of nothing else to do. >> Now, I’ll note that it does seem like Alex sped that footage up a little bit. Nothing on him or anything. Uh, when I was playing around with R2, it did feel a bit on like the the sluggish, loady side. Uh, but again, we’re still pretty early in with this technology, but I do think that we’re starting to get to a

[09:45] breaking point and something that starting to genuinely feel like it resembles a hollow deck, you know, minus the holograms, but it’s also a massive step forward from the insane wonk that we got in real time uh back in January of this year. Um, I mean, this this one still brings me so much joy. Um, yeah, but I mean this is where things tended to like randomly catch on fire and coherence was uh like let’s call it a suggestion, a very surreal suggestion. Moving on to the audio side of things, some really interesting stuff going on there. But first, a quick word from

[10:17] today’s sponsor, Art List. So lately, while I know that everything has been going a little more the MCP route and we’re all spending more time generating in codecs or in claude, there are still like platform based workflows that are more efficient. So today we’re going to take a look at one of them from our friends at Art List who were kind enough to sponsor today’s video. They have introduced Art List flows which yes is a note-based murder board, but the angle here is that this is a reusable murder

[10:47] board. The easiest way to get your head around this is to actually look at one of their templates. Uh because these are actually handy templates. We’ve all seen those templates like what am I going to use this for? Uh but these are actually really good. Uh generate a 3D title. Character sheet of course is uh something that is we run a lot. So obviously we have two nodes here. One a character image and the other a provided prompt. Uh both of which feeding into our output here in which you know we get this multiframe generation. Uh now all of this is of course editable and um you

[11:20] can swap out any of the models that you want to use. A number of them here are offered with uh art lists unlimited plan as well. Now where things get interesting and customizable is that from here we can build upon this template. If you just rightclick you can add a prompt in uh and a video generator for example. Um, we can just connect our character sheet to an input here and then a text prompt because one of the things that I’ve been doing with character sheets lately is creating 360 video rotations of these character

[11:51] sheets uh in this case in Cance 2.5 and then either providing you know this video reference as a reference or uh just basically taking screenshots of it. Uh, and actually this multiframe approach to character sheets, uh, this might be really interesting to try out. But ultimately, the important part is that this now becomes your template. Well, it’s my template, but you can steal it and and then it’ll become yours. Um, and you can, you know, rerun it with different characters. Just simply upload a different character here, hit run, and the same results or the same workflow will then trigger. Now

[12:23] again, I know that not everyone is a fan of nodebased workflows. And I do want to point out Art List does have MCP connections, so you can connect Claude or Chat GPT to it. But I do think it’s worth it to take a little time and create a flow for something that you constantly come back to. I mean, it can be a massive timesaver. I mean, at least it saves time in arguing with Claude about what you did last time. So, if you want to try out Art List flows, it is available right now over on Art List.

[12:53] The link is down below. And hey, my thanks to Art List for sponsoring today’s video. Moving on to some interesting updates in the world of AI audio. Uh first off, it does look like we’re going to be getting an update to Seed Audio by Dance’s audio generator, which I looked at uh a few videos back. Uh found it to be very good. I mean, uh again, think seance but audio. Uh here, let’s take a quick listen to 1.0. They’ll tell you the old wards never fail. They told me that, too. Until the night the stars went hunting.

[13:30] >> You’re late, boy. Fire’s near out. >> Sorry. The steps are ice cleaned through. I >> Steps don’t kill men. The cold does. Feed it. So, Seed Audio 1.5, which apparently was initially announced as a 2.0 and then kicked down uh.5, it looks like it’s going to be officially debuting over on Pippet, which I did not realize was another Bite Dance platform. By dance, why do you have to make things so confusing? I will be keeping an eye on this one. One of the major sticking

[14:02] points of like the seed dance video model is well, I mean, besides the cost is the fact that audio is not its strong point. Uh, and 1.0 uh seed 1.0 out does really seem to help on that front. In the meantime, for audio that you actually can use today, uh Fish Audio has released in preview Drama 3. Uh they are calling this the most controllable text to speech model ever. I’ve actually been a pretty big fan of the Fish model as it tends to do emotive readings really well and well, it’s multilingual.

[14:32] So, uh let’s take a quick listen here. Just turn off the lights. Stay away from the windows and whatever you hear out there, do not open that door. >> I mean, yeah, overall sounds pretty good. Uh, if you want to give this a run, uh, this is available actually right now. Uh, even on the free plan. So, I I don’t know how many generations you get per free, but um, yeah, I mean, I I just logged in and it was here. So, uh, under model, just go to, uh, the preview for Fish Audio Drama 3 and, uh,

[15:03] prompt away. Rounding out with a musical project that I’ve been tracking for I guess the last two years. Man, has it been that long? My pal Jordan Rutis. Yes, that Jordan Rutus, the Virtuoso Dream Theater keyboardist who can play guitar and keyboard at the same time. [music] I mean, that’s not even fair. I can’t even wrap my head around that. Anyhow, he has spent the last few years working with the MIT Media Lab creating JamBot, or like I like to call it, Jordanbot, which is an AI improvisation tool that

[15:33] is trained off of his playing. Now, what’s interesting about this approach is that this isn’t like a diffusion model trained off of recordings of [music] Jordan’s work. That’s something that we would see with like a product like SNO, but rather this is a model that has been trained to think like a Jordan, generating out uh real-time music and responses based off of, I guess, like you know, the notes and phrasings that he would most likely choose. [music]

[16:06] So, while this isn’t a product, it’s kind of more of a research thing. Although I would love to be able to download Jordan bot and make it suffer through me playing Dance of Eternity at 70 BPM. They are doing a concert over at MIT. So if you’re in the area on October 3rd, uh this is this will feature Jordan uh and Jamot Jordanbot playing together along with live musicians and a full choir. Now, I know I’m preaching to the choir on this one, but what I really

[16:37] appreciate about what Jordan is doing here is, uh, you know, obviously not [music] running from the technology, but actually figuring out a way to incorporate it into performance. So, uh, if you want to check out the concert, again, it is at MIT on October 3rd. If you do go, just don’t be the person screaming freeird, although I’m pretty sure Jordan Bot can play it. So, that’s it for today. Uh, you know, AI fall is really heating up and smells like pumpkin spice. [music] As always, I thank you for watching. My name is