Indo ao ULTRA com RTX Spark e os novos dispositivos Surface | Merge Conflict ep. 537

Ver no idioma original →

Autoria: Merge Conflict Podcast · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Going ULTRA with RTX Spark and New Surface Devices | Merge Conflict ep. 537 · Canal: Merge Conflict Podcast · 56:48 · Assistir no YouTube

Tópicos: Agentes de IA, Cibersegurança e segurança de software, Infraestrutura e hardware de IA, Modelos locais e open source

Resumo

James Montemagno e Frank Krueger discutem os novos dispositivos Surface com chips NVIDIA, incluindo o Surface Laptop Ultra e o RTX Spark Dev Box, com foco em desempenho, memória unificada e criação de conteúdo. Eles analisam as melhorias do Windows ML e do llama.cpp para executar modelos localmente, além dos recursos de sandbox e isolamento para agents. O episódio também aborda o uso híbrido de modelos locais e na nuvem, automações e a integração de agents ao Windows. No fim, os apresentadores comparam os novos dispositivos com Macs e comentam suas próprias configurações de trabalho.

Pontos-chave

• O Surface Laptop Ultra combina um chip ARM com uma GPU NVIDIA e memória unificada, mirando usuários que trabalham com criação de conteúdo e modelos de IA.
• A memória unificada permite que CPU e GPU compartilhem o mesmo banco de memória, simplificando transferências de dados e ampliando a memória disponível para tarefas de ML.
• O Windows ML busca oferecer um runtime estável para executar modelos em diferentes GPUs, NPUs e CPUs; o suporte a PyTorch e llama.cpp amplia as opções para desenvolvedores.
• Os apresentadores discutem o suporte a containers da Microsoft, chamado MXC, para isolar processos e sessões de agents e controlar acesso a arquivos e à rede.
• Modelos locais podem ser usados em automações demoradas e tarefas em segundo plano, reduzindo o uso de tokens pagos e permitindo trabalhar sem conexão.
• O uso híbrido pode alternar entre modelos locais e na nuvem conforme a tarefa, conciliando custo, disponibilidade e capacidade.
• A visão de Windows como sistema operacional integrado a agents inclui acesso a arquivos, contexto local, ações e modelos executados no dispositivo.
• O RTX Spark Dev Box é apresentado como um computador de mesa para desenvolvedores, com 128 GB de memória unificada e SSD removível de 2 TB.
• Os participantes ponderam o preço, o consumo de energia, a dissipação de calor e a comparação com computadores Mac.
• O Surface Laptop Ultra inclui um conector USB-C magnético, que os apresentadores comparam em tom bem-humorado ao MagSafe.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação e foco em hardware	Os apresentadores introduzem o episódio e antecipam a discussão dos novos dispositivos da Microsoft.
02:38	Surface Laptop Ultra e GPU NVIDIA	Frank descreve o laptop como uma máquina de alto desempenho voltada a competir com computadores premium.
06:23	Memória unificada e especificações	Os apresentadores explicam como CPU e GPU compartilham memória e comentam as configurações do dispositivo.
10:48	Uso criativo e modelos locais	Eles discutem demonstrações de criação de conteúdo e a execução de modelos locais no novo hardware.
14:00	Windows ML e execução de modelos	A conversa aborda o Windows ML, o suporte a ONNX, PyTorch e llama.cpp e as opções para desenvolvimento e distribuição.
18:47	Segurança e isolamento de agents	Os apresentadores explicam a proposta dos containers MXC para isolar processos e sessões em diferentes sistemas.
26:17	Permissões e desafios de sandbox	James e Frank discutem os limites práticos de sandboxes, incluindo acesso à rede e ferramentas necessárias para compilar projetos.
29:34	Modelos locais no GitHub Copilot	Eles comentam o roteamento para modelos locais, o Hydrofusion e automações que podem rodar em segundo plano.
33:48	Por que usar modelos locais	Frank destaca a liberdade de usar modelos locais sem se preocupar com cotas, enquanto os dois ponderam seus limites frente aos modelos de nuvem.
38:34	Agents integrados ao Windows	A conversa explora recursos do Windows que dão a agents acesso a contexto local, arquivos e ações no dispositivo.
46:35	RTX Spark Dev Box	James apresenta o computador de mesa para desenvolvedores e detalha memória, armazenamento, preço e formato.
51:59	Configurações de trabalho e comparação com Mac	Os apresentadores falam sobre seus computadores, monitores e planos de reorganizar suas estações de trabalho.
55:45	Conector magnético e encerramento	Eles comentam o conector USB-C magnético do laptop e encerram o episódio.

Citações

A memória unificada é ótima por dois motivos: você tem mais memória disponível e simplifica o modelo de programação. — 09:10

Se você quer adicionar ML personalizado ao seu software, precisa de algo estável para distribuir. — 17:12

O que os modelos locais oferecem é liberdade: você pode usá-los sem culpa. — 35:23

Quero usar um modelo que baixei do Hugging Face, localmente, sem que ele registre nada. — 43:58

Conceitos e entidades

• Surface Laptop Ultra (modelo): Laptop Surface de alto desempenho discutido no episódio, equipado com hardware NVIDIA e memória unificada.
• RTX Spark Dev Box (modelo): Computador de mesa voltado a desenvolvedores, apresentado com GPU NVIDIA, 128 GB de memória unificada e SSD removível de 2 TB.
• NVIDIA (empresa): Empresa parceira da Microsoft nos dispositivos e nas melhorias para execução de modelos com GPUs.
• Windows ML (ferramenta): Runtime do Windows descrito como uma forma de executar modelos em GPU, NPU e CPU.
• llama.cpp (repo): Projeto de código aberto mencionado como opção para executar modelos locais e que recebe melhorias de desempenho.
• PyTorch (ferramenta): Framework de ML citado como parte das opções de desenvolvimento e execução de modelos no Windows.
• ONNX (conceito): Formato de intercâmbio de modelos mencionado no contexto de execução de ML no Windows.
• MXC (ferramenta): Solução de containers da Microsoft discutida como mecanismo para isolamento de processos e sessões e controle de permissões.
• memória unificada (conceito): Arquitetura em que CPU e GPU compartilham o mesmo banco de memória.
• GitHub Copilot (ferramenta): Produto citado com recursos de roteamento para modelos locais e delegação de tarefas.
• Hydrofusion (conceito): Recurso descrito como capaz de distribuir tarefas entre modelos locais e na nuvem.
• James Montemagno (pessoa): Coprotagonista do podcast e funcionário da Microsoft, que comenta os anúncios de hardware e Windows.
• Frank Krueger (pessoa): Coprotagonista do podcast, que comenta o hardware, ML e o uso de modelos locais.
• Microsoft (empresa): Empresa responsável pelos dispositivos Surface e pelos recursos do Windows discutidos no episódio.
• Apple (empresa): Empresa usada como referência para comparação de hardware, memória unificada e recursos de IA.

Tradução completa (pt-BR)

00:00 Boas-vindas de volta ao Merge Conflict, seu podcast semanal para desenvolvedores sobre tudo no mundo do desenvolvimento de software, IA e novos hardwares. Sou um dos seus coapresentadores que trabalha na Microsoft, James Montemagno, e comigo está o único e inigualável que costumava trabalhar na Microsoft, Frank Krueger. Como vão as coisas, amigo? >> Faz um tempo. Ainda chamam isso de Microsoft? Esse ainda é o nome? A marca está registrada? Sim, certo. >> MSFT, ainda é o símbolo na bolsa. Tique-taque. >> Oi, James. É maravilhoso estar no seu programa. Esta é uma das minhas semanas favoritas, em que

00:30 vamos falar de hardware. Alerta de spoiler. Sei que gostamos de ir entrando nos assuntos aos poucos, tipo conversar sobre coisas aleatórias por 15 minutos, mas sinto que temos muito a cobrir esta semana, porque a Microsoft está no jogo do hardware, sabe? Ela coloca os pés na água e depois sai, tipo: “Ooh, está meio fria.” Aí volta para a água e depois diz: “É, vou tentar de novo.” Esta é uma daquelas vezes em que ela vai simplesmente dar um salto de bomba na água. E não sei sobre o que você quer falar. Eu quero falar deste laptop grande e incrível que acabaram de lançar, e

01:02 eu só quero mergulhar de cabeça nesse bichinho. James, você ouviu falar deste laptop que a pequena empresa MSFT lançou? >> Ouvi, sim. >> A pequena empresa de Redmond, Washington. >> Tenho um aqui na minha frente, então sim. Sim, eu sei. >> Certo. Então você é rico, hein? Porque, nossa, o preço inicial dessa máquina é tão grande quanto a tela linda dela. >> Bem, >> Não, teve um grande evento de hardware, mas também um evento de software e um evento de modelos locais. Foi meio que um evento de Windows e hardware e, para mim,

01:34 >> Sim. >> também foi, de certa forma, um pouco um evento para desenvolvedores, eu diria. >> Quer dizer, estamos recebendo toda a atenção agora, né? Porque, quando alguém diz IA, é tipo: “Certo, pessoal de negócios, façam alguma coisa com isso.” Não faço ideia do que o pessoal de negócios faz. Imagino que só fique conversando com ela o dia todo ou algo assim. Talvez ela preencha todas as planilhas do Excel ou coisa parecida, mas acho que você e eu temos mais experiência com agents e tudo mais como desenvolvedores, assim como, tenho certeza, todo mundo que está ouvindo. E, no momento, somos meio que o público para o qual todo esse material de agents é realmente voltado. Então, sinto

02:06 que, sempre que alguém fala de IA, é um pouco como se o nosso grupo estivesse conversando, pelo menos por enquanto. Com certeza, ela tomou conta do mundo, mas somos nós que estamos mais mergulhados nessa confusão chamada IA, SI, seja lá como se chama. >> Bem, havia dois dispositivos. Um recebeu mais atenção, e o segundo é aquele com que também estou extremamente empolgado. Mas fico feliz que você esteja empolgado com o hardware da Microsoft. Sou fã da linha de dispositivos Surface há muito tempo. São hardwares lindos. Frank, vou deixar você

02:38 começar, porque sei que conhece tudo sobre esse dispositivo. Então, >> vou contar o que notei do ponto de vista de quem está de fora. Notei que a Microsoft lançou, em parceria com a Nvidia, um novo RTX Spark, seja lá o que isso for, o Surface Laptop Ultra. O Ultra é muito importante porque há um milhão de produtos Surface por aí. Laptop também é importante. Ultra quer dizer que é rápido. Eles… este é um chip ARM, e vocês não vão acreditar em quantas páginas da web precisei consultar

03:08 para descobrir qual era a arquitetura do chip. É um chip ARM, pessoal. E é um chip ARM acoplado a uma GPU enorme, ou uma GPU acoplada a um chip ARM pequeno. Não sei bem qual das duas coisas. >> [risos] >> Tudo isso enfiado dentro do gabinete de um laptop. E, falando como um fã da Apple, este é definitivamente um grande concorrente do M5 e dos grandões e potentes Pro Max que têm saído ultimamente. É a Microsoft entrando no ringue.

03:40 A Nvidia se junta a ela porque precisamos de GPUs, e hoje em dia só eles conseguem pagar pela RAM. Então, estão todos entrando nessa, lançando essa máquina grande, linda e monstruosa, com um preço monstruoso. Não posso esquecer de continuar dizendo isso. Mas é uma máquina linda. Quer dizer, não dá para negar. O vídeo que usaram para apresentá-la tinha muito estilo Apple. >> [risos] >> A própria máquina também tem muito estilo Apple. É uma tela grande e linda, PixelSense, com 200… vamos dizer 250 pixels por polegada. Tem alta resolução. Isso é tudo o que realmente importa. É um monitor HDR.

04:14 E tem uma quantidade absurda de núcleos Nvidia. Como ainda trabalho bastante com ML, treino meus próprios modelos e tudo mais, é muito legal ter hardware Nvidia de verdade em… bem, num computador pessoal, suponho. Suponho que seja mais uma workstation espremida dentro de um laptop. Mas é legal ter esse hardware Nvidia porque, por mais que eu adore meus produtos Apple, o ecossistema Metal simplesmente

04:47 não é nem de longe tão avançado quanto o ecossistema CUDA da Nvidia. Os kernels são um pouco diferentes. Alguns têm bugs. Muitos são bem mais lentos que no mundo CUDA. Agora, meu quarto está 20° mais quente do que deveria porque minha RTX 3090 está trabalhando sem parar com alguns cálculos de tensor, usando todos os FLOPS do mundo… TOPS. Nem sei mais quais são. Tudo isso é hardware Nvidia. Isso é CUDA. Esse é meu lugar feliz. Você pode executar Python. Qualquer modelo que baixar da

05:21 internet vai rodar muito bem e com bastante eficiência em hardware CUDA. E foi isso que enfiaram no gabinete desse laptop. Por US$ 2.600, você pode ter uma GPU enorme, de alguma forma ligada a um monitor, um teclado e um trackpad, tudo integrado num gabinete muito bonito. É um preço alto, mas, nossa, que máquina linda. Como não ficar empolgado? Você teria que odiar tecnologia de verdade para não ficar empolgado com ela. >> Não, quer dizer,

05:51 você tem razão. É uma máquina grande e linda. E o preço inicial é, sim, US$ 2.700, e chega a quase US$ 6.000. Agora, concordo com você: o principal é, na verdade, a RAM unificada de 32 GB. Então, isso vai levar o preço para, basicamente, não sei, US$ 3.300 ou algo assim. Há vários ajustes diferentes aqui. Mas sim, veja, quero dizer, você tem razão. É o

06:23 RTX Spark. Estou olhando aqui para conferir os dados. N1X, com… há dois modelos do laptop. Um tem uma GPU com 5.120 núcleos e uma CPU com 18 núcleos; o outro tem uma GPU com 6.144 núcleos e uma CPU com 20 núcleos. São muitos núcleos, Frank. E ele tem… não sei se você já ouviu falar dessa coisa chamada memória unificada. Pode explicar o que isso significa? >> Memória unificada. É por isso que ele é ARM. Eu devia ter percebido só pela memória unificada que era ARM, porque, sei lá, a Intel ainda não está fazendo isso, por algum motivo. Memória unificada significa que a GPU e a CPU compartilham o mesmo banco de memória. O que é maravilhoso para nós, programadores, porque, quando estou desenvolvendo, primeiro preciso colocar meus dados na RAM do sistema e depois eles precisam ser enviados para a GPU. Isso acontece porque tenho um sistema Intel sem memória unificada. É um

06:55 saco, porque, sinceramente, elas têm velocidades diferentes. A RAM da CPU costuma ser DDR4. Algumas pessoas têm computadores modernos com DDR5 ou DDR6. Mas geralmente há uma diferença de velocidade considerável entre as duas. Antigamente, era a memória gráfica. A memória gráfica era mais cara e mais rápida: é a que fica dentro das GPUs. Hoje em dia, as coisas estão ficando um pouco estranhas. Então, sempre havia esse modelo de programação muito complicado, em que você precisava escrever um software bem sofisticado para continuar alimentando os dados na sua

07:26 é um saco, porque são duas velocidades diferentes, sinceramente. Tipo, DDR4 geralmente é a memória RAM da CPU. Algumas pessoas têm computadores modernos com DDR5, DDR6. Mas geralmente há uma diferença de velocidade bem grande entre as duas. E, no passado, era a memória gráfica. A memória gráfica era mais cara e mais rápida, a que funciona dentro das GPUs. Hoje em dia, isso está ficando um pouco estranho. Então, você sempre teve esse modelo de programação muito desajeitado, em que precisava escrever um software bem sofisticado para continuar alimentando dados na sua

07:59 GPU para manter a GPU funcionando a todo vapor, fazendo a temperatura do seu quarto subir 20° sempre que você estiver nele. Isso é muito importante. Mas é meio chato, porque você precisa ficar sincronizando essas duas coisas: basicamente, há dois computadores diferentes dentro do seu computador, e nós, programadores, temos que sincronizar a memória entre eles. Eles tentavam esconder isso de você, mas, como acontece com toda abstração ruim, era uma abstração com vazamentos. E, se você quisesse obter alto desempenho em treinamento ou inference, em qualquer lado do

08:32 mundo de ML, precisava ficar muito bom em transferências de memória. Precisava entender completamente todos os canais DMA e tudo mais. A memória unificada obviamente simplifica tudo isso. Acho que ela estreou no Xbox One, talvez só no Xbox. >> [risos] >> A Apple faz isso há muito tempo. O bom é que nós, desenvolvedores, não precisamos fazer essa sincronização. O segundo ponto positivo é que, quando você aumenta a RAM do computador, ela fica toda disponível para a placa de vídeo. Adoro minha RTX 3090, mas ela só tem 24 GB de RAM. A máquina tem 16 GB de RAM de CPU.

09:10 Então, tecnicamente, tenho 40 GB de RAM, mas posso usar isso para treinamento? Não, James, não posso. Estou preso aos 24. E, há apenas duas horas, meu treinamento travou porque fiquei sem memória. Que oportuno. >> [risos] >> Nossa. Caramba. >> A memória unificada é ótima por dois motivos. Primeiro, você tem mais. Segundo, ela simplifica o modelo de programação. É por isso que todos gostamos de memória unificada. É importante. É o futuro. Alguns usuários da Apple diriam que é o passado. >> [risos] >> É, e acho que essa é uma coisa que a Apple destacou bastante na série M.

09:42 A série M, com a memória unificada entre a CPU e a GPU. E essa é mais ou menos a arquitetura que está avançando. Ela possibilita muitos cenários. E, sim, esse dispositivo vai de 24 GB de memória unificada LPDDR5X até 128. Também chega a… diz que tem um SSD removível. Sei que o dev box tem um SSD removível. O Surface Laptop também é removível? >> Acho que o laptop tinha parafusos para o disco rígido também, se não me engano. Não consegui ver direito, porque fizeram um vídeo bem fluido em que a máquina inteira se desmonta, e não consegui perceber o que você pode desmontar sozinho e o que não pode. Mas parece que dá para desparafusar aquele disco rígido.

10:15 >> Diz que é removível. Diz que é uma unidade de estado sólido removível, SSD Gen 5; Gen 4 para o modelo de 512 GB e Gen 5 para os de 1 TB e 2 TB. É, a resolução da tela é de 3270 por 2180, com 262 PPI. Uma proporção de 3:2, como em todos os outros dispositivos Surface, HDR e tudo mais. Mas, no geral, sim, é um dispositivo superbonito, como vocês viram. E é um dispositivo de altíssimo nível. Acho que é realmente…

10:48 um dispositivo de ponta. Acho que o que Pavan estava dizendo é que você precisa de um dispositivo para criadores. E isso remete ao que a Apple tinha originalmente com os modelos Pro dos dispositivos. Agora, eles têm, obviamente, os modelos Pro e Studio, mas também os diferenciaram com chips específicos, como os chips Pro e Max que estão por aí. E, pelo nome deste, Ultra, dá para ver que ele está acima do Surface Laptop e do Studio. Como eles dizem, este é o Ultra, o topo do topo, o mais avançado que você

11:22 pode conseguir para criadores. E eles mostraram muitos cenários diferentes, especificamente usando vários modelos locais. Vamos falar sobre modelos locais, treinamento e outras coisas. Mas mostraram vários workflows de desenvolvedores e de criadores. Houve um caso específico que mostraram, de um artista que faz muitos trabalhos artísticos diferentes, como ilustrações conceituais do espaço e coisas do tipo, com as quais você e eu nos identificamos, algo bem no estilo Firefly. No estilo Serenity, mas…

11:55 esse tipo de universo de ilustrações. Ele passava tudo por vários modelos diferentes. Depois de desenhar a base, podia usar todos esses modelos, localmente: cinco modelos locais diferentes, alguns modelos na nuvem, ocupar a tela inteira, passar pelo Blender e fazer todo esse trabalho, tudo localmente. Ele disse que coisas que antes levavam semanas agora levam um dia para fazer, tudo nesse dispositivo, com toda essa potência. E não são apenas esses modelos, mas também…

12:26 estão falando do Super Neumotron e também do modelo MAI Code One Flash, um modelo de 120 bilhões de parâmetros rodando localmente nesses dispositivos. Acho isso incrivelmente impressionante. Ainda tenho dificuldade para rodar qualquer modelo no meu M4 Pro, com 64 GB. Eu consigo, só é complicado. É só isso que estou dizendo. >> Vai ser complicado. Quer dizer, com exceção do MAI, vai ser complicado com tudo. Rodar um modelo

12:58 localmente, infelizmente, é um pouco mais complicado do que deveria. Mas você acertou em cheio: dá para fazer a máquina mais bonita do mundo, mas é preciso ter um bom software para rodá-la. E é mais ou menos isso que eu estava dizendo sobre o mundo da CUDA e da Nvidia. A única coisa boa desse mundo é que há muito software de IA desenvolvido para funcionar com ele, mas não é só isso. O software de produção de vídeo também é desenvolvido para funcionar com ele. A Nvidia não é apenas uma grande

13:29 empresa lucrativa: acontece que ela também dominou boa parte do ecossistema de software. Muitos dos plugins de ponta para várias coisas aproveitam todos esses chips da Nvidia. Não podemos esquecer dos jogos. Esse vai ser um dispositivo monstruoso para jogos, mas não sei quanto os gamers vão gastar… >> Eles mostraram Gears rodando nele enquanto faziam tudo isso. >> É, definitivamente é mais para o público criador. Se você trabalha muito com CAD, produção de filmes e coisas do tipo, atividades que podem tirar proveito dessas GPUs absurdas que estão colocando nele. Mas, sim, construir esse ecossistema de software é difícil. Então, por estar com a Nvidia, eles têm sorte. Vão herdar um monte de software que simplesmente vai funcionar com ele. Mas também fizeram várias melhorias no Windows para aproveitar isso. Uma que achei interessante foi — e você vai ter que me ajudar, porque nunca consigo lembrar o nome —, mas existe aprendizado de máquina no Windows. É mais ou menos o equivalente ao Core ML no lado da Apple, onde você pode recompilar seus modelos para rodarem bem no

14:00 GPUs que estão colocando lá. Mas, sim, construir esse ecossistema de software é difícil. Então, por estar com a Nvidia, eles têm sorte. Eles estão simplesmente herdando um monte de software que vai funcionar com isso. Mas também fizeram várias melhorias no Windows para tirar proveito disso. Uma coisa que achei meio interessante foi — e vou precisar da sua ajuda aqui, porque nunca consegui lembrar direito o nome —, mas existe aprendizado de máquina no Windows. É meio que o equivalente ao Core ML, do lado da Apple, em que você pode recompilar seus modelos para que funcionem bem em

14:32 Windows. E acredito que os modelos ONNX, um formato de intercâmbio, têm drivers nativos para rodar oficialmente no Windows. Então, parece que boa parte desse anúncio não foi só sobre esse hardware, mas também sobre todas essas atualizações de software do Windows, especificamente para facilitar a execução desses cenários mais avançados. Porque sempre foi possível fazer isso. Como estou dizendo, você sempre podia chamar o torch no Python e fazer essas coisas funcionarem. Mas não era fácil. Não era divertido. E acho que você teve essa experiência

15:03 no Mac. Então, é importante deixar essas coisas fáceis de executar. >> É, e era exatamente isso. Há uma publicação grande no blog Windows Experience, que… é para viabilizar isso. O nome é Windows ML. >> Obrigado. >> É um runtime escalável para executar modelos em GPU, NPU e CPU. E também anunciaram suporte a llama.cpp, dando aos desenvolvedores mais opções open source, além de PyTorch para Windows ML. Então, PyTorch e

15:34 também levando isso diretamente para o llama.cpp, o que é bem legal. Então, em geral, é assim que funciona: eles têm um diagrama neste site. Seu app nativo ou web app usa um modelo open source personalizado para ONNX, PyTorch ou GGML, que vai para o Windows ML e então se integra ao ambiente de hardware do Windows, seja Intel, Qualcomm, AMD ou Nvidia. Depois, ele acessa a GPU, a NPU e também a CPU. >> Sim, e deixa eu explicar isso do ponto de vista de alguém que trabalha com ML. Você vai

16:07 usar PyTorch e as ferramentas do Nvidia CUDA para desenvolver coisas com ML. E não precisa ser necessariamente LLMs; pode ser todo tipo de coisa. Pode ser processamento de imagens, áudio ou vídeo. Mas esse vai ser o seu ambiente de desenvolvimento. O llama.cpp é muito bom para os nerds que estão por aí criando seus próprios harnesses, ambientes de desenvolvimento e tudo mais para executar esses modelos, porque muitos dos modelos open source disponíveis vêm no formato nativo do llama.cpp,

16:40 GGML. Então, você só vai precisar desse formato de arquivo e de algo que consiga executá-lo. É por isso que o lançamento do llama.cpp é tão importante. Mas, como desenvolvedores de apps, se vocês realmente quiserem implantar essas coisas, sinceramente, não vão querer usar nenhum dos dois, porque implantar o PyTorch em Python é horrível e irritante. O llama.cpp é difícil de acompanhar; é um alvo em constante movimento. É aí que o Windows ML é útil: é bom ter um alvo de implantação estável. E

17:12 no passado, era o ONNX, mas o ONNX… o ONNX é basicamente só o formato de arquivo, então pode haver diferentes engines que executam esses modelos ONNX. Como desenvolvedores, se vocês quiserem adicionar recursos personalizados de ML ao software, vão querer implantar usando algo estável >> [risos] >> e aprovado pela plataforma. É aí que o Windows ML entra em cena. Então, tudo isso cobre áreas diferentes: desde o desenvolvimento e as coisas mais técnicas, para quem não se importa de sujar um pouco as mãos, até este caminho limpo, refinado e promissor para implantar suas soluções.

17:45 >> E aqui diz que eles estão contribuindo de volta para o llama.cpp e, em parceria com a NVIDIA, como você mencionou, para a comunidade mais ampla. Eles estão fornecendo várias melhorias de desempenho para o llama.cpp e suporte a GGUF no formato, por meio da otimização de kernels CUDA, fusão interna, escalonamento aprimorado de CPU e GPU, reorganização dos pesos e CUDA graphs. Esse trabalho também adiciona decodificação especulativa com Eagle 3, MTP e D Flash 2, execução em várias GPUs, NVFP4, novas arquiteturas de modelos e métodos de amostragem de backend.

18:17 Todo tipo de coisa. Não faço ideia do que nada disso significa, mas parece legal. >> [risos] >> Eu poderia explicar cada uma dessas coisas, mas tudo o que você precisa saber é que são técnicas modernas inventadas para fazer essas coisas rodarem rápido. Só estamos tentando fazer as coisas rodarem rápido. É só isso que queremos fazer. É fácil treinar essas coisas; difícil é fazê-las rodar rápido. Mas é engraçado: na verdade, não foi assim que a apresentação começou. Eles não começaram falando de velocidade. Não. Com o que começaram? Você lembra? >> Bem, começamos principalmente com… acho que a Kayla foi a primeira demonstração. Ela foi a primeira ou a segunda demonstração do dia?

18:47 >> Ainda antes disso, acho que foi segurança, James. Então, na verdade, foi isso mesmo. Acho que Satya disse que segurança foi a primeira coisa que ele mencionou. Eu não concordo muito com ele. Eu digo para jogar a cautela ao vento. Deixem essas coisas ter acesso total ao disco do computador. Deem a elas todos os seus logins. Permitam que usem toda a memória da sua casa; é só colocar RAM dentro do computador e girar a manivela até ter RAM suficiente. É o que eu penso, mas quem sou eu para discutir com Satya? E o que eles

19:21 anunciaram foi o suporte a contêineres do Windows. Não sei, estava em beta ou algo assim? Porque deram bastante destaque; parecia que era quase um lançamento oficial. Foi isso que aconteceu? >> Então, estava em prévia. No Build, anunciamos os Microsoft Execution Containers, MXC, que funcionam no Windows, Mac e Linux. O que eles fazem é oferecer isolamento de processos e sessões.

19:52 E, obviamente, nos diferentes sistemas operacionais, vão usar os diferentes tipos de sistemas de contêiner que existem. No Windows, como é a plataforma que eles controlam, certo?, podem ir muito mais a fundo. Então, no Windows, há um isolamento de processos e sessões muito mais profundo, por meio do MXC local, com sessões isoladas para processos de uso único. Agora, ele também oferece suporte a máquinas virtuais do WSL C e ao Windows 365

20:22 para agents, o que é muito legal. E eu mesmo estava fazendo uma demonstração disso no dia anterior, então conheço muito bem o assunto. E, na verdade, depois de demonstrar, sabe, fiquei ainda mais fã disso. Então, foi muito legal que esse tenha sido o primeiro assunto, porque eu já vinha… E isso é só sandboxing, pessoal. Já tínhamos ouvido falar de sandboxing no VS Code e no app Copilot na CLI. Mas agora o MXC já está disponível no Codex, Copilot, Open Claw, Replit, LM Studio,

20:54 Open Shell, OnSoth AI e vários outros que estão chegando e lançando suporte agora que isso está em disponibilidade geral, o que é muito importante, porque esse suporte padronizado oferece a nós, desenvolvedores, uma biblioteca open source que podemos integrar aos nossos apps para fornecer essa funcionalidade, como todo mundo já faz. E, como usuários, temos acesso a recursos e capacidades realmente avançados. Então, pensem nisso como uma forma de controlar o acesso ao disco e

21:24 à rede, o acesso à área de transferência e todas essas outras coisas, sobre as quais vocês podem ter um controle bem detalhado. E sabe qual foi a primeira coisa que pensei? Por que eu iria querer dar ao CLI, ao VS Code ou ao app acesso ao meu OneDrive, ao OneDrive do meu trabalho, por exemplo? É só dizer: “Bloqueie esta pasta”. Você nunca precisa acessar meu OneDrive; ali estão as coisas do meu trabalho, certo? Pronto. Muitos desses ambientes isolados são muito bons. Então, ele vai dizer: “Ei, estou

21:55 tentando acessar este arquivo. Ele está em um sandbox, sabe, está isolado. Tenho permissão para acessá-lo?” E, se precisar, você pode sair do sandbox. Sempre há essas confirmações, como: “Você aprova isso ou não?” Agora, a aprovação automática precisa dessa interação humana para funcionar. Ele desativaria isso para aquela chamada e depois ativaria de novo, alternando entre uma coisa e outra, o que é fascinante. Mas isso fica a cargo do cliente, do desenvolvedor do app, que precisa habilitar essa funcionalidade. Agora, a parte realmente legal é que a maioria dos apps atuais faz isolamento de processos. Então, para todos os efeitos, isso pode significar um aumento de desempenho de cinco segundos, ou

22:27 eles podem ter um processo isolado em execução. Então, quando você inicia o Codex, por exemplo, cada sessão tem seu próprio processo, que fica isolado. Mas você poderia configurá-lo para fazer uma solicitação a um agent e, assim que esse turno terminar, encerrar o processo, certo? Poderia fazer isso como uma opção. Normalmente, mesmo com o CLI ou o VS Code, há um processo em execução para cada sessão, e esses processos ficam isolados. No entanto, mais legal ainda do que isso é o isolamento de sessões. E

23:00 o isolamento de sessões é muito legal, porque o Open Claw já o tem integrado. O que esse isolamento faz é fornecer um isolamento completo de usuário para o app em execução. O Open Claw em execução, o agent que está rodando no Open Claw, tem basicamente sua própria conta de usuário e sua própria pasta de usuário, que você pode inspecionar, mas da qual ele não pode sair. Isso significa que cada processo iniciado

23:34 na sessão do aplicativo, quer dizer, o aplicativo inteiro é executado como uma conta de usuário separada, que fica 100% isolada de você. E isso já vem integrado nessa ferramenta. E isso é realmente incrível. Achei muito, muito legal. E acabei me apaixonando por ela, curiosamente, porque estava fazendo demonstrações sem parar e pensei: “Nossa, isso é muito legal, sabe, no geral.” E então você pode ter uma lista de permissões, uma lista de bloqueios, acesso somente para leitura, somente para gravação, todas essas coisas. O único problema é que você realmente precisa configurar tudo. Sabe,

24:06 esse é o principal problema no geral. Mas o que estou pensando é: “Certo, deixem-me ter algumas configurações padrão, como talvez não permitir que essas coisas sejam feitas na minha pasta do OneDrive, no seu Dropbox ou seja lá onde for, entende?” Então, só algumas configurações padrão, mas dá para imaginar como isso é extremamente importante no ambiente corporativo. E eles mostraram vários outros recursos do Windows para integrar tudo isso profundamente, de modo que os agents quase tenham suas próprias identidades na sua máquina, o que é muito legal. >> Pois é, sabe, o Unix inventou

24:39 isso nos anos 70. Sim, contas de usuário são boas e podem ser usadas para outras coisas além de representar usuários. É simplesmente um bom mecanismo de isolamento. Então, é bom ver isso sendo ampliado. Sinceramente, tenho sentimentos um pouco contraditórios quanto a isso, porque, com qualquer novo modelo de segurança, leva um tempo para descobrir quais devem ser as configurações padrão e coisas do tipo. Sabe, ainda toda vez que abro uma sessão no VS Code, ele precisa pedir minha permissão para ler alguma coisa da Microsoft. E eu penso: você pode usar o site microsoft.com. Tudo bem. Parece que, não importa quantas vezes eu clique em permitir, um novo modelo de segurança

25:13 é introduzido e essa permissão volta a ficar desativada ou algo assim. Então, >> É. >> como usuário, fico um pouco frustrado: há um pouco de teatro em torno da nossa segurança e também um pouco de segurança de verdade. Entendo a diferença, mas ainda pode ser frustrante encontrar o equilíbrio entre as duas coisas. E entendo perfeitamente por que querem isso no ambiente corporativo, mas trazer algumas dessas coisas para os usuários comuns é um pouco frustrante. >> É. >> Falando do Windows Vista, nós fomos os primeiros a adicionar aquelas janelas pop-up irritantes. “Ei, você

25:45 tem certeza de que quer fazer isso? Quer permitir que isso seja feito?” E foram necessárias várias versões para aprimorar essas janelas. Sinto que ainda estamos naquela fase irritante, mas espero que, com o lançamento do MCX e todo mundo se consolidando em torno dele, tenhamos, primeiro, configurações padrão melhores e, segundo, eu possa simplesmente dizer: “Ei, sim, aqui está um conjunto inteiro de diretórios no computador. Vá em frente e se divirta. Não me importa o que você faça por lá.” >> Exatamente. E acho que isso vai se tornar cada vez mais importante à medida que esses agents forem se tornando agentes autônomos, executados separadamente nas máquinas,

26:17 como você disse. Sabe, é como: “Ei, essa coisa está simplesmente rodando ali.” E eu nem sei o que está acontecendo, certo? Você realmente quer que ela seja um processo próprio, separado e isolado. Sim, as coisas do MXE foram muito legais. Gostei muito, adorei. Fiquei superanimado com isso e com a facilidade de uso. E agora que me aprofundei e usei bastante, definitivamente vale a pena conferir. E há, sem dúvida, algumas configurações padrão inteligentes. Acho que o problema é que, quando você tem isolamento em sandbox, há algumas coisas. Por exemplo, há o isolamento em sandbox para dizer: “Ei,

26:50 escuta, quero que todos os meus comandos de terminal sejam executados em uma sandbox.” Isso é uma coisa; outra é: “Ei, acesso à rede, ao disco e coisas assim.” Porque o problema que enfrentamos como desenvolvedores de aplicativos é: “Ei, preciso fazer um build do .NET. Ah, o .NET não está instalado na sandbox.” >> É. >> Certo? E você pensa: “Certo, isso é um problema.” Já o que estou falando é mais sobre isolamento em sandbox baseado em permissões para acessar coisas localmente na sua máquina. Então, acho que o termo sandbox é bem carregado, mas o que eu estava configurando, pelo menos como minhas

27:25 configurações padrão para o MXC, era o acesso a arquivos e à rede. Quanto ao acesso à rede, para mim é basicamente: “Sim, tudo bem.” Mas dá para imaginar que, no ambiente corporativo, alguém simplesmente diga: “Só quero acessar coisas locais. Não quero que você acesse a internet.” Isso provavelmente seria importante para eles. Mas tem isto: uma das coisas legais é que ele também encaminha o acesso por meio dele. Por exemplo, eu tinha esta demonstração: “Ei, você pode me trazer uma lista das minhas issues do GitHub ou algo assim?” E ele ia usar o GitHub CLI para fazer isso.

27:59 Mas o GitHub CLI está sendo executado dentro da sandbox, com a rede da sandbox, que bloqueou o acesso, porque ele não consegue acessar o GitHub, já que desativei o acesso à rede fora dela nesse projeto. Então, isso é meio interessante nesse sentido. Acho que existe esse equilíbrio entre: “Certo, que coisas estou fazendo?” e “Eu só quero compilar um projeto, simplesmente executá-lo na minha máquina.” Porque tenho todas essas coisas na minha máquina, mas não na sandbox, e é aí que está a diferença. A diferença entre agent e ferramentas de build para desenvolvedores. Esses dois

28:30 mundos precisam meio que >> Certo, mas sinto que somos os primeiros beta testers de tudo isso relacionado a agents. Todas as outras indústrias ainda estão no mundo do chat, sabe? Ainda fazem tudo no nível do prompt de chat. Somos nós que estamos usando agents e fazendo essas coisas malucas, deixando-os assumir o controle do meu computador. E essa distinção ainda é meio instável. Ainda ontem, ele não conseguiu compilar meu aplicativo. E eu pensei: por que você não consegue compilar esse aplicativo? E ele respondeu: “O dotnet restore está travando.” Eu disse: “Por que o dotnet restore travaria?” E ele respondeu: “Porque não tenho acesso à rede.” E eu pensei: “Ah, certo. Por que

29:02 demorou tanto, por que precisei perguntar três vezes para descobrir que você não tem acesso à rede?” E, segundo, eu pensei: “Por que você simplesmente não habilita o acesso à rede?” E ele respondeu: “Ótimo, vou habilitar.” Aí aparece a janela do Mac perguntando: “Ei, você quer permitir o acesso à rede?” O Mac OS 27 mudou essa janela. Então, demorei um pouco para descobrir como ela funcionava. Finalmente concedi o acesso e ele disse: “Ei, você precisa reiniciar o harness para fazer isso.” E eu pensei: “Mas estou no meio de uma sessão.” Então, eu só… >> [suspiro] >> Respirei fundo. >> Adeus, cache. [risos] >> Esse negócio de segurança é meio complicado.

29:34 >> [risos] >> Bem, >> ótimo. Vamos resolver isso. Vamos descobrir como fazer essas coisas. Quão difícil pode ser? >> Bem, então a próxima coisa de que falaram, certo? E, no fim, também vamos falar sobre o outro hardware que me deixa mais animado. Há outro equipamento, mas não vou falar de todos os anúncios enquanto entramos em alguns detalhes mais aprofundados sobre o Windows. Uma das coisas em que eles realmente se concentraram foi no uso de modelos de IA locais e híbridos. E uma das coisas que Kayla mostrou — a Kayla faz parte da minha equipe. Ela também trabalhou na equipe do Windows Terminal. É gerente de produto na equipe do Windows Terminal — foram modelos de programação de ponta executados localmente na sua máquina.

30:08 Então, há algumas coisas. Nesta máquina, o que eles estavam comentando era: usar um AI Code 1.1 Flash, junto com modelos Nematron, e também o DeepSeek V4 Flash. Esse modelo tem 137 bilhões de parâmetros no total e 6,8 bilhões ativos. A Nvidia tem um modelo de 70 bilhões de parâmetros, quantizado para dois bits, reduzido a 20 GB de memória. O DeepSeek V4 Flash é um modelo de 284 bilhões de parâmetros. Então

30:39 Há todas essas coisas que vão rodar localmente no RTX Spark, o que é incrível. Obviamente, imagino que isso dependa de quanta RAM você tem. Aliás, você vai querer toda a RAM possível. E eles estão otimizando modelos para basicamente rodarem nessas máquinas. Claro, você pode rodar esses modelos localmente, mas também precisa de ótimas ferramentas para executar coisas localmente. E é aí que entra a integração novinha de modelos locais no GitHub Copilot, com duas novidades específicas. Uma delas é que a Kayla mostrou algo como

31:10 roteamento automático para modelos locais; especificamente, isso se transformava no modo de eficiência, e o modelo — o roteador — pode encaminhar automaticamente para um modelo local no disco. E esse modo de eficiência tem um íconezinho de folha, que é muito fofo. >> Certo. >> Mas o que eu acho ainda mais legal é o suporte ao Hydrofusion, sobre o qual fizemos um podcast inteiro. O Hydrofusion pode então decidir delegar tarefas diferentes a modelos locais diferentes

31:40 no disco e tomar decisões para otimizar o uso de tokens em tudo. E isso vai estar disponível basicamente em tudo, de fábrica, junto com todo aquele isolamento em sandbox que acontece. A Kayla fez uma demonstração muito boa: “Olha, fiz este repo e agora estou fazendo estas investigações. Posso estar usando um modelo de ponta na nuvem, e então ele pode decidir delegar localmente, conforme necessário, essas tarefas diferentes e executar subsessões.” Ela também mostrou

32:13 Acho que ela também mostrou automações. E, na verdade, isso é realmente genial. Eu estava conversando com a Kayla sobre como ela usa modelos locais na máquina, e ela disse que grande parte do que faz é… Sim, ela faz isso. Quando pensa: “Olha, estou prestes a fazer algo que vai demorar um pouco, e não me importo muito… Quer dizer, o tempo até o primeiro token é importante, sabe? E também o tempo até os tokens voltarem. Mas, se ela pensa: ‘Olha, eu sei que meus modelos locais nunca vão rodar tão rápido quanto agora se eu estiver usando, tipo, o Luna para fazer algo. Só que, se estou pensando: “Olha, estou prestes a entrar numa ligação e tenho meia hora, uma hora, seja o que for, ou a noite toda para executar processos longos, que diferença faz se está rodando localmente na minha máquina ou na nuvem, certo? Além de eu economizar um bocado de dinheiro.”’”

32:45 hora, uma hora, seja o que for, ou a noite toda para executar processos longos, que diferença faz se está rodando localmente na minha máquina ou na nuvem, certo? Além de eu economizar um bocado de dinheiro.” E ela disse que, na verdade, tem várias automações configuradas para rodar toda noite à meia-noite, quando o computador fica parado, sem mais nada para fazer, e não está processando nada; elas usam modelos locais para fazer um monte de triagem de issues, triagem de bugs e suporte, como esses workflows automáticos que podem então

33:16 iniciar novas sessões ou fazer um monte de processamento. E ela diz: “Agora tudo isso é de graça para mim, certo?” Ela também mostrou, sabe, os exemplos do Hydrofusion. Pode começar com um modelo na nuvem, passar para um modelo local e voltar para a nuvem. Pode alternar entre eles, mas vai descobrir o que precisa fazer e quais modelos locais você tem disponíveis, o que é muito louco de imaginar. Então, não sei se ela mostrou isso, mas o que ela estava realmente mostrando é que agora você pode, para todos os efeitos, simplesmente ligar algo assim, ativar o modo avião e pronto, certo? Então. >> É.

33:48 >> É muito legal. Mas seu computador vai esquentar durante esse processo, prometo. >> [risadas] >> Então, você pode usá-lo como aquecedor. Sabe o que é? É libertador. Talvez você não passe por isso, porque acho que tem tokens infinitos. Mas, para quem tem uma quantidade limitada de tokens, estou sempre preocupado, sempre acompanhando quanto uso ainda me resta. Estou acima do meu limite, sabe? Estou sempre olhando a data. “Ah, é dia 10, o mês tem 30 dias, então eu deveria estar em 30%.” E fico fazendo essa conta idiota

34:20 de cabeça. Mas, quando você usa um modelo local, mesmo um bem ruim, é muito libertador, porque pensa: “Ah, posso usar o quanto quiser. Posso deixar essa coisa funcionando e consumindo energia quando eu quiser. Não tem um reloginho no fundo da minha cabeça gritando: ‘Ei, não faça esta tarefa, porque você quer guardar seus tokens para aquela outra tarefa’, ou coisas assim.” Quando você tem um modelo local, pensa: “Vou usar, e vou… É.” Até os melhores modelos que existem, eu estava

34:51 gritando com a Astra, e ela estava consumindo todo o meu crédito do mês em tipo duas horas quando eu a uso ao máximo. E mesmo assim eu grito com ela, tipo: “É, esse botão é feio. Você deixou seu botão feio. Devia ficar melhor que isso.” E percebo que grito com meus modelos ruins e locais tanto quanto grito com a Astra. Então, eu prefiro gastar eletricidade aqui em casa e gritar com o modelo a ficar preocupado com a quantidade de tokens pelos quais estou pagando nos modelos da nuvem e tudo mais. Então,

35:23 se você ainda não teve a sorte de experimentar modelos locais, não quero dizer que eles sejam tão bons quanto os grandes modelos da nuvem, porque não são. Definitivamente não são. Mas o que eles são é libertadores. Você simplesmente não sente culpa nenhuma. Pensa: “Vou usar este modelo. Talvez esteja num avião. Não viajo tanto de avião hoje em dia, então tudo bem. Não me importo com o cenário do avião.” Mas o que me importa é não ficar preocupado, não ter que pensar nas minhas cotas nem em nada disso. >> Estávamos ali fazendo essas demonstrações, e um dos apresentadores estava iniciando um desses modelos e simplesmente deixando-o rodar

35:56 por uns 30 minutos. Depois de 30 minutos, eu tinha um editor de vídeo completo e pensei: “Legal, aqui está.” E tudo estava em modo avião. Pensei: “Sério?” É meio louco e, como você disse, muito libertador; e, sabe, uso de tokens: zero. Acho que você precisa… É uma combinação, certo? Você precisa usar o modelo certo na hora certa e, especialmente, para esses processos longos. Tive uma sessão que rodou por 100 horas, sem parar. Sabe, eu estava processando, testando algumas coisas e deixando a coisa trabalhar, certo? E isso é uma combinação de modelos de ponta, modelos locais e todas essas outras coisas, alternando

36:27 entre eles. E acho que esse é um cenário muito singular em que pensei: “É só configurar e esquecer.” Sabe, vou estar em San Francisco; é só deixar rodando. Nem sequer estou com este computador. Meu computador está em casa. O que estou fazendo? Nem estou verificando como está. É piloto automático, YOLO. Vou voltar e ele estará lá. Está em sandbox. Está pronto para funcionar. E acho que esse é um cenário muito interessante. Quer dizer, outra coisa que anunciaram, mas na verdade não mostraram… Quer dizer, mostraram, mas eles têm essas coisas que parecem torres de supercomputadores de IA. Não sei se… Não

36:59 sei se Satya as chamou de fábrica de tokens ou algo assim. Esqueci o que ele disse. Algo parecido. Mas, basicamente, são servidores enormes, uma espécie de torres de servidores, sabe, estações DGX, que são essas estações enormes que agora estão falando em executar Windows. E, aparentemente, elas usam um chip GB200 Grace Blackwell Ultra, numa estação de trabalho DGX. Diz que ela pode liberar potência para executar modelos de ponta, de Llama 4 Maverick, Kimik K26 e DeepSeek 4 4 V4

37:30 Pro, e mais de um trilhão de parâmetros nessas coisas. Meu Deus, isso é loucura. >> Os executores de modelos de nível profissional. Talvez um dia eu consiga um de 10 anos. Seria legal, mas acho que teve um momento fofo durante a apresentação em que eles estavam relembrando a indústria de computadores, e disseram: “Você se lembra de quando o ChatGPT foi treinado em um DGX 1? Você se lembra daquele DGX 1?” E eu pensei: “Gente, isso foi há uns 3 anos. Não faz tanto tempo assim.” Eu pensei:

38:03 “Eu ainda daria tudo por aquele DGX.” >> É. >> E eles agiam como se fosse tudo hardware velho. Diziam: “Ah, nós só temos aqueles. Colocamos eles no pasto, atiramos neles e deixamos para os abutres.” >> [suspiros e risadas] >> E eu pensei: “Gente, eu aceito o DGX velho de vocês. Satya, Frank vai aceitar o DGX velho de vocês. Tudo bem. Tudo bem.” >> É. >> [risadas] >> Bem, há algumas outras coisas no Windows, no próprio Windows. Há muitas coisas relacionadas a desempenho, otimização da busca, tornando a busca a coisa mais incrível do mundo. Acho que eles se concentram bastante

38:34 nas melhorias que estamos fazendo no núcleo do Windows, em como estamos tornando-o uma espécie de sistema operacional que prioriza agentes. E achei muito legal como os agentes estão profundamente integrados. Também acho interessante como estão desenvolvendo o Copilot. Especificamente em torno dessa ideia de que você tem esse modo doméstico, o Copilot e o piloto automático. E o modo doméstico é basicamente: estou no meu computador. Tenho o contexto que é meu — neste caso, estou no nosso modo de consumidor, certo? Quero escrever documentos. Quero fazer coisas. E quero estar seguro. Não quero simplesmente sair por aí, sabe, fazendo o que der na telha

39:07 e mandando informações de contato para qualquer lugar. Mas, basicamente, o Copilot pode entender conteúdo relevante no PC, incluindo arquivos, atividade recente e contexto local. E o legal de acessar essas coisas é que ele também pode recorrer a ações locais. Assim, pode agir em seu nome. Pode organizar arquivos, diagnosticar o dispositivo, solucionar problemas. Obviamente, pode programar. Pode executar workflows. Basicamente, pode fazer qualquer coisa que você quiser. E fico pensando nesse tipo de coisa como a próxima geração de ações, algo na linha dos atalhos. Mas também pode recorrer a modelos locais em execução

39:38 no seu dispositivo. Então, quando acessa essas coisas, consegue usar os mesmos modelos que você talvez esteja usando para programar ou para outras coisas e realmente realizar esse trabalho. O que é muito legal. Eles estão falando sobre esse suporte híbrido à inteligência, com MXC integrado. E também sobre a ideia de que você vai ter esses agents pessoais, autônomos e de longa duração. E, quanto ao que as pessoas estão fazendo, na verdade, o que eu costumo fazer no trabalho é usar o Copilot, o Microsoft Copilot, para todos os efeitos, para reunir um

40:12 monte da inteligência relacionada ao meu trabalho. É algo que eu faço. Estou planejando agora várias iniciativas de defesa do Copilot, do GitHub Copilot, certo? O que vamos fazer para cada um dos próximos trimestres e depois no segundo semestre? E o que eu precisava fazer era acessar meus e-mails, minhas mensagens, meus arquivos no disco e essas conversas; também precisava acessar outros documentos de planejamento, juntar coisas, olhar as notícias mais recentes na internet, trazer informações e, depois, transformar tudo isso em documentos, revisões e outras coisas, além de mensagens, e

40:46 enviar coisas e fazer acompanhamentos. E isso é algo que realmente estou fazendo no trabalho, algo que eu não fazia tanto assim há 6 a 10 meses, mas tenho tentado fazer muito mais desses processos conforme essas ferramentas melhoram. E também me pego fazendo isso com frequência demais: no aplicativo Copilot, o que acabo fazendo hoje é — estamos fazendo muitos projetos em casa, certo? E estou fazendo muitas avaliações de empreiteiros e todas essas outras coisas. Agora mesmo, estou arrastando e soltando arquivos em uma coisa e fazendo… Eu adoraria poder simplesmente fazer boa parte dessa

41:18 integração no Excel e em outras coisas, dentro deste espaço de trabalho. Estou muito empolgado com a evolução disso e com a forma como esses agent harnesses estão funcionando. Não sei se já cheguei lá. Não sou exatamente uma pessoa do OpenClaw ou do Hermes neste momento. Uso essas ferramentas de alguma forma, mas estou começando a me interessar, acho, quando vejo como outras pessoas trabalham. Não estou muito interessado em dar todos os meus dados à Meta. Todo mundo está muito empolgado com o Muse. Não tenho o menor interesse em dar todos os meus dados à Meta, certo? Não estou interessado nisso de jeito nenhum.

41:52 Tenho muito interesse em modelos locais que consigam fazer computações sobre as minhas coisas, como no Apple Intelligence, certo? Aqueles modelos que rodam localmente no seu dispositivo. A Apple está nessa tendência dos modelos locais e, sabe, tem tentado desenvolvê-la nos dispositivos mais recentes e nos sistemas operacionais mais recentes. E gosto dessa ideia de algo híbrido. Acho que… não sei. Ainda não testei o Apple Intelligence nem o macOS 27 na minha máquina, que está aqui comigo. Mas

42:22 pela minha experiência com o que vi quando observei pessoas tentando usar a Siri, elas faziam uma pergunta e, então, ela dizia: “Ah, não consigo fazer isso aqui. Vou para a nuvem.” Isso é quase híbrido, certo? Só que você está executando essas ações. Neste caso, o modo híbrido é automático. Ele consegue fazer essas coisas inteligentes localmente ou remotamente e configurar isso para você. Acho que o mais importante que a Apple acertou, e que vou querer observar nessa experiência, é ativar tudo de forma simples, com um único clique. Acho isso realmente

42:53 importante. No Xcode, no seu Mac, no seu iPhone, você diz: “Quero usar o Apple Intelligence?” E responde que sim, e pronto. Você não precisa se preocupar com qual modelo está usando, o que está fazendo e coisas assim. É isso que eu gostaria de ver nessa experiência: se você quiser escolher os modelos nos mínimos detalhes, fique à vontade. Mas vamos oferecer vários modelos predefinidos que sejam realmente bons em certas tarefas que você já vai fazer localmente de qualquer forma, como trabalhar com texto, imagens ou processamento de perfil.

43:28 >> Sim, com certeza. E você acertou em cheio. Preciso dizer que acho que nenhum dos dois sistemas operacionais chegou lá ainda. Porque, idealmente, no futuro, assim como posso escolher qual mecanismo de busca quero usar no navegador — posso simplesmente dizer para usar o Google ou o Bing, por exemplo —, eu gostaria de poder dizer, na Siri e no Apple Intelligence, ou na Siri, ou no Windows ML: “Aqui está um modelo que baixei do Hugging Face. Use-o para tudo. É esse o modelo que quero que você use. Quero que você

43:58 o use localmente. Não registre nada em nenhum lugar. Este é o modelo.” Mas, infelizmente, no momento ainda estamos na situação em que a Apple lança um modelo. É o modelo que vem com o sistema operacional. O modelo que vem com o macOS 27 e o iOS 27 é diferente do modelo que vinha com a versão 26. E acho que o Windows também vai ficar nessa situação por enquanto. Além disso, o Windows está numa posição muito boa, porque preciso dizer que a Apple ainda deixou a desejar um pouco com a Siri. Uso há algum tempo. Não estou impressionado. Eu estava argumentando

44:29 com ele a tarde toda, fazendo perguntas. E eu queria que ele dissesse algo como você falou, tipo: “Ei, vou usar o ChatGPT ou algo assim agora.” Não, tudo que ele continuava dizendo era: “Não entendi muito bem. Quer tentar de novo?” E eu pensava: “Não, você claramente recebeu o texto. Estou vendo. Você imprimiu o texto bem aí. Você recebeu. Só não está fazendo nada com ele.” >> Então, por algum motivo. E isso não faz sentido para mim, porque sei que uso o modelo local. É… >> É. >> Tipo, ele consegue fazer essas coisas. Então, não sei. A Apple está pisando na bola. Acho que esta é uma oportunidade perfeita para…

45:02 a… não sei, o Windows alcançar a concorrência, ou até ficar bem à frente, porque a demonstração que fizeram do botão Iniciar e da busca — eles diziam que é mais rápido do que você consegue digitar. Sei que tem gente que digita muito rápido por aí. Então, estou curioso para saber exatamente quão rápido é, mas… >> É. >> A demonstração parecia ótima. Sei que é fácil fazer uma demonstração parecer boa, mas, sabe, o tempo dirá quando as pessoas instalarem isso nas máquinas delas. Mas acho que a Apple deveria estar na liderança, assim como o Google deveria estar na liderança em IA. [risos] Todos…

45:32 essas pessoas que deveriam estar na liderança não estão. Então, esta é uma ótima oportunidade para a Microsoft realmente avançar. E sei que eles têm recebido muitas críticas — Copilot para cá, Copilot para lá — e a marca está ficando um pouco… sobrecarregada com essa tentativa de colocar IA em tudo. Mas a caixa de busca do Windows é um lugar perfeito para impressionar as pessoas. Se você começar a impressioná-las naquela caixa, vai conquistar muita gente. Elas simplesmente vão se acostumar. Você vai estabelecer um novo patamar, um novo padrão para o que o computador deve ser capaz de fazer. E…

46:05 tomara que um dia o Mac alcance isso. >> [risos] >> Pelo menos aquela demonstração. >> Bom, acho que, se os usuários estão começando a se acostumar com esse aspecto — quando você pesquisa algo no Google ou no Bing, ou em alguma caixa de busca, e começa a receber esses resumos de IA e a fazer perguntas de acompanhamento para a IA —, você começa a se acostumar com isso e quase quer que essa seja a experiência padrão. É quase como olhar para o futuro e pensar: “Tudo bem, será que as pessoas já chegaram a esse ponto?” Esse é o problema: você tenta cedo demais, ou é um dos primeiros a chegar lá, sabe? Vai levar muitas iterações até acertar, e talvez você deixe muita…

46:35 gente irritada e deixe algumas pessoas felizes e, sabe, talvez você consiga acertar — tomara. Mas vamos falar da última coisa. >> Certo. >> Tem muitas… provavelmente há mais coisas que poderíamos abordar, mas, neste momento, o que mais me empolga não é um laptop. >> Frank Kerrigan. >> Certo. >> Aham. >> O que mais tem? >> PlayStation 2. Não, é um produto novinho em folha. É um produto novinho em folha… É meio que uma mistura de Xbox com PlayStation 2 Slim, que é o Surface RTX Spark Dev Box, e tenho quase…

47:10 certeza de que mostraram isso no Build. Acho que tenho quase certeza de que estava lá; se não estava, bem, tinha alguma coisa lá. Mas… certo? Acho que estava lá. Para todos os efeitos, este é muito parecido com o Ultra. No entanto, há uma única configuração: você compra uma, recebe uma, é isso. >> Um preço. >> Uma configuração. E acredito que ele vem, por padrão, com uma experiência do Windows 11 pronta para usar, voltada a desenvolvedores. Tipo, é uma imagem especial feita para desenvolvedores. Não sei…

47:43 o que isso significa, mas foi o que disseram que era, que essa era a proposta. Tenho quase certeza de que é isso. Mas ele tem a mesma GPU com 6.144 núcleos, CPU de 20 núcleos, a maior. São 128 GB de memória unificada LPDDR5X e o maior SSD, de 2 TB, que é removível, aliás, nesta belezinha. E essa máquina é simplesmente linda. É um PC de mesa grandinho — não enorme, mas meio grandão — e começa em…

48:17 >> 6 mil dólares. >> Cinco. É, [risos] cinco mil e quinhentos e noventa. >> Isso. >> Mais o imposto dos EUA. >> Dólares americanos. >> Já segurei um. É lindo. É fantástico. E, sim, é exatamente o que eu quero. Sei que não tem tela, Frank, mas os nossos Mac mini também não têm tela. E eu publiquei no Twitter, depois do evento, que oficialmente estou colocando meu Mac mini à venda. Então, eu… >> Ah, tchau, James. >> Isso. >> Traidor. >> Cansei. Cansei.

48:48 >> É maior. É maior, no entanto. Não chamaria de mini. Ele… parece ter mais ou menos o tamanho de um laptop. Você já segurou um? Já viu pessoalmente? >> É, já. Eu segurei na mão. A questão é: as especificações técnicas… >> Claro. Claro. É, não se preocupe com isso. Está bem, sim. Eles têm fotos. Colocaram ao lado do laptop e parece ter mais ou menos o tamanho dele. Parece uma panqueca gigante. É… definitivamente… >> [risos] >> O que eu aprecio é que eles não estão copiando o design do Mac Studio nem…

49:19 nada assim. É um design bem único. Parece mais um videogame de mesa do que qualquer outra coisa. Sua referência ao PlayStation 2 foi bem certeira, eu diria. Minha maior dúvida é: onde estão as ventoinhas dessa coisa? Porque, de novo, uso minha GPU como aquecedor. Preciso de ventoinhas nela para distribuir o calor pelo cômodo inteiro, de modo que, enquanto treino redes neurais, também possa me aquecer neste inverno. Esse é um recurso muito importante. Então, estou curioso para saber como essa coisa conduz o calor. É, eu só estava… porque ela é bem fina. Sabe, é meio que de dois andares. A parte de baixo é…

49:53 menor que a de cima, que é maior. É toda em formato de cogumelo. >> [risos] >> E foi um pouco confuso entender onde colocaram todas as ventoinhas e tudo mais. É linda. Eu adoro. Ela me lembra os antigos computadores da Sun Microsystems. Não sei se você se lembra de algum deles, dos primórdios da internet. Tudo bem, deixa para lá. Minha maior reclamação — porque eu estava comentando com você antes de começarmos a gravar — é que, por mais ou menos o mesmo preço, ela custa quase o mesmo que um laptop com a mesma configuração, mas você não recebe uma tela, não recebe…

50:24 um teclado, não recebe um touchpad. O que você recebe é cerca de 25 watts a mais de potência. Devo dizer que a fonte de alimentação do laptop é de 140 watts, e a desta belezinha é de 165 watts. Ainda acho isso um pouco abaixo do que eu gostaria, porque minha 3090 está consumindo literalmente 350 watts de potência agora. Então, ela já está usando o dobro da potência que essa máquina consegue fornecer. Agora, obviamente, este é um…

50:54 chip mais moderno. Vai ter um desempenho melhor. É um chip mais eficiente que o meu. Mas você ainda fica preso a esse limite de potência. Então, é bom saber que, com um laptop, você tem um limite de potência de 140 watts. Com este aqui, o limite é de 165 watts. E esses números importam. A física importa. Você precisa mandar eletricidade para essas coisas para fazê-las funcionar rápido. Então, é muito legal que esse computador esteja disponível. Não sei quem vai comprar um.

51:25 Espero que você consiga ganhar bastante dinheiro com seu Mac mini. Vou ficar muito triste quando você deixar de ser meu irmão de Mac mini. Vou ficar por aqui, usando meu Mac mini sozinho. Mas espero que você consiga pelo menos 10 mil dólares pelo seu Mac mini, para poder comprar dois desses. >> Eu pesquisei, pesquisei e vi que devo conseguir alguns centos de dólares com… >> Vai mesmo? >> Sim. >> Certo. Não sei, você viu? O Miguel disse que vai comprar o pacote com seis desses? >> Não sei. Não vi. >> [risos] >> Ele devia. >> Um pacote com seis dessas estações de trabalho para desenvolvimento vai ser muito legal.

51:59 >> É, estou bem empolgado. >> Não posso discordar. É só que custa muito dinheiro. >> Custa muito dinheiro. Acho que, para mim, obviamente, vou ficar com meu MacBook Air, porque faço desenvolvimento para iOS. Preciso ter um Mac por perto. Não tem como fugir disso. E o M1 ainda… Ainda é um ótimo aparelho. Sei lá, cara. Ele ainda é… >> Eu sei que há rumores de que os laptops da Apple com OLED vão sair daqui a algumas semanas. Ah, e, por falar nisso, uma correção sobre a semana passada: o rumor atual é que eles são touchscreen, aliás. Então, não sei. Disseram se o novo Ultra vai ser

52:33 touchscreen ou não? >> O Ultra é touchscreen, sim. >> É, imaginei, porque os laptops da Microsoft têm… >> O Touch Sans, sim, o Ultra, seja lá qual for o nome. >> Então, acho que eu disse no podcast que o Mac não teria tela touchscreen, e isso ainda não foi anunciado, portanto não é oficial, mas os rumores atuais dizem que, na verdade, é um Mac com tela touchscreen. Aí pensei: talvez esteja na hora de trocar, mas depois olho para ele, meu M1zinho fofo. E penso: você é tão valente, M1zinho. Acho que nunca conseguiria vender você ou me desfazer de você. Tipo, se algum dia eu derrubar você acidentalmente de um prédio de seis andares ou algo

53:04 assim, aí talvez eu faça um upgrade. >> [risos] >> Mas você tem razão. É difícil se desfazer dessa máquina. Ela valeu muito a pena pelo preço. >> [risos] >> É. Estou muito empolgado com ela. Este é meu plano atual. E, sabe, embora eu goste muito do meu Mac mini e ele seja ótimo, na verdade nem sei se aproveitei tanto quanto deveria. Quer dizer, também não vou saber se vou aproveitar a estação de desenvolvimento ou não, mas veremos. E estou animado para passar por

53:36 essa jornada a partir de onde estou agora. A parte interessante é que passei por várias mudanças com Thunderbolt 5 e isso e aquilo. Certo, será que vou passar por tudo isso de novo com toda a minha configuração maluca? Mas vou dizer uma coisa: também estou reduzindo. Meu plano é diminuir… vou me desfazer do meu monitor ultrawide. >> Certo. >> John Galloway me convenceu de que o monitor Dell 4K de 200 dólares que ele comprou nas ofertas do Big Day era o que eu devia comprar, porque ele disse que era bom. E eu disse que não tenho Amazon Prime, então você vai ter que comprar para mim.

54:07 Um monitor grátis, de graça. Então, ele disse… bom, está a caminho da minha casa, o que é ótimo, muito bom. E, me livrando dele, quero refazer minha configuração mais uma vez, obviamente. Mas é realmente complicado. Nunca senti de verdade que… Acho que, quando montava meus PCs desktop torre personalizados, como eu escolhia as peças, entendia as portas e colocava tudo dentro, ficava perfeito. Não sei se algum dia tive uma configuração perfeita de monitores, mas sinto que, quando tinha duas telas, parecia certo, como se ter dois monitores lado a lado parecesse certo por um tempo. [fungada] Mas eu… Sim, também sinto que quero simplificar bastante. Dito isso, Frank Krueger, eu poderia ser convencido a comprar um ultrawide, porque ele tem o outro monitor, certo? Eu teria outro monitor ali, que poderia usar junto com esse novo monitor 4K de 27 polegadas, lado a lado.

54:39 entender as portas. Eu colocava tudo nele, como se fosse perfeito. Não sei se alguma vez tive uma configuração perfeita de monitores, mas acho que, quando tinha duas telas, parecia certo, tipo, um conjunto de monitores de tela dupla parecia certo por um tempo. [bufa] Mas, sim, sinto que realmente quero reduzir isso. Dito isso, Frank Krueger, eu poderia ser convencido a comprar um Ultra, porque ele tem o outro monitor, certo? Eu teria outro monitor ali, que poderia usar junto com este novo monitor 4K de 27 polegadas, lado a lado.

55:13 Fico pensando nisso, sabe o que quero dizer? Tenho que comprar um suporte para ele. Preciso resolver alguma coisa. Só acho que aquela estação de desenvolvimento ficaria tão elegante ali, simplesmente parada. Vamos ver. Não sei. Quem sabe o que vou fazer, no geral, mas pelo menos é assim que estou pensando agora. Mas estou muito animado. Sinto que sempre fui uma pessoa do Windows e, quando o Mac mini foi lançado, o tamanho e a potência dele falaram comigo. E essa estação de desenvolvimento também fala comigo. Ela realmente me atrai como um mini PC esteticamente bonito para desenvolvimento, que eu quero.

55:45 E acho que vou comprar. Então, veremos. >> Nossa. Bom, sei que vou mandar vários modelos para você testar nele, porque vou ficar curioso para saber a velocidade. >> [risos] >> Então, vou fazer você testar algumas coisas. >> Acesso remoto à sua própria conta privada. É só disso que preciso. >> Transforme-o em um servidor de estação de trabalho de verdade. >> É. >> Ah, não mencionamos a parte mais importante do laptop. Antes de encerrarmos, preciso dizer: não chamem de MagSafe, mas eles adicionaram MagSafe ao laptop. >> [risos] >> Mas é isso mesmo. >> O conector USB-C mais estranho e maluco

56:17 que você já viu na vida, e ninguém acredita que funciona, mas vi vídeos na internet de pessoas fingindo tropeçar nele. Parece funcionar bem. Vamos lá, Apple. Acompanhe o ritmo. Porque é bem legal. É um design bem legal que fizeram com o USB-C: é USB-C e é MagSafe, mas não é MagSafe. Direitos autorais e marca registrada da Apple. >> É o primeiro USB-C magnético do mundo. Tenho um aqui. >> É. >> Bum. Aí está. E está sempre funcionando. >> Você já testou? >> Já tropecei nele muitas vezes. >> [risos]

56:48 >> E funciona. Funciona, sim. E encaixa na hora. É muito, muito bom. Então… >> Legal. >> É, é absolutamente incrível. Certo, pessoal, é isso para o Verge Conflict desta semana. Vão gastar todo o dinheiro de vocês com alguns novos dispositivos Surface. Estou superempolgado. Muito bom. Mas é isso por hoje. Até a próxima. Sou James Wang, da The… >> Eu, agora, e Don Frank Ruger. Obrigado por assistir e ouvir. Paz.

Transcrição original

[00:00] Welcome back everyone to Merge Conflict your weekly developer podcast talking about all things in the world of software development, AI, and new hardware. I’m one of your co-hosts who works at Microsoft, James Montemagno, and with me, the one and only who used to work at Microsoft, Frank Krueger. How’s it going, buddy? >> Oh, it’s been a while. Do they still call it Microsoft? Is that still the name? Is that trademark registered? Yeah, okay. >> MSFT, still the ticker. Tick tick. >> Hi, James. It’s wonderful to be here on your show. I This is one of my favorite weeks where

[00:30] we are going to talk about hardware. Spoilers. I know we like to ease into our topics, like talk about random stuff for 15 minutes, but I feel like we have a lot to cover this week because Microsoft’s in the hardware game, you know, like they put their toes in and then they step out of the water, like, “Ooh, that’s a little cold.” And then they get back in and then they’re like, “Eh, I’ll try it again.” This is one of their “We’re just going to cannonball into the water.” And I don’t know what you want to talk about. What I want to talk about is this big cool laptop they just released, and

[01:02] I I just want to dive into that puppy. James, have you heard about this laptop that the little MSFT company has released? >> Well, yeah. >> Little company out of Redmond, Washington. >> I have one sitting in front of me, so yes. Yes, I I I know. >> Okay. Well, aren’t you rich because man, the starting price of this thing is just as big as its beautiful screen. >> Well, >> No, there was a big hardware event, but also a software event and a local like a model event, too. It was kind of a It was like a Windows and hardware event, and to me

[01:34] >> Yeah. >> it was also kind of also somewhat a developer event a little bit, too, I want to say. >> I mean, we’re getting all the attention right now, right? Because anytime you say AI, it’s like, “Okay, business people do something with it.” I’m really not sure what business people do. I assume they just chat with it all day or something like that. Maybe it fills all their Excel sheets or something, but I think you and I have the most experience with agents and everything as developers, as I’m sure everyone listening. And we’re kind of the crowd that all the agency stuff is really catered to at the moment. So, I feel

[02:06] like anytime anyone’s talking AI, it is a little bit of um our club talking, at least for now. It’s taken over the world, for sure, but we’re the ones deepest into this fiasco called AI, SI, whatever it’s called. >> Uh well, there was two devices. One got the most attention, and the second one is the one that I’m also extremely excited about. But, I am excited that you’re excited for Microsoft hardware. I’ve been a huge fan of the Surface line of devices for a long time. They’re beautiful hardware. Frank, I’ll let you

[02:38] lead because I know all the things about this device. So, >> I’ll tell you from an outsider’s perspective what I noticed. I noticed Microsoft released and partnered with Nvidia to create a new RTX Spark, whatever the heck that is, Surface Laptop Ultra. The Ultra being very important because there’s a million Surface things out there. Laptop being important. The Ultra meaning it’s fast. They um this is an ARM chip, and you won’t believe how many web pages I had to look

[03:08] through to find out what the architecture of the chip actually was. This is an ARM chip, everyone. And it’s an ARM chip bolted to a giant GPU, or it’s a GPU bolted to a small ARM chip. Not really sure which one it is. >> [laughter] >> All crammed inside of a laptop case. And speaking as an Apple dweeb, um this is definitely a big uh competitor to the M5 and the big um big powerful Pro Max that have been coming out lately. This is Microsoft stepping into the ring.

[03:40] Nvidia joining them because we need GPUs, and they’re the only ones that can afford RAM these days. So, they’re all getting in there, releasing this big beautiful monster of a machine with a monster price tag. Let me not forget to keep saying that. But, it’s a beautiful machine. Like, you you can’t argue. Um the video they used to introduce it was very Apple-esque. >> [laughter] >> The machine itself, very Apple-esque. It’s a big, beautiful pixel sense uh 200 and let’s just go with 50 um pixels per inch. It’s high res. That’s all that really matters. It’s an HDR monitor.

[04:14] And it’s got a ridiculous number of Nvidia cores in it. And as someone who does a lot of ML still, like I train my own models and everything, it’s really cool to have actual Nvidia hardware on um on basic It’s a personal computer, I suppose. I suppose. It’s more of a workstation crammed into a laptop. But, it’s cool to have that Nvidia hardware because as much as I love my Apples, um the the metal the metal ecosystem just

[04:47] isn’t nearly as advanced as the CUDA Nvidia ecosystem. Uh the kernels are just a little bit different. Some of them are buggy. A lot of them are much slower than the CUDA world. Right now, my room is 20° warmer than it ought to be because I have my RTX 3090 crushing away on some numbers doing tensor math um using all the flops in the world, tops. I don’t even know what they are anymore. Um that’s all Nvidia hardware. That’s CUDA. That’s my happy place. You can run Python. Any model you download from the

[05:21] internet is going to happily run on CUDA hardware very efficiently. And that’s what they stuffed into this laptop case. So, for $2,600, you can get a giant GPU um somehow attached to a monitor and a keyboard and a trackpad all glued into a very fine-looking case. It’s a big price tag, but gosh, it’s a beautiful machine. How can you not be excited about it? You’d have to totally hate tech to not be excited about it. >> No, I mean

[05:51] you’re right. It is a is a is a big beautiful machine. Uh and you know, the starting price is yeah, 2700 and goes up to like almost 6,000. Um now I do agree with you like the the real core is actually like the the 32 gig RAM like unified. So, that’s going to get you like basically I don’t know, 30 3,300 or whatever. There’s a there’s a bunch of different tweaks on here. But yes, see I mean you’re right. Like it’s the

[06:23] the RTX Spark I’m looking at right here so I can get the text backs. N N1X with um it has either there’s two models for the laptop. One is 5,120 core GPU with an 18 core CPU or a 6,144 core GPU and a 20 core CPU. It’s a lot of cores, Frank. And it has I don’t know if you’ve heard of this thing called unified memory. Can you describe what that means? >> Unified memory. Uh that’s is why it’s an

[06:55] arm. I I should have known just from the unified memory that it was arm cuz I don’t know. Intel’s still not doing it for whatever reason. Unified memory means the GPU and the CPU are sharing the same memory bank. Which is a wonderful thing A as programmers because when I’m doing development, I have to um first get my data into system RAM and then it has to be uploaded to the GPU. That’s because I have an Intel system with non-unified memory. It’s a

[07:26] pain in the butt because they’re two different speeds, honestly. Like uh DDR4 usually as your CPU RAM. Some people have modern computers DDR6 five six. Um but it’s it’s usually a quite a speed difference between the two. And in the past it was graphics RAM. Graphics RAM was more expensive and faster, the stuff running inside the GPUs. Nowadays, it’s getting a little bit weird. So, you always had this very awkward programming model of you would have to really write pretty sophisticated software to keep feeding data into your

[07:59] GPU to keep the GPU hot spinning so that your room increases by 20° whenever you’re in it. That’s very important. But, it’s kind of a pain in the butt because you’re constantly having to synchronize these two basically there’s two different computers in your computer and you’re having to like synchronize the memory through it as programmers. And that was they would try to hide it from you, but like all bad abstractions, it was a leaky abstraction. And if you wanted to get high performance out of training or inference, either side of

[08:32] the ML world, you had to get really good at memory transfers. You had to fully understand all the DMA channels and all that. Unified memory obviously simplifies all that. I think it premiered on the Xbox One Xbox, maybe just Xbox. >> [laughter] >> Apple’s been doing it forever. The beautiful thing is we don’t have to do that synchronization as developers. The second beautiful thing is when you increase the RAM of the computer, it’s all just available to the graphics card. I love my RTX 3090, but it only has 24 GB of RAM. The machine has 16 GB of CPU

[09:10] RAM. So, technically, I have 40 GB of RAM, but can I use that for training? No, James, I cannot. I am stuck with 24. And just 2 hours ago, my training crashed because I ran out of memory. How apropos. >> [laughter] >> Oh, wow. Jeez. >> Unified is great for two things. A, you get more. B, it simplifies the programming model. That’s why we all like unified memory. It’s important. It’s the future. Some would say the past if an Apple user. >> [laughter] >> Yeah, and I think that’s one thing that Apple’s called out a lot in the the M

[09:42] series, the unified memory between the CPU and GPU. And it’s kind of the architecture that is kind of like moving forward. Enables a lot of scenarios. And yeah, so this thing goes anywhere from 24 gigs of LPDDR5X unified memory up to 128. And it also goes up to Uh it says a rem- uh removable. I know that’s the dev box as a removable. Is it >> Is the Surface Laptop one removable? >> I think the laptop had screws for the hard drive also, if I my eyes weren’t I couldn’t tell cuz they had a really smooth um video where they the whole

[10:15] machine explodes, and I couldn’t tell what you’re allowed to explode yourself and what you’re not, but it looks like you could unscrew that hard drive >> It says removable. Says removable solid state drive Gen 5 SSD, the Gen 4 for the 512, the Gen 5 for the 1 TB and 2 TB. Yeah, the resolution of the screen is 3270 by 2180, 262 PPI on it. Um a 3x2 ratio, like all the other Surface devices, HDR, all that stuff that’s on there. But I think in general yeah, it’s a it’s a as you saw like a super gorgeous device. And it’s a really

[10:48] high-end device. I think what Pavan was saying was you need device for creators. And that kind of like harkens to what Apple originally had like with the Pro model of devices. And now they saw the obviously the Pro and the Studio models, but then they did uh delineate them with the specific like chips like your Pros and your Max chips that are out there. And you know, by the name of this, the Ultra, you know, that is more than what the like Surface Laptop and the Studio would be. This like they’re saying this is the Ultra, this is the top top to the top end that you

[11:22] can get for creators. And they showed a lot of different scenarios, specifically of running a lot of local models. We’ll talk about local models and and training and things. But, a lot of different developer workflows, creator workflows. Um there was one specifically that they showed about an artist that does a lot of um like different um um artwork, you know, kind of like mock-up artwork of space and stuff that you and I you know, gel with that’s kind of very like Firefly-esque. Um Serenity-esque, but

[11:55] like that type of that world is the kind of like um you know, illustrations. And he was running it through all of these different models that once he had drawn drew draw the the base of it then he could run it through all these models like locally like five different local models, some cloud models, whole do a whole screen, go through Blender and do all this work all locally. He was like things that used to take me like weeks now take me like a day to do like all on this device like with the power of it and uh it it’s not just these models, but also the

[12:26] um they’re talking about super Neumotron and then also the MAI code one flash model, which is 120 gig uh 120 billion parameter model um running locally on these devices and I think that’s like super crazy impressive. Um I’m still running having a hard time running any models on my you know, M4 Pro uh 64 GBs. I I I can do it. It’s just a struggle. That’s all I’m saying. >> I it’s going to be a struggle. I mean, except for MAI, it’s going to be a struggle with everything. Running a

[12:58] local model sadly it’s a little more complicated than it needs to be. But, you hit the um nail on the head because you can make the most beautiful machine in the world, but you need to have good software to run it. And that’s kind of what I was saying about the um the uh CUDA Nvidia world. That’s the one nice thing about that world is uh there’s a lot of AI software out there tuned to it, but it’s not just that. It’s video production software is tuned to it. Nvidia not only is a large

[13:29] profitable company, but it turns out they’ve taken over a lot of the software ecosystem. So, a lot of your high-end plugins for things take advantage of all these Nvidia chips. Um we shouldn’t forget gaming. This is going to be a monster gaming device, but I don’t know what gamers are going to spend 20 >> They they they showed gears running on it while they were doing all this stuff. >> Yeah, it’s definitely more for the creator crowd. If you’re doing like a lot of CAD, if you’re doing movie production, all that stuff. Things that can take advantage of these ridiculous

[14:00] GPUs they’re putting in there. But yeah, building up that software ecosystem is difficult. So, being with Nvidia, they’re lucky. They’re they’re just inheriting a bunch of software that’s just going to work with it. But then they made a bunch of enhancements to Windows also that’s going to take advantage of it. The one that I found kind of interesting was and I you’re going to have to help me here because I could never quite remember its name, but there’s machine learning on Windows. It’s kind of the equivalent of Core ML on the Apple side where you can kind of recompile your models to run nicely on

[14:32] Windows and I believe like ONNX models, ONNX models, which is an interchange format, has like native drivers to run officially on Windows. So, it seemed like a big part of this announcement wasn’t just this hardware, but all these software upgrades to Windows specifically for being able to run these more advanced um scenarios more easily cuz you could always do it. Like I’m saying, you could always hit torch up in Python and get these things cranking. But it wasn’t easy. It wasn’t fun. And so, I think and you had that experience

[15:03] on Mac. So, getting these things to be easy to run this important. >> Yeah, and that’s what it was specifically. So, the there’s a big blog post on the Windows experience blog, which is um is it to power this. So, Windows ML is a name of it. >> Thank you. >> Is a scalable runtime to play model across GPU, NPU, and CPU. And then they announced uh support for llama.cpp uh giving developers more open source choices and also PyTorch um as well for Windows ML. So, PyTorch and

[15:34] also llama.cpp bringing those directly into it um which is pretty rad. So, in general what that looks like they have a diagram on this website is like like your native app or web app, there’s like a custom open source model for ONNX, PyTorch, or GGML goes into Windows ML and then inter- interlaces with the Windows silicon environment whether it’s Intel, Qualcomm, AMD, or Nvidia and then that accesses the GPU, NPU, and the the CPU, too. >> Yeah, and let me kind of break this down as like a practitioner of ML, you’re

[16:07] going to use your PyTorches and Nvidia CUDA stuff to develop ML stuff. And it doesn’t even have to be large language models, it could be all sorts of things. It could be the imaging stuff, it could be audio stuff, it could be video stuff. But that’s going to be like your development environment. Uh llama.cpp is very nice for the nerds out there who are building their own harnesses and um development environments and everything that are going to be executing these models because a lot of the open source models out there come in llama.cpp

[16:40] native formats, GGML. And so you’re just going to need that file format and something that can execute that file format. That’s why it’s a big deal that llama.cpp comes out. But as app developers, if you actually want to deploy this stuff, you really honestly don’t want to use either of those um because deploying torch in Python is gross and annoying. Uh llama.cpp is just hard to keep up with, it’s it’s a moving target. That’s where the nice Windows ML, it’s nice to have a stable deployment target. And in

[17:12] the past it was ONNX, but ONNX has um ONNX is kind of just the file format, so there can be different engines that execute those ONNX models. So, as developers, if you want to add custom ML stuff to your software, you want to be deploying with something stable >> [laughter] >> and platform approved. And that’s where like Windows ML comes into play. So, it’s it’s all those different areas like from development up to nerdy stuff or you’re willing to get your hands a little dirty up to this is the clean polished rosy path forward deploying your things.

[17:45] >> And it says here, you know, they’re contributing back to llama.cpp and in partnership with NVIDIA to your point here in the broader community, they’re delivering a bunch of performance improvements to llama.cpp and GUF support in the format through CUDA kernel optimization, internal fusion, improved CPU GPU scheduling, weight repacking, and CUDA graphs. That work also adds Eagle 3, MTP, and D flash 2 speculative decoding, multi GP execution, NVFP4, new model architectures, and back-end samplings.

[18:17] All sorts of stuff. I don’t know what any of that means, but sounds cool. >> [laughter] >> I could tell you every single one of those, but all you need to know is that’s the modern stuff invented to make these things fast. We’re just trying to go fast. That’s all we’re trying to do. Um it’s easy to train these things, but making them fast. But it’s funny, that’s not actually how the presentation started. They didn’t start with fast. No. What did they start with? Do you remember? >> Well, we started mostly with I think I think Kayla was the first demo. Was she the first demo or the second demo of the day?

[18:47] >> Even earlier, I think it was safety and security, James. So, it was it was actually, yeah. So, I think Satya said uh safety was actually the very first thing that he mentioned. I’m not really with him. I say throw caution to the wind. Let these things have full disk access to your computer. Give it every login you have. Allow it to use all the memory in your house, you know, just put RAM inside the computer and turn the crank until it has enough RAM. That’s what I think, but who am I to argue with Satya? And what they

[19:21] announced was the Windows containers support. I don’t know, was it in like a beta or something because they made a big deal like it sounded like this was almost kind of like an official release or something. So, is that what happened? >> So, it was in preview at Build we announced the Microsoft execution containers MXC and MXC specifically you know, works across Windows, Mac, and Linux. And what it does is it gives basically process and session isolation.

[19:52] And obviously on the different operating systems it’s going to use different sort of, you know, container sort of systems that are there. Obviously on Windows because it’s the stack that they own, right? They can go a lot deeper on it. So, on Windows it has like a lot deeper process and session isolation through, you know, actual like MXC locally with like these like one-off process isolated sessions. It also now supports WSL C virtual machines and also Windows 365

[20:22] for agents, which is really cool. And I actually was demoing this myself the the day before, so I’m very in tune with it. And actually by demoing it, you know, you I’m actually in love with this more than ever. So, it was actually really cool that it was the first thing because I had I had been And this is just sandboxing people. So, we did heard about sandboxing before and like VS Code and the Copilot app in the CLI. But MXC now actually is rolled out across Code X, Copilot, Open Claw, Replit, LM Studio,

[20:54] Open Shell, OnSoth AI, and bunch more that are coming out that are releasing support now that this thing is GA, which is super big because the standardized support kind of gives to us developers it’s actually just an open source library that you can integrate into your application to provide this functionality like everyone else has. And then as users, we get this sort of really um really uh rich features and capabilities. So, you can think of it as you’re able to control disk access and

[21:24] network access, um clipboard access, all these other things that you’re able to really get fine-grained control on. Um and you know, what the first thing I did was I’m like, why does why ever would it I want to give, for example, the CLI, VS Code, or the app access to my OneDrive, my work OneDrive. So, you can just say, “Block this folder.” Just like you never need to go to my OneDrive, that’s my business stuff, right? So, you’re there. Now, a lot of these sandboxes are really nice. So, it’ll be like, “Hey, I’m

[21:55] trying to access this file. It’s in a sandbox, you know, it’s a shakedown. Am I allowed to?” And you can break out of the sandbox if you need to. There’s always those gates, just like, “Do you approve this thing or not?” Now, auto approval on this thing, it needs this human interaction to do that. And it would like turn it off for that call and then turn it back on and back and forth, which is fascinating. But that’s up to the client, that’s up to the app developer to enable that functionality. Now, the real cool part about it is that most of the apps today are doing process isolation. So, that means for most intense purposes, and that can be that could be like a 5-second boost up to

[22:27] like they could have a process that’s running that’s isolated. So, when you boot up Code X, like every session has its own process that is then isolated. But you could make it so you make a request an agent, and as soon as that that turn is done, you kill it, right? You could do that as an option. Normally, even with the CLI or VS Code, it has a process that’s running that’s sitting there for each of the sessions, and those are in isolated process uh there. However, the thing that’s even the cooler than that is session isolation. And

[23:00] session isolation is cool and because Open Claw has it integrated today. And what session isolation does is it actually gives a full like user isolation for that application running. So, the Open Claw that is running, the agent that is running in Open Claw has its own basically user account and its own user folder that you can peek into, but it can’t poke out to. Which means every process that is spun up

[23:34] in the session of the app, like the entire app, is running as its own separate user account, which is 100% then isolated from you. And that’s like built into this thing. And that is like super crazy cool, actually. I thought that was like really, really neat. Um and I’ve just like really fallen in love with it, funnily enough, because I was demoing it nonstop and I was like, “Oh crap, this is like really cool, you know, in general.” You know, and then then you can have like a wow list and deny list and read only, write only, all these things. The only problem is you really got to set it up. You know,

[24:06] that’s the main problem in general. However, what I’m, you know, really thinking is, “Okay, let me have some standard defaults, such as maybe don’t be able to do this stuff in my OneDrive folder or your Dropbox or whatever, you know what I mean?” So, just some like default standards, but you could imagine in the enterprise this is like crazy important. And then they showed a bunch of other Windows features of like really deeply integrating these things where really agents almost really have their own identities on their on your machine, uh which is like so cool. >> Which is right, you know, Unix invented

[24:39] this in the ’70s. Yes, user accounts are good and they can be used for other things other than users. That’s a just a good isolation mechanism. So, it’s good to see it actually extending. Honestly, I have a little bit of mixed feelings here because I think with any new security model, there is that time to figure out what should be the defaults and whatnot. You know, still every time I open a session in VS Code, it has to ask me permission to like read something from Microsoft. I’m like, you can you can use the microsoft.com website. It’s fine. It feels like no matter how many times I say allow, a new security model

[25:13] gets introduced and that allow is turned off or something like that. So, >> Yeah. >> as a user I get a little bit frustrated with there’s a little bit of theater with our security and there’s a little bit of real security with our security. And I understand those differences, but it can still be frustrating to find that fine line between them. And I totally understand from the enterprise standpoint why they want it, but some of that stuff coming back onto real users, it’s a bit frustrating. >> Yeah. >> talking about Windows Vista, like that we were the first ones to add the annoying pop-up dialogues. Hey, do you

[25:45] really want to do this? Do you want to give permission to do this? And it took off quite a few versions to get those dialogues refined and I feel like we’re still just in that annoying stage, but hopefully with MCX coming out and everyone kind of consolidating on it, we’ll have some A, better defaults and B, just I can just say, “Hey, yeah, here here’s a whole set of directories on the computer. Go have fun. I don’t care what you do over there.” >> Exactly. And I do think that this is going to be ever important as these agents are sort of like autonomous agents running on machines separately,

[26:17] like you said, you know, it’s like, “Hey, this thing is just running over there.” And it’s I’m not even like I don’t even know what’s going on, right? And you really want it to be its own separate isolated process. Yeah, MXE stuff was really cool. I really like I really dug it. I was super excited about it and just how easy it was. And now that I’ve dug deeper into actually using it a bunch, it’s definitely worth checking out. And there’s like definitely some smart defaults. I think the problem is like if you have sandboxing and then you have like there’s a few things, right? So, for example, there’s there’s like sandboxing to say, “Hey,

[26:50] listen, I want you to run all my terminal commands in a sandbox.” That is one thing versus, “Hey, network, dick disk access, things like that.” Cuz the problem we run into as app developers is, “Hey, I need to do a .NET build. Oh, .NET’s not installed in the sandbox.” >> Yeah. >> Right? And you’re like, “Okay, that’s a problem.” Whereas, what I’m talking about is more of permission-based sandboxing for for for accessing locally on your machine. So, I do think when we think sandbox is a pretty loaded term, but what I was at least setting up as my

[27:25] defaults for MXC as far as like file and network access, which network access for me is pretty much like, “Yeah, it’s fine.” But, um you could imagine an enterprise, you could just say, “I only want to access like local things. I don’t want you to go out to the internet.” That’d be probably like important for them. But, there’s this. And one of the one of the cool parts is like it also like proxies the access through that. So, for example, I had this demo that was, “Hey, can you go get me a list of like my GitHub issues or whatever?” And it was going to use the GitHub CLI to go do it.

[27:59] But, the GitHub CLI is running inside of the sandbox with the sandbox networking, which then blocked it cuz it can’t access GitHub because I turned off network access outside of it on this project. So, it’s kind of interesting in that regard. So, I think there’s this fine line of like, “Okay, what am I what things am I doing versus like I just want to build a project, like just run it on my machine?” Cuz like I have all this stuff on my machine and not in the sandbox, and that’s what kind of is right. Thing versus agent versus like developer build tools. Like those two

[28:30] worlds need to kind of like >> Right, but I I feel like we’re we’re the first beta testers of all this agent stuff. All the other other industries, they’re still in the chat world, you know? They’re they’re still doing everything at the chat prompt level. We’re the ones doing the agent and craziness, let it take over my computer stuff. And that line it still is a shaky line. Like just yesterday it couldn’t build my app. And I’m like, why can’t you build that app? They’re like, “Dot net restore is stalling.” I’m like, “Why would Dot net restore stall?” They’re like, “Cuz I don’t have network access.” I’m like, “Oh, okay. Why did it

[29:02] take A, why did it take me three Y’s to find out you don’t have network access?” And B, I’m like, “Why don’t you just enable network access?” And it’s like, “Great, I will.” And then the Mac dialog pops up saying, “Hey, do you want to give it network access?” Mac OS 27 changed that dialog box. So it took me a while to figure out how that dialog box works. Finally I granted access and it’s like, “Hey, you have to restart the harness in order to do this.” And I’m like, “But I’m in the middle of a session.” So I’m just >> [gasps] >> Uh, deep breath. >> Goodbye [laughter] cash. >> That’s like this security stuff is a little bit so tricky.

[29:34] >> [laughter] >> Well, >> good. We’ll work it out. We’ll figure this stuff out. How hard can it be? >> Well, then the the next thing that they talked about beyond that, right? And also like at the very end we’ll talk about the other hardware that I’m more excited about. So there’s another piece of hardware, but we’ll talk about I’m not talking about every single announcement here as we get into like some deeper Windows stuff, but one of the thing that they really focus on was sort of like local and hybrid AI model usage. And one of the things that Kayla showed off, um, Kayla’s on my team. She also worked on the Windows Terminal team. She’s PM on the Windows Terminal team. Is basically frontier coding models like local on your machine.

[30:08] So there’s a few things is like on this machine what they were talking about is like hey taking an AI code one dot one flash um with Nematron models also DeepSeek V4 flash. Like that is a 137 billion parameter um, you know, total 6.8 billion active. Uh, Nvidia’s a 70 billion parameter two-bit, you know, quantization down to 20 gigs on on memory. DeepSeek V4 flash is a 284 billion parameter model. So

[30:39] there’s all these things that are going to run locally on the RTX Spark, which is crazy. Obviously, I’d imagine depending on how much RAM you have. You want all the RAM, by the way. And they’re up they’re optimizing tunes to basically run on these machines. Now, of course, you can run those local machines, but you also need great tooling to run things locally. And this is where the brand new local model integration in GitHub Copilot comes in, and there’s two things specifically. One is that Kayla showed off like

[31:10] um auto local routing, and specifically that was um turning into efficiency mode, and the model um the the the router can route to a local model on disk automatically. And this efficiency mode has a little like little leaf icon, which is very cute. >> Okay. >> Um but the thing that I think is even more cool is the hydrofusion support, which we did an entire podcast on. And hydrofusion can then decide to delegate out different tasks to different local

[31:40] models on disk and make decisions optimizing your token usage across the board. And this thing is coming to like everything basically um out of the box along with all that sandboxing things that happen. And Kayla had a really good demo, which was hey, like I’ve done this repo, and then I’m doing these investigations, and I might be using like a frontier model in the cloud, and then it may decide to then delegate locally, you know, accordingly for that those different tasks and run off sub-sessions. Uh she also showed off

[32:13] uh I think she also showed off automations. And actually, this this is actually really genius. Um I was talking to Kayla about her usage of local models on her machine, and she said a lot of what she’s doing is yeah, she does have If she’s like, “Hey, I’m about to do something that is going to take a while, and I don’t actually care about like I mean, time to first token is important, like, you know, and then token like coming back. But if she’s like, “Hey, listen, I know that my local models are never going to run as fast currently as like if I’m running like Luna to go do a thing. However, if I’m like, ’Hey, I’m about to jump in a call and I have a half an

[32:45] hour, an hour, whatever it is, or overnight to run long processes, what do I care if it’s running locally on my machine or if it’s running in the cloud, right? Um besides that I’m going to save a bunch of money.’ And then she said she actually has a bunch of automation set up that run every single night at midnight when she her computer is just sitting there with nothing else to do and isn’t crunching via local models to do a bunch of issue triage, bug triage support, like kind of like these workflows automatically that can then

[33:16] fire off new sessions or do a bunch of computation. And she’s like, ‘Now that’s all just free for me, right?’ And then she also showed, you know, like what she was showing in the Hydrofusion examples. It may start with a cloud model, local model, go back to cloud It can go back and forth, but it’s going to figure out what it needs to do and what local models you have readily available, which is like super crazy to think about. So, and she I don’t know if she showed it, but what she was really showing is like you now could basically, for all intents and purposes, like just boot up something like this, turn on airplane mode, and go, right? So. >> Yeah.

[33:48] >> It’s so cool. Uh your your computer will get warm during that process though, I promise. >> [laughter] >> So, you can use it as a heater. You know what it is? It’s it’s liberating. Um maybe you don’t experience this cuz I think you have infinite tokens. But, for those of us with limited tokens, um I’m always worried about like I’m always watching the like how much usage do I have left? Am I over my budget for you know, I I’m always like looking at the date. Oh, it’s the 10th, there’s 30 days in the month, so I should be at 30% and you know, I’m doing this like stupid

[34:20] math in my head. But, when you use a local model, and even a stupid one, it’s very liberating because you’re just like, “Oh, I have as much as I want. I can just have this thing chugging and burning whenever I want. There is There’s no little background clock in the back of my head yelling at me, “Hey, don’t do this task because you want to save your tokens for that other task or things like that.” When you have a local model, you’re just like, “I’m going to use it and I’m going to Yeah.” Even the best models out there, I was

[34:51] just yelling at Astra and Astra was using up my entire month of credit in like 2 hours when I use it fully. And even then I’m yelling at it because like, “Yeah, that’s an ugly button. You made your button ugly. It should be better than that.” And I find I yell at my dumb models and my local models just as much as I yell at Astra. So, I I would rather um be burning just electricity here in my home and yelling at the model than worrying about token counts that I’m paying for cloud models and all that. So,

[35:23] if you haven’t been lucky enough to experience local models, I don’t want to go and say like they’re just as good as the big cloud ones cuz they’re not. They definitely aren’t. But, what they are is liberating. You just have zero guilt. You’re just like, “I’m just going to use this model. Maybe it’s on an airplane. I don’t fly that much anymore, so it’s fine. I don’t care about the airplane scenario.” But, what I care about is just not worrying, not thinking about my quotas and any of that stuff. >> We were sitting there doing these demonstrations and um one of the demoers was booting up one of these models and just like let it rip

[35:56] for like 30 minutes and after 30 minutes I had like a full video editor and I was just like, “Cool, here it is.” And there was a The whole thing was in airplane mode. I was like, “Really?” Kind of crazy and like you said very liberating and like, you know, token usage zero. I think you need to It’s a blend, right? You need to use the right model at the right time and then, you know, especially with those like long-running processes. Like I had a session that ran for 100 hours um fully. You know, I you know, was cranking and testing some things out and just going to town, right? And this is like a blend between frontier models, local models, all these other things and

[36:27] bopping back and forth between them. And I think like that’s a really unique scenario where I was just like set it and forget it. You know, I’m going to be in San Francisco, just like let it I’m not even I’m not even have this computer. My computer’s at home. What am I doing? I’m not even checking in on it. I’m just like autopilot YOLO. I’ll come back on it. It’s sandbox. It’s good to go. And I think that’s like a very intriguing scenario. I mean, the other thing that they also announced, but actually didn’t like show. I mean, they showed, but they actually have these like AI supercomputer like tower things. Like I don’t know if it’s it’s I don’t

[36:59] know if Satya called them like a token factory or something. I forget what he said. Something like that. But basically, there’s these huge like basically servers that, you know, kind of server towers, you know, a DGX stations, um which are these huge stations that they’re talking about running Windows now. And these are apparently using a GB200 Grace Blackwell Ultra chip DGX workstation. It says it can unlock power to run frontier models from Llama 4 Maverick, Kimik K26, DeepSeek 4 4 V4

[37:30] Pro, and more than a trillion parameters on these things. Oh my god, that is crazy. >> the professional-grade model runners. Maybe someday I’ll get a 10-year-old one. That would be nice, but I think there was a cute little um after word during the presentation where they were just reminiscing about like the computer industry, and they’re like, “Do you remember when ChatGPT was trained on a DGX 1? Do you remember that DGX 1?” I’m like, “Guys, that was like 3 years ago. It’s not that long ago.” I’m like,

[38:03] “I would still kill for that DGX.” >> Yeah. >> And they were acting like it’s all old hardware. They’re like, “Ah, we just have those we we put those out to pasture, shot them, and left them for the carrion.” >> [gasps and laughter] >> I’m like, “Guys, I’ll take your old DGX. Just Satya, Frank will take your old DGX. It’s cool. It’s cool.” >> Yeah. >> [laughter] >> Um well, there’s a few other things in like Windows Windows itself. So, there’s a lot of things around performance, search optimization, making search like the most amazing thing in the entire world. I think they really focus a lot

[38:34] on here are the improvements that we’re making to core Windows, how we’re making it sort of an agent-first operating system. And I thought that was really cool how like agents are deeply integrated. And also, I think how they’re evolving Copilot. And specifically around this whole idea that you have this home code and autopilot. And home is really like I am on my machine. I have the context that is my in this case, like I’m in our consumer mode, right? Like I want to write documents. I want to do stuff. And I want to be safe. And I want to not just be, you know, you know, YOLOing it

[39:07] out to wherever contacts. But basically, you can you know, Copilot can understand relevant content on the PC, including files, recent activity, local context. And the cool part about accessing these is it can also tap into local actions. So, it can take actions on your behalf. So, it can organize files, diagnose device, troubleshoot issues. It can obviously code. It can carry out workflows. It can basically do anything you want. And I’m thinking of like this kind of like what’s the next gen of like shortcut type of thing actions. But then it also can tap into local models too running on

[39:38] your device. So, when it’s accessing these things, it’s able to access the same models that you might be using for coding or these other things to actually do this work. Which is really cool. So, they’re really talking about this hybrid intelligent MXC support built in. And then the idea that you’re going to have these raw long-running personal um agents too. And to your point of like what are people doing, like actually, the thing that I’m doing at work often is, you know, inside of Copilot, like Microsoft Copilot, is I am, for all intents and purposes, having it gather a

[40:12] bunch of my work intelligence. Like I do this is a thing that I do. Like I’m planning right now a bunch of our Copilot a GitHub Copilot like advocacy efforts, right? What are we doing for each the rest of each one and then H2. And what I needed to do is I needed to tap into my emails, to my messages, into my files on disk, and into these conversations, and I needed to, you know, tap into other planning docs, co-worse things together, look at latest news on the internet, pull things in, and then take this and then transform it into docs and reviews and these other things and then messages and

[40:46] send things and do follow-ups and like and that’s the thing that I’m actually doing at work, which I I wasn’t really doing all that much like 6 to 10 months ago, but I’ve been trying to do a lot more of those processes as these tools gotten better. And I actually find myself doing this too often is like in the Copilot app, what I do end up doing today is like I’m we’re doing a lot of house projects, right? And I’m doing a lot of um like contractor reviews and all these other things. And like right now I’m I’m dragging and dropping files into a thing and doing like I would love to just be able to do a lot of that

[41:18] integration into Excel and into these other things like in this workspace. So I’m really excited about how that’s evolving and how these, you know, agent harnesses are running. I’m not sure if I’m there yet. Like I’m not an open claw Hermes like person at this point. Like I I use them in some regard, but I’m starting to I think once you start to see how other people work that I’m interested. Like I’m not really interested in giving meta all my data. Like everyone’s like really excited for a muse. I have zero interest in giving meta all of my data, right? Like I’m not interested in that at all.

[41:52] I am really interested in local models being able to do computation over my stuff, which I think of Apple intelligence, right? Those models that are running local on your device. Like you Apple when the local model trend is there and you know, they’ve been trying to evolve that in the latest devices and the leading opera latest operating systems. And I do like this idea of hybrid. I think this is I don’t know if I don’t I haven’t tried Apple intelligence and and Mac OS 27 yet on my machine, which I have here. Um but

[42:22] from my experience of what I saw when I I saw people trying to use Siri was it would ask it a question and then say, “Oh, I can’t do this right here. I’m going to go to the cloud.” That’s almost hybrid, right? Except for you’re doing these actions. In this case, it’s automatic hybrid. It’s going able to be able to do these smart things locally or remotely and configure this for you. Now, I think that the biggest thing that Apple got right that I’ll be interested in this experience is the seamless one-button click turn it on. Like I think that’s really

[42:53] important. Like inside of Xcode, inside of um your Mac OS machine inside of your iPhone, you say, “Do I want to use Apple intelligence?” And you say yes, and then that’s all. You don’t have to worry about what model am I using? What am I doing? XYZ. That’s what I would like to see from this experience is like, if you want to go bits and bop and pick your models, go for it. But like we’re going to give you a bunch of defined models that are just really good at doing certain things that you’re going to be doing locally anyways. Like, you know, doing text or doing image stuff or doing like profile processing.

[43:28] >> Yeah, absolutely. And I you’re really hitting the nail on the head. And I got to say, I don’t think either operating system’s quite there yet. Because ideally in the future in the same way I can pick which search engine I want to use in my browser, I can just say use Google or whatever, use Bing. Um I would like to be able to under Siri and Apple intelligence or Siri or under Windows ML, just say like “Here’s a model I downloaded from Hugging Face. Use that for everything. That’s the model I want you to use. I want you to

[43:58] use it locally. Don’t log it to anything. This is the model.” Um but sadly right now we’re still in the case where um Apple releases one model. It’s the model that comes with the operating system. The the model that comes with macOS 27 iOS 27 is different than the model that came with 26. And I feel like Windows is going to kind of be there right now, too. Plus, Windows is in a really good position because I got to tell you, Apple’s dropped the ball a bit still with Siri. I’ve been using it for a while. I am not amazed. I was arguing

[44:29] with it all afternoon where I would keep asking it questions. And I wish it would say the thing like you said of uh it’ll say, “Hey, I’m going to go use ChatGPT or whatever right now.” No, all it kept saying was, uh “I didn’t quite catch that. Do you want to try again?” I’m like, “No, you you obviously got the text. I can see it. You printed the text right there. You got it. You’re just not acting on it.” >> So, for whatever reason. And it doesn’t make any sense to me because I know I use the local model. It’s >> Yeah. >> Like, it can do this stuff. So, I don’t know. There’s there’s Apple’s dropping the ball. I think this is a perfect

[45:02] opportunity for I don’t know, Windows to catch up, but Windows to get ahead quite a bit because the demo they had for the start button and search, like they were saying it’s faster than you can type. Now, I know some fast typists out there. So, I’m curious to how just how fast it is, but like >> Yeah. >> the demo looked great. I know it’s easy to make a demo look good, but you know, time will tell when people get this installed on their machines, but I think they have like Apple should have the lead in the same way Google should have the lead in AI. [laughter] All

[45:32] these people who should have the lead don’t. Uh so, this is a great opportunity for Microsoft to like really make some inroads. And I know they’ve gotten a lot of flak like Copilot this and that, and the brand is getting a little bit um overwhelmed in trying to put AI into everything, but like the Windows search box is a perfect place to impress people. If you start impressing people on that box, you’re going to get a lot of converts. They’re just going to get used to it. You’re going to set a new bar, a new standard for what your computer should be able to do. And um

[46:05] help someday Mac will catch up to them. >> [laughter] >> At least to that demo. >> Well, and I think if the the if users are starting to get used to this aspect, like when you Google or you being or you like search search something into some box and you start to get these AI summaries and you start to follow up with AI, you start to get used to this and you almost want that as the default experience. It’s almost like looking forward, okay, are people are people there now, right? That’s the problem is you try too early or you’re first one of the first there, you know, it’s going to take a lot of revs to get it right and you’re going to maybe make a lot of

[46:35] people mad and you’re going to make some people happy and then, you know, maybe you’ll lock it and hopefully so. But let’s talk about the last thing. >> Okay. >> there’s many there’s probably more things that we could cover, but a thing that I am most excited about in this moment is not a laptop. >> Frank Kerrigan. >> Okay. >> Mhm. >> What else is there? >> PlayStation 2. No, it is a brand new It is a brand new uh it’s a It kind of looks like a hybrid between like an Xbox and a PlayStation 2 like slim which is the Surface RTX Spark Dev Box and I’m pretty

[47:10] sure they showed this at Build. Um I think I’m pretty sure it was there and if not, well, something was there. But okay. Right? I think it was there. But this for all intents and purposes is very similar to the um Ultra. However, there’s one configuration, you get one you get one, that’s it. >> One price. >> One configuration. And this really is I believe it has a default out of the box um Windows 11 experience for developers. Like it is it is a a special image that is made for developers. I don’t know

[47:43] what that means, but they said it uh there for like what it’s supposed to be. I’m pretty sure that’s what it is. But it is a the same 6,144 core GPU, 20 core CPU, the biggest. It is 128 gigs of LPDDR5X unified memory and it is the biggest SSD, the 2 TB, which is removable by the way, in this puppy. And this thing looks just gorgeous. It is a big-ish, not super big, but big-esque, basically, desktop PC and it starts at

[48:17] >> 6,000 bucks. >> Five. Yeah, [laughter] five five nine. >> Yep. >> Add US tax to that. >> US dollars. >> I’ve held it. It’s beautiful. It’s fantastic. And yeah, it’s it’s what I want. I think like I know it doesn’t have a screen, Frank, but also our Mac minis don’t have a screen. And I I tweeted after the event that it is official that my Mac mini is officially for sale. So, I am >> Oh, bye, James. >> Yep. >> Traitor. >> I’m done. I’m done.

[48:48] >> bigger. It’s bigger though. It’s not mini. I wouldn’t call it mini. It’s It looks like it’s about the size of the laptop. Have you held one? Have you seen it in person? >> Uh I have, yeah. Uh the I have held it in my hand. Uh the question is are the are the technical specifications >> Right. Sure. Sure. Yeah, don’t don’t worry about it. Okay, yeah. They Well, they have it in photographs. They have it next to the laptop and it looks roughly the size of the laptop. It looks like a giant pancake. Um it’s it’s definitely >> [laughter] >> What I appreciate is they’re not ripping off like the Mac Studio design or

[49:19] anything. This is a pretty unique design. It looks more like a game console than anything else. Your PlayStation 2 reference is actually pretty pretty spot-on, I would say. My biggest question is where are the fans on this thing? Cuz again, I use my GPU as a heater. I need fans on it to distribute the heat throughout the whole room so that while I’m training neural networks, I can also be heated this winter. That’s a very important feature. So, I’m curious how this thing thermally conducts its thermal. Yeah, I was just cuz um it’s pretty thin. You know, it’s it’s kind of like a two-story. It’s got

[49:53] a smaller bottom than a and a bigger top. It’s all mushroom-shaped. >> [laughter] >> And it was a little bit confusing like where they’re putting all the fans and everything on it. It’s gorgeous. I I love it. It reminds me of like the old Sun Microsystems boxes. I don’t know if you remember any of those from the early internet days. Okay, no, never mind. Um my biggest complaint cuz I was telling you before we started recording is for roughly the same price, it’s almost costs as much as the same configuration as a laptop, but you’re not getting a screen, you’re not getting

[50:24] a keyboard, you’re not getting a touchpad. Uh what you are getting is about 25 more watts of power. I should say that the laptop is 140 watt power supply and this puppy is 165 watt power supply. I still think that that’s a little bit on the low end for my personal taste because my 3090 right now is literally taking up 350 watts of power. So, it’s already running double the amount of power um that this thing can produce. Now, obviously, this is a

[50:54] more modern chip. It’s going to do better. It’s a it’s a more efficient chip than my guy. But, you’re still stuck within that power envelope. So, it’s good to know that um with a laptop, you’re in the 140 watt power envelope. With this guy, you’re in the 165 watt power envelope. And these numbers matter. Like, physics matters. You got to shove electricity into these things in order to make them go fast. Um so, it’s it’s pretty cool to have this box out. I don’t know who’s going to buy one.

[51:25] Um I I hope that you’re able to make a lot of money on your Mac mini. I’m going to be so sad that you’re not going to be my Mac mini brother anymore. I’m just going to be out here Mac miniing by myself. But, I hope you’re able to get at least 10 grand for your Mac mini so you can buy two of these things. >> I did look I did look and I did see that I should be able to make a few hundred dollars off of >> Will you, really? >> Yes. >> Okay. I don’t know, did you see Did Miguel say he’s going to get the six-pack of these? >> I don’t know. I didn’t I didn’t see. >> [laughter] >> He should. >> A six-pack of these dev workstations, that’s going to be pretty awesome.

[51:59] >> Yeah, I’m I’m pretty jazzed. >> I can’t I can’t argue. It’s just a lot of money. >> It’s a lot of money. I’m a I think, you know, for me, obviously, we’ll keep my MacBook Air because I do iOS development. I need a Mac around. Like, you cannot get around it. And the M1 still It’s still a great device. I don’t know, man. It’s still just >> I know that the the rumored like OLED Apple laptops coming out in a couple weeks. Oh, which by the way, a correction for last week. So, the current rumor is they are touchscreen, by the way. So, I don’t know. Did they say whether the new Ultra is a

[52:33] touchscreen or not? >> The Ultra is a touchscreen, yeah. >> Yeah, I figured as much cuz Microsoft laptops have >> The the touch sans, yeah, Ultra, whatever it is. >> So, I think I said on the podcast that it wasn’t going to be a touchscreen Mac, and it hasn’t been announced, so this is not official, but the current rumor mill is that it is actually a touchscreen Mac. So, I was like, maybe it is time for me to upgrade, but then I’m like, look at it, my cute little M1. I’m like, you’re such a trooper, little M1. I don’t think I could ever sell you or get rid of you. Like, if I ever drop you down a six-story building or something

[53:04] like that accidentally, then maybe I will >> [laughter] >> upgrade, but you’re right. It’s hard to get rid of that thing. It’s been so much value for the buck. >> [laughter] >> Yeah. I’m I’m super jazzed on it. This is my current plan. And, you know, while I I really do like my my my Mac mini, and it’s really great. I I just actually don’t even know if I’ve taken as much advantage of it as I as I should. I mean, no, nor will I know if I will take advantage of the the dev box or not, but we’ll see, at least. And I’m excited to go through

[53:36] this journey of where I’m at. So, the the interesting part is just like I went through tons of transitions with Thunderbolt 5 and this and that. Okay, will I go through all this again with all my crazy setup? I will say this though, I’m also reducing My plan is to reduce um my ultra-wide. I’m getting rid of my ultra-wide. >> Okay. >> convinced by John Galloway that this $200 Dell 4K monitor that he got on big day deals was what I should get cuz he said it was good and I said I don’t have Amazon Prime so you’re going to need to buy it

[54:07] for me wink free free monitor. Um so he said he said so so it’s it’s coming to the house which is good uh which is nice. And um getting rid of that I want to like redo my setup yet again obviously. But um It just it it’s really tricky like I I don’t I I I’ve never really felt like like um I think when I was building my custom-built tower desktop PCs cuz I was designing what it was. I was

[54:39] understanding the ports. I was putting everything in it like it was perfect. I don’t know if I ever had a perfect monitor setup but I do feel when I had two dual screens that like felt correct like a dual screen monitors out of it felt correct for a while. [snorts] Um but I do Yeah, but I do feel like I really want to trim it down. That being said Frank Krueger I could be convinced into an ultra because it has the other monitor right? I would have another monitor that’s there that I could use in accordance with this new 27-in 4K monitor side by side.

[55:13] Like I think about it, you know what I mean? I have to get a stand for it. I got to do something. I just think that that dev box would look so sleek just sitting there. We’ll see. Uh I don’t know. Who knows what I’ll do uh in general but that’s where at least where I’m at right now in my mind. But I’m really excited. I feel like you know I’ve always been a Windows person and when the Mac mini came out the size of it the power of it spoke to me and so does this dev box. It really speaks to me as a as a aesthetics developer mini PC that I want.

[55:45] And uh I think I’m going to get it. So, we’ll see. >> Oh boy. Well, I know I’m going to send you a bunch of models to try on it cuz I’m going to be curious how fast it is. >> [laughter] >> So, I’m going to make you test a few things. >> uh remote desktop access into your own private account. That’s all I need. >> Make it into a proper workstation server. >> Yeah. >> Oh, we didn’t mention the most important part of the laptop. Before we go, I just have to say don’t call it MagSafe, but they added MagSafe to the laptop. >> [laughter] >> It is though. >> Wild weirdest little USB-C connector

[56:17] you’ve ever seen in your life, and no one believes it works, but I’ve seen video online of the people fake tripping over it. It seems to work fine. Um come on, Apple. Catch up. Because it’s pretty cool. It’s it’s a pretty cool design they did there with the USB-C cuz it’s USB-C and it’s MagSafe, but it’s not MagSafe. Copyright trademark Apple. >> it’s the world’s first magnetic USB-C. I have one right here. >> Yeah. >> Boom. There it is. And it’s always working. >> Have you proven it? >> Uh I have tripped over it many times. >> [laughter]

[56:48] >> And it does work. Uh it does work. Yes. And it snaps right in. It’s it’s very very nice. So, >> Nice. >> um yeah, it’s it’s absolutely delightful. All right, that’s going to do it people for this week’s Verge Conflict. Go spend all your money on some new Surface devices. I am super stoked. Super good. But, it’s going to do it for this one. So, until next time, I’m James Wang from The >> I now and Don Frank Ruger. Thanks for watching and listening. Peace.