A nova IA da DeepMind decifrou o código da vida

Ver no idioma original →

Autoria: Two Minute Papers · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: DeepMind’s New AI Just Cracked The Code Of Life · Canal: Two Minute Papers · 32:56 · Assistir no YouTube

Tópicos: Modelos de IA, Saúde e ciência

Resumo

AlphaGenome é um modelo de aprendizado de máquina que prevê como variações no genoma afetam processos moleculares, como a expressão gênica e o splicing. Ele combina resolução de pares de bases com uma janela de contexto ampla e superou ou igualou o melhor modelo de comparação em 25 de 26 benchmarks de efeitos de variantes. O AlphaGenome Atlas pré-calcula os efeitos de bilhões de variações possíveis e disponibiliza esses dados para a comunidade científica. Embora possa ajudar pesquisas sobre doenças e biologia sintética, conectar os efeitos moleculares a características e doenças em organismos ainda exige mais pesquisa.

Pontos-chave

• O genoma contém regiões codificantes, que especificam proteínas, e regiões não codificantes, que ajudam a regular onde, quando e em que quantidade elas são expressas.
• AlphaGenome prevê efeitos moleculares de variações no genoma; não determina, por si só, o efeito completo de uma variante sobre a saúde de uma pessoa.
• Treinar com genomas humanos e de camundongos ajuda o modelo a aprender princípios que podem se generalizar entre espécies.
• Ao contrário de modelos anteriores, AlphaGenome combina análise em resolução de pares de bases com uma janela de contexto de até um milhão de pares de bases.
• O modelo igualou ou superou o melhor modelo de comparação em 25 de 26 benchmarks de efeitos de variantes.
• O AlphaGenome Atlas pré-calcula informações sobre variações e as organiza em um conjunto de dados de escala petabyte para uso científico.
• O AVI score ajuda pesquisadores a identificar variantes que merecem análise cuidadosa e a estimar quais provavelmente não terão grande impacto.
• As previsões são fundamentadas em propriedades moleculares e podem ser testadas experimentalmente, mas a interpretação de como o modelo aprende ainda está em estudo.
• Aplicações futuras incluem pesquisa de doenças, biologia sintética e, mais adiante, a criação de modelos virtuais de células e organismos.

Capítulos

Início	Capítulo	Resumo
00:00	O que é AlphaGenome	Pushmeet apresenta o modelo como uma ferramenta para prever como variações no genoma podem afetar células e organismos.
04:13	Variações genéticas e diferenças entre pessoas	A conversa aborda como variantes podem ter efeitos pequenos ou importantes e como características complexas costumam envolver várias mutações.
06:16	Regiões codificantes e não codificantes	O entrevistado explica como o genoma especifica proteínas e regula sua expressão, e por que treinar com genomas de humanos e camundongos pode ajudar.
10:27	Resolução e contexto em grande escala	AlphaGenome combina resolução de pares de bases com uma janela ampla, e seus resultados são avaliados em benchmarks de efeitos de variantes.
15:10	AlphaGenome Atlas e o impacto das variantes	O Atlas pré-calcula efeitos de bilhões de variações e reúne previsões em um conjunto de dados de escala petabyte.
19:19	Aplicações e validação das previsões	A entrevista discute possíveis aplicações em saúde e biologia sintética, além de como as previsões moleculares podem ser verificadas em laboratório.
24:02	Próximos passos e simulações científicas	O pesquisador descreve planos para ampliar o contexto e os dados do modelo, enquanto a conversa explora o uso do Gemini para criar uma simulação de túnel de vento.
29:16	O futuro da ciência com IA	Os entrevistados imaginam como avanços em IA poderiam contribuir para simular células e organismos, estudar o clima e projetar materiais.
32:25	Encerramento e anúncio	A entrevista termina com agradecimentos e uma divulgação de serviços da Lambda para executar experimentos de IA.

Citações

O genoma é basicamente a receita da vida. — 01:03

AlphaGenome opera na resolução de pares de bases e tem uma janela muito ampla. — 12:03

O AlphaGenome Atlas pré-calcula tudo isso. — 16:13

Imagine as consequências de criar uma célula virtual. — 29:16

Conceitos e entidades

• AlphaGenome (modelo): Modelo de aprendizado de máquina que prevê efeitos moleculares de variações no genoma.
• AlphaGenome Atlas (ferramenta): Recurso que pré-calcula e disponibiliza previsões sobre variações genômicas em grande escala.
• AlphaFold (modelo): Modelo de IA mencionado como exemplo de uma ferramenta científica cujas previsões possibilitaram pesquisas em larga escala.
• Enformer (modelo): Modelo anterior ao AlphaGenome, com janela de contexto e resolução menores para analisar o genoma.
• Human Genome Project (conceito): Projeto que tornou possível ler a sequência completa de um genoma humano.
• AVI score (conceito): Pontuação calibrada para ajudar a avaliar o possível impacto molecular de uma variante genômica.
• Gemini (modelo): Modelo usado no exemplo de criação de uma simulação interativa de túnel de vento.
• Google DeepMind (empresa): Organização de pesquisa em IA responsável pelo desenvolvimento do AlphaGenome.
• Pushmeet (pessoa): Pesquisador entrevistado que explica o AlphaGenome e suas possíveis aplicações.
• Lambda (empresa): Empresa citada no anúncio final como provedora de GPUs para experimentos de IA.

Tradução completa (pt-BR)

00:00 Se você conseguir realmente entender por completo, de certa forma, o funcionamento de uma célula, isso terá consequências incríveis para a luta contra doenças como o câncer. >> Sinto como se tivesse sido jogado em um filme de ficção científica. Quando eu era criança, só podíamos sonhar em ter uma tecnologia como essa. Agora, também tenho uma pergunta, e pensei que talvez só você pudesse respondê-la. >> O que o Alpha Genome Atlas faz é basicamente pré-computar tudo isso. >> Uau. >> O Alpha Genome Atlas tem 30 vezes o tamanho

00:33 do banco de dados do AlphaFold. >> Uau. >> Então, a escala em que o Alpha Genome consegue produzir informações detalhadas sobre o efeito das variações é sem precedentes. >> Que bom ver você, Pushmeet. Olha, isso é muito desafiador para mim, porque está muito fora da minha área de especialidade, se é que tenho alguma. Como sempre, venho aqui hoje como aluno para aprender com você. O que é o Alpha Genome? >> O Alpha Genome é um modelo de aprendizado de máquina

01:03 que faz previsões sobre variações no genoma. Então, nosso genoma — não apenas o genoma humano, mas qualquer genoma — é basicamente a receita da vida. O que ele é, essencialmente, é um código. No caso dos humanos, é um código com 3 bilhões de caracteres. E, se um desses caracteres mudar, qual será o efeito nas propriedades reais da célula? Qual será

01:36 o efeito no organismo? São essas coisas que o Alpha Genome está tentando desvendar. >> E, para uma pessoa comum, o que o Alpha Genome poderia mudar futuramente na medicina ou na vida dela? >> Todo mundo, de certa forma, é afetado pelo que acontece no nível genômico. O genoma é a receita da vida. Ele tem tanto a seção dos ingredientes, que diz quais proteínas são expressas, quanto a seção de mistura, que fala sobre a regulação dos genes: quando essas proteínas são expressas, onde são expressas e em que quantidade.

02:08 E todas essas informações estão codificadas nessa receita da vida. Cada pessoa no planeta tem uma receita. Eu tenho uma receita, você tem uma receita, a pessoa comum tem uma receita. Embora nossas receitas sejam semelhantes, há algumas diferenças. Mas o que essas diferenças realmente significam?

02:40 Quais são as implicações dessas diferenças? É isso que tentamos entender há muitos e muitos anos, se não décadas. Com o Projeto Genoma Humano, pela primeira vez pudemos ler o livro de receitas inteiro. Pelo menos o genoma de um ser humano. Mas agora estamos tentando descobrir como decifrá-lo ou entender o que realmente acontece. Se você mudar um caractere específico,

03:11 quais serão as consequências? Isso causará uma doença específica? Será basicamente associado a uma alta suscetibilidade a algum tipo de problema, como talvez ter um índice de massa corporal elevado ou maior suscetibilidade a certos tipos de câncer? De certa forma, todas essas coisas podem ser decodificadas por meio de uma melhor compreensão das variações que ocorrem no genoma. >> Uhum.

03:42 Isso é incrível. E eu realmente queria perguntar isso porque, de vez em quando, tento ler artigos médicos. Não é minha área de especialidade, mas sou estudante. Só tento aprender. >> Sim. >> E meu problema é que, quando leio sobre, sei lá, qualquer tipo de medicamento, penso que cada pessoa é diferente. >> Sim. >> E vou ao barbeiro, e ele diz que nunca viu duas cabeças iguais. >> Sim. >> E leio um artigo sobre hipertrofia muscular, tipo um artigo de musculação, sobre como ganhar músculos. >> Sim. >> E eles têm um grupo de pessoas cuidadosamente selecionadas, com a mesma idade, a mesma altura e o mesmo porte físico. >> Sim. >> Elas seguem a mesma dieta. Fazem o mesmo treino. E um cara fica incrivelmente musculoso. Eles fazem as medições. >> Sim. >> Alguns outros ganham um pouco de músculo. Um coitado não ganhou músculo nenhum. E teve um que, acho eu, perdeu músculo. É uma loucura como somos diferentes. Estou pensando se é

04:13 possível que finalmente possamos estar um passo mais perto de entender como cada pessoa é um pouco diferente e o que isso significa. >> Sim, exatamente. Acho que sim. Esse entendimento, ou essa decifração do código da vida: quais são as consequências? Às vezes, essas consequências talvez não signifiquem nada, certo? Às vezes, as mudanças não são tão relevantes. Às vezes, elas têm consequências muito relevantes e bem compreendidas, certo? Por exemplo, a anemia falciforme. Existe

04:44 uma mutação específica que causa a anemia falciforme, e entendemos o que acontece nesse caso. Mas a maioria das coisas com as quais as pessoas se preocupam hoje em dia exige, na verdade, uma abordagem poligênica, no sentido de que há várias mutações atuando e causando aquele incidente ou fenômeno específico. E, de certa forma, o que o Alpha Genome tenta fazer é descobrir o que acontece

05:16 especialmente no nível das variações de uma única mutação, nos fenótipos moleculares. Agora, como esses fenótipos moleculares afetam as propriedades do organismo inteiro? Ou, no caso dos humanos, como isso afeta o que a pessoa sente, como a suscetibilidade a uma doença específica? Isso ainda precisará ser relacionado, e será necessário fazer pesquisas sobre o assunto.

05:46 >> Pelo que entendi, antes de nos aprofundarmos, o AlphaFold é gratuito para todos nós para sempre, para uso não comercial. >> Sim, exatamente. Assim como fizemos com muitos dos nossos modelos científicos, seja o AlphaFold 1, o AlphaFold 2 ou o Alpha Genome, disponibilizamos esses modelos para toda a comunidade científica, para uso acadêmico, para que possam usá-los em suas próprias pesquisas e fazer fine-tuning neles.

06:16 E os pesos do modelo estão disponíveis. >> Isso tudo é verdade? Explique, por favor. O genoma é o manual de instruções das células. >> Com certeza. Acho que, como eu dizia, o genoma é como um livro de receitas. Ele tem tanto a parte codificante do genoma, que é como a seção de ingredientes do livro de receitas e diz quais proteínas precisarão ser sintetizadas. O proteoma humano tem 20 mil proteínas. Então, nosso genoma

06:47 codifica essas 20 mil proteínas, e pode haver variações nessas 20 mil proteínas. E há também uma parte não codificante, que analisa como essas proteínas são combinadas, como são expressas, onde são expressas e em que quantidade. Essa parte é basicamente a parte obscura do genoma, muito menos compreendida, porque trata da regulação dos genes e da expressão das proteínas. Então,

07:17 acho que o que o Alpha Genome está tentando fazer é decifrar e esclarecer todo esse espaço. >> Agora, também tenho uma pergunta, e pensei que talvez só você pudesse respondê-la. Estou muito curioso sobre isso. O modelo foi treinado com genomas humanos e de camundongos. >> Sim. >> E o que eu gostaria de saber é: você o treina com o genoma humano, e ele adquire certa quantidade de conhecimento e uma certa qualidade de resultados. Depois, você

07:51 também o treina com o genoma do camundongo. Depois disso, ele fica melhor na parte humana? >> Sim. Acho que você já viu isso em muitos contextos diferentes de aprendizado de máquina: as redes neurais tentam se ajustar aos dados. E, se você fornecer apenas dados humanos, a rede neural pode acabar memorizando ou pensando em mecanismos que só

08:22 funcionam no caso do genoma humano. Mas, ao treiná-lo — ao forçar o modelo a explicar os mesmos efeitos no contexto do genoma do camundongo —, pedimos ao modelo que pense de forma mais ampla e considere princípios gerais capazes de explicar esses dois tipos diferentes de variações. Isso realmente ajuda não só na generalização do modelo, mas também faz com que o modelo aprenda sobre o que

08:54 funcionar no caso do genoma humano. Mas, ao treiná-lo, forçando-o, forçando o modelo a explicar os mesmos efeitos no contexto do genoma do camundongo, estamos pedindo ao modelo que pense de forma mais ampla e considere princípios gerais que possam explicar esses dois tipos diferentes de variações. E isso realmente ajuda não só na generalização do modelo, mas também a fazer com que o modelo aprenda sobre o que

09:26 realmente importa e o que está acontecendo no nível fisiológico, mais especificamente nesses fenótipos moleculares. >> Vi isso em outro artigo do Google DeepMind, o projeto Seema, que jogava vários videogames. E achei impressionante que você jogue um videogame, tenha uma pontuação nele e, depois de jogar vários outros videogames, fique melhor nesse jogo. Acho que talvez seja o mesmo fenômeno, mas isso me parece inteligência, certo? Você aplica

09:57 o conhecimento de outras coisas a essa coisa. >> Sim, e acho que isso é transfer learning em ação. Você consegue extrair conceitos de coisas relacionadas, mas que são problemas diferentes, e isso ajuda você a melhorar. Certo? Então, se você resolver problemas de matemática e depois resolver problemas de física, simplesmente ficar melhor em matemática ajuda você a ficar melhor em física. >> Pelo que entendi, o grande avanço aqui foi que os modelos anteriores eram

10:27 ou focados demais e tinham visão de curto prazo, ou observavam de longe, mas com baixa resolução. Agora, este consegue fazer as duas coisas. >> Sim. >> Verdadeiro ou falso? >> Verdadeiro. Então, quando começamos essa jornada para enfrentar o desafio extremamente ambicioso de decifrar o genoma, havia muitos desafios técnicos. Nosso genoma, como acabei de mencionar, tem 3 bilhões de pares de

11:00 bases, ATCG, certo? É uma sequência muito longa. E, se você quiser entender o efeito de uma determinada variação, precisa observar uma vizinhança ampla e expandida em torno dessa variante, porque ela pode afetar coisas bastante distantes, por causa das interações em 3D e assim por diante. Não é que um determinado par de bases afete apenas o que acontece na sua vizinhança. A vizinhança pode ser muito grande. Então,

11:31 as versões anteriores do modelo — tínhamos um modelo chamado Enformer, que precedeu AlphaGenome — tinham tanto uma context window menor para observar a vizinhança quanto uma resolução bem mais grosseira para analisar o genoma. Certo? Não observávamos o que acontecia no nível do par de bases. Nós

12:03 observávamos um grande número de pares de bases agrupados. E não observávamos uma janela de 1 milhão de pares de bases; observávamos uma janela menor. O que AlphaGenome tenta fazer, e é o primeiro modelo a conseguir, é operar na resolução do par de bases e ter uma janela muito grande. Isso permite não apenas fazer previsões com bastante precisão, que exigem muita precisão, mas

12:34 também fazer previsões que envolvem raciocinar sobre um conjunto muito maior de coisas que acontecem na vizinhança dessa variante. >> Vi que ele é tão dominante. Igualou ou superou o modelo de comparação mais forte em 25 dos 26 benchmarks de efeito de variantes. Acho que só ouvi falar desse tipo de domínio com AlphaFold. Isso é absolutamente incrível. Agora, o que eu gostaria de perguntar é: quando você viu que ele começou a funcionar,

13:05 como foi? >> Sim, acho que uma coisa é que estamos trabalhando nesse problema há muito tempo. Como acontece com muitos dos nossos desafios científicos, são problemas incrivelmente difíceis e exigem inovação em muitas áreas diferentes, como dados, a criação de uma arquitetura melhor, novas ideias de treinamento e assim por diante. Quando começamos a ver esses resultados, nós

13:36 sabíamos que estávamos em uma fase diferente. Parte disso era esperado, porque tínhamos feito todo o trabalho difícil para permitir que o treinamento acontecesse naquela resolução, algo que nunca havia sido feito antes. Mas ver que deu certo e que a hipótese original com que começamos se confirmou — que, se aumentássemos a resolução, se aumentássemos a context window e regularizássemos o treinamento corretamente, então

14:08 as redes neurais apresentariam os resultados certos — foi muito gratificante para toda a equipe. >> Houve uma fase de desconfiança? Tipo, não pode estar certo. Talvez tenhamos testado no conjunto de treinamento ou algo assim. >> Sim, acho que é aí que entra a nossa equipe: somos cientistas muito, muito cautelosos. Então, a equipe faz muito trabalho com métricas e avaliação. E quando

14:40 os resultados chegaram, havia uma expectativa genuína de que vocês fossem verificar de novo para garantir que tudo estava funcionando corretamente e que eram resultados válidos. Mas tínhamos muita confiança nas nossas métricas, pois as havíamos definido corretamente; não era algo que estivéssemos fazendo havia apenas três meses. É um projeto que já dura quase quatro ou cinco anos, ou mais. >> O que é AlphaGenome Atlas?

15:10 >> AlphaGenome Atlas é essencialmente uma espécie de dicionário do que acontece quando há variações no genoma. Então, falei sobre AlphaGenome. O que AlphaGenome faz é analisar o seu genoma, e você pode perguntar: se eu mudar este par de bases, ou este caractere do seu genoma, de A para T ou de T para C, qual será a consequência? E isso é muito útil. Suponha que você

15:42 queira entender os efeitos de todas as variações. Há muitas variações, porque existem 3 bilhões de pares de bases, e cada um deles pode ser alterado de três maneiras, certo? Se for A, pode ser alterado para T, C ou G, certo? Então, há 9 bilhões de possíveis variações de nucleotídeo único que você pode estudar. E, para cada uma delas, há muitos dados que você pode extrair sobre qual será o efeito no

16:13 nível molecular, o efeito no splicing, o efeito na expressão gênica e assim por diante. O que AlphaGenome Atlas faz é pré-computar tudo isso. >> Uau. >> Ele analisa o que aconteceu com todas essas variações e cria esses conjuntos de dados enormes, com tamanho de um petabyte, disponibilizando-os para a comunidade científica. >> Isso é inacreditável. Parece aquele momento de AlphaFold, quando o tempo de inferência do

16:43 enovelamento ficou tão rápido que, em certo momento, Demis simplesmente disse: “Vamos prever a estrutura de todas as proteínas”. Atlas parece ser algo assim para o genoma. >> Exatamente. Então, para AlphaFold, fizemos previsões das estruturas de 250 milhões de proteínas, quase todas as proteínas conhecidas naquela época. Mas até o banco de dados de AlphaFold, que agora foi usado por mais de 4 usuários em

17:15 190 países, em termos de tamanho, o AlphaGenome Atlas tem 30 vezes o tamanho do banco de dados de AlphaFold. >> Uau. >> A escala em que AlphaGenome consegue produzir essas informações detalhadas sobre os efeitos das variações é sem precedentes. >> Tudo isso a partir de uma sequência de DNA de um megabase. >> Sim, com uma janela de um milhão de pares de bases como contexto.

17:46 >> Para mutações que afetam a atividade dos genes, há uma correlação bastante forte entre o efeito previsto e o efeito observado. Vi no artigo que o rho é cerca de 0,5. >> Uhum. >> Mas isso é impressionante. É incrível. E, pelo que entendi, o modelo não prevê apenas se uma mutação importa, mas muitas vezes também acerta aproximadamente a magnitude do efeito. É justo dizer isso? >> Sim, com certeza. Acho que o que fizemos

18:18 especialmente com AlphaGenome Atlas foi criar uma nova maneira de ajudar os cientistas a analisar os dados e explorar essa enorme quantidade de informações. Então, o AlphaGenome Variant Impact Score, ou AVI Score, é cuidadosamente calibrado para indicar que, se a pontuação for alta, isso significa que aquela variante específica

18:49 é uma variante que você realmente deve considerar e analisar com cuidado. E, se a pontuação AVI for baixa, há uma grande confiança de que ela não terá um impacto dramático em vários fenótipos diferentes. >> Uhum. Para mim, isso parece um daqueles problemas de nó-raiz: você resolve o problema e, então, as aplicações podem se desenvolver em muitas direções. De vez em quando, dou uma olhada no AlphaFold,

19:19 que era um desses problemas de nó-raiz. Nos primeiros dois anos, eu conseguia até ler os artigos que o usavam e tentava entender o que eles faziam. Agora há tanta coisa construída sobre o AlphaFold que é completamente impossível para qualquer um de nós entender tudo. Parece que o AlphaGenome vai ser igual? >> Sim, acho que, com o AlphaGenome, estamos tentando resolver esse problema de nó-raiz de decifrar o genoma, certo? E, como você mencionou, ele é

19:52 realmente um problema de nó-raiz em termos das suas implicações. Ele não só tem implicações para entendermos melhor as doenças, mas também para sabermos como tratá-las. Quais são as principais coisas que precisamos entender sobre a biologia? E quais são os pontos em que podemos controlar a expressão, ou quais variações controlam a expressão de determinadas proteínas relevantes naquela via da doença? Mas

20:23 ele não se aplica apenas à compreensão das doenças e da saúde humana. Suas implicações vão além, abrangendo a biologia de forma mais ampla. Na verdade, estamos vendo agora muito interesse no uso de IA generativa em biologia sintética. E, mais uma vez, quando você está sintetizando novos organismos ou novas proteínas, quais são as propriedades em que

20:55 devemos pensar, certo? Você deve ter visto modelos de linguagem de DNA, como o Evo, surgindo, e pessoas usando-os para amostrar diferentes genomas e resolver diferentes tipos de problemas. E, mais uma vez, o AlphaGenome oferece uma perspectiva para estudar as propriedades desses genomas. Por isso, acho que as implicações deste modelo e de suas futuras

21:26 variações, nas quais estamos trabalhando, serão igualmente amplas. >> Sinto como se tivesse sido jogado em um filme de ficção científica. Quando eu era criança, só podíamos sonhar com uma tecnologia como essa. Acho isso inacreditável. Como sabemos que ele aprendeu mecanismos, e não apenas correlações? Geralmente, esse é o problema com muitos desses artigos. A parte difícil é, na verdade, provar a conexão entre as duas coisas. Em muitos casos, isso é quase impossível.

21:58 >> Sim. Acho que essa é uma ótima pergunta. E acho que esse tem sido um dos desafios, certo? Na biologia computacional, você não quer apenas aprender todas as correlações estatísticas. Você quer que o modelo seja capaz de entender as ligações causais reais que tornam possíveis as previsões. E, se você pensar em como isso é

22:30 codificado no AlphaGenome, uma parte está nas propriedades que ele prevê. Ele prevê propriedades no nível molecular. Então, você consegue ver quando ele faz uma previsão sobre uma variação específica, por exemplo, sobre sítios de splicing, splicing ou expressão gênica. Essas são previsões que podem ser explicadas biofisicamente, certo? Em vez de serem apenas correlacionais, como dizer que esta variação

23:01 basicamente causou aquela doença específica. Mas o AlphaGenome não está dizendo isso. Na verdade, ele está mostrando o que acontece no nível celular. E, quanto à validação, o que vimos é que, quando pegamos essas previsões e tentamos validá-las no laboratório, elas fazem sentido. E podemos fazer novas descobertas sobre variações e sobre a importância

23:31 de certas variantes. >> Essencialmente, como tudo se baseia na física, é isso que ajuda na verificação. >> Sim, acho que as tarefas exigem mais raciocínio sobre a física. Agora, ainda estamos tentando entender e interpretar como o modelo faz isso. Mas as tarefas que ele precisa resolver estão fundamentadas na física. >> Agora, você tem esse algoritmo de aprendizado incrivelmente

24:02 sofisticado no AlphaGenome. E, no artigo, por cima dele, há essa camada minúscula e super simples de regularização LASSO. Achei isso muito engraçado. Imagino algo como um motor de Fórmula 1 que você inventou, com uma pequena campainha de bicicleta em cima. >> Sim, acho que isso mostra o poder da representação, certo? O que você quer que modelos como o AlphaGenome demonstrem

24:32 é uma compreensão fundamental do que estão vendo ou de como percebem a sequência de DNA. Então, de certa forma, a maior parte do trabalho deve ser feita pelo modelo, em termos da representação das características, e o preditor final, por cima, deve assumir uma forma muito simples. Sim, quase trivial, porque a maior parte do trabalho já aconteceu na camada de representação. >> Qual é o próximo passo? >> Há tantas coisas em que

25:05 estamos trabalhando. Como no caso do AlphaFold, a história não termina aqui. Ainda há muito que precisamos fazer para melhorar o AlphaGenome, para que ele entenda ainda melhor o genoma. Se você olhar para a genômica e a biologia, verá que a biologia tem muitos contextos diferentes. Por exemplo, células diferentes se comportam de maneiras diferentes, certo? Então,

25:35 tentar deixar o AlphaGenome mais ciente do contexto em que precisa fazer essas previsões é uma das coisas em que estamos trabalhando. Também estamos tentando ampliar a quantidade de dados com que o AlphaGenome pode ser treinado, para que ele se torne muito mais preciso em relação a diferentes tipos de propriedades. Outra coisa é conectar os fenótipos moleculares que o AlphaGenome consegue produzir e mostrar essas conexões e seu impacto sobre

26:09 propriedades no nível do organismo, no nível humano, certo? A predisposição a doenças e assim por diante. Como podemos facilitar esse trabalho? Todas essas são direções que a equipe está explorando agora. >> Há tanta coisa acontecendo. Não quero ser ganancioso, mas queria ouvir sobre os próximos passos. O que vocês estão construindo com base nisso? Isso é incrível. Você usa o Gemini com seu filho para explorar questões científicas, como a forma como os aviões geram empuxo.

26:39 >> [ofega] >> O Gemini já explicou alguma coisa para o seu filho melhor do que você conseguiria? A ponto de você dizer: “Nossa, isso ficou muito melhor do que eu teria explicado”? >> Sim, [risos]. Acho que não se trata apenas da capacidade desses modelos de explicar conceitos usando diferentes analogias e coisas assim, mas também da capacidade de mostrar a teoria em ação.

27:10 Há algumas semanas, eu estava tentando explicar ao meu filho o que acontece em um túnel de vento quando engenheiros estão projetando, por exemplo, peças de avião. Quais são os efeitos e como eles fazem essas simulações? Pedimos ao Gemini que explicasse, e ele, na verdade, criou uma simulação.

27:41 E nela você podia brincar com diferentes parâmetros e ver como o fluxo de ar mudava. Não era totalmente precisa, mas foi uma demonstração muito boa do que é possível, certo? Criar essas representações visuais que ajudam alguém a entender o conceito. Estamos vivendo uma época incrível, porque também me lembro de quando escrevi pela primeira vez minha simulação de física de Navier-Stokes para

28:13 fluidos. Lembro que, quando olhei a teoria pela primeira vez, pensei: nunca vou entender isso. Isso, isso nunca vai acontecer. E foram meses e meses estudando e tentando, e agora entendo muito pouco disso, mas pelo menos consigo escrever um simulador básico. E aqui você só digita um prompt e obtém uma simulação. A propósito, ali do lado, porque a inteligência é tão incrível que consegue fazer esse tipo de coisa.

28:44 Tipo, simplesmente criar um teste em túnel de vento, e você provavelmente consegue executá-lo em tempo real; dá para ver as linhas de corrente. É inacreditável, e só vai melhorar. Agora, acho que tivemos um aumento de um milhão de vezes na velocidade da IA nos últimos 10 anos. Se levarmos tudo em conta, não é só hardware. É também, sei lá, os transformers, o quanto as implementações melhoraram, a engenharia, tudo. Digamos que tivemos um aumento de um milhão de vezes nos últimos 10

29:16 anos. Se nos próximos 10 anos tivermos outro aumento de um milhão de vezes, o que poderíamos fazer? >> Há tantos desafios científicos em aberto que estão além das nossas capacidades atuais. Simular até mesmo uma célula. Criar uma célula virtual. Imagine as consequências disso, certo? Se pudermos realmente entender por completo o funcionamento de uma célula, isso terá consequências incríveis para

29:46 a luta contra doenças como o câncer, ou para a biologia sintética e assim por diante. Agora, imaginem… e estamos falando de uma célula. Certo? Imaginem simular um organismo. Esse seria o poder que pode vir desse entendimento e dessa capacidade. Mas ainda estamos apenas arranhando a superfície em relação a tantas coisas sobre o mundo. Por exemplo, entender o clima a longo prazo.

30:18 Quais serão as consequências de determinadas ações para o clima a longo prazo? Como criar novos tipos de materiais que possam nos ajudar a armazenar energia e transformá-la em diferentes formas de maneira muito mais eficiente? Como entender a biologia a partir dos primeiros princípios, para conseguir realmente projetar novas funções para enfrentar alguns dos desafios que estamos vendo tanto na saúde humana quanto

30:50 na agricultura e em muitas outras áreas que o mundo enfrenta. Há tantos problemas que podem ser resolvidos com esse progresso. >> Isso foi fantástico. Normalmente, faço essas perguntas às pessoas e vejo que isso também acaba dando um nó na cabeça delas, porque um aumento de um milhão de vezes… há 10 anos, em 2016, não fazíamos ideia do que poderíamos fazer hoje. E é tão empolgante pensar: certo, se acrescentarmos mais 10 anos, do que seremos capazes? E todo mundo está pensando tão pequeno, mas essa resposta foi muito boa. >> A natureza é extremamente sofisticada, certo? E acho mesmo que há muito pelo que esperar em termos de entender o mundo. Quer dizer, estamos falando de entender as células. Entender o nosso próprio cérebro é outro desafio. O que está realmente acontecendo nos materiais? Por que eles apresentam

31:21 é capaz? E todo mundo está pensando tão pequeno, mas esse, esse foi realmente muito bom. >> A natureza é extremamente sofisticada, certo? De certa forma, nós somos… e realmente acho que há muito pelo que esperar em termos de entender o mundo. Quer dizer, estamos falando de entender as células. Entender nosso próprio cérebro, por exemplo, é outro tipo de desafio. O que está realmente acontecendo nos materiais? Por que eles estão exibindo

31:52 certas propriedades? Até mesmo propriedades que já vimos — sem falar em novos tipos de propriedades —, como a supercondutividade. Não temos uma teoria completa sobre a supercondutividade, certo? Temos uma teoria meio restrita sobre a supercondutividade. Imaginem as novas propriedades que ainda vamos explorar, ou entender de forma realmente precisa por que esses fenômenos acontecem, e a capacidade de projetar esses objetos. >> Fantástico. Pushmeet, sempre que nos encontramos,

32:25 aprendo muito. E sabe qual é a melhor parte? Vou para casa e edito esses vídeos eu mesmo. Então, vou assistir a eles mais cinco ou seis vezes. E garanto que, a cada vez, haverá algo novo que vou aprender. Foi incrível. Muito obrigado. >> Obrigado. Uso o Lambda para reproduzir artigos de pesquisa em IA, muitas vezes em minutos. Também é ótimo para treinar seus próprios modelos ou fazer fine-tuning de um modelo existente. Execute inference ou gere imagens a partir de texto ou vídeos com toda a facilidade.

32:56 Execute um chatbot DeepSeek ou um agent super-rápido e superconfiável. O Lambda oferece GPUs Nvidia poderosas para você executar seus próprios experimentos. Testo ideias dos artigos que abordo e, instantes depois, tenho resultados. Adoro. Sério, experimente agora em lambda.ai/papers.

Transcrição original

[00:00] If you can completely, sort of really understand the workings of a cell, that will have amazing consequences for the fight against diseases like cancer. >> I feel like I’ve been dropped into a science fiction movie. Like we we could only dream of of having technology like this when I was a child. Now, I also have a question, and I was thinking that maybe only you can answer this question. >> What Alpha Genome Atlas does, it basically pre-computes all of this. >> Ooh. >> Alpha Genome Atlas is 30 times the size

[00:33] of AlphaFold database. >> Wow. >> So, the scale at which uh Alpha Genome uh can produce this the the detailed information about the effect of [clears throat] variation is unprecedented. >> Good to see you, Pushmeet. Look, this is really challenging for me because this is very much outside my field of expertise, if I have any at all. As always, I come here today as a student to learn from you. What is Alpha Genome? >> Alpha Genome is a machine learning model

[01:03] which makes predictions about variation in the genome. So, our genome, uh not just the human genome, but uh genome is basically the recipe of life. Uh what it is, it’s essentially a code. In the case of uh humans, it’s a code which has 3 billion characters. And if one of those characters changes, what would be the effect on the actual cell properties? What will

[01:36] be the effect on the organism? These are the things that Alpha Genome is trying to sort of uncover. >> And if you’re the person on the street, what could Alpha Genome change eventually about medicine or their life? >> Everyone sort of is affected by uh what happens at the genomics level. Uh the genome is the recipe of life. It has both the ingredient section which says which proteins uh are expressed and the sort of mixing

[02:08] section which sort of talks about uh gene regulation, uh when do these proteins get expressed, where do they get expressed, and in what quantity. And all of that information is encoded in this recipe of life. Every single person on the planet has a recipe. I have a recipe, you have a recipe, the person on the street has a recipe. All of our recipes, while they are similar, there are some changes. But what do these changes actually mean?

[02:40] What are the implications of these changes? That’s what we have been trying to sort of understand for many, many years, if not decades. With the Human Genome Project, for the first time we were able to read the entire recipe book. At least for one human sort of genome. Uh but now we are trying to figure out how do we decipher it or understand what actually happens. If you make a change in one particular character,

[03:11] what are the consequences of it? Will it cause a specific disease? Will it basically be uh connected to high susceptibility for some kind of uh problematic uh issue, like maybe having a high body mass index or having more susceptibility to certain cancers? All of these things are can be decoded in some sense by better understanding of the variations that happen in the genome. >> Mhm.

[03:42] That is incredible. And I really wanted to ask this because my problem, every now and then I try to read medical papers. It’s not my field of expertise, but I I’m a student. I just try to learn. >> Yeah. >> And my problem is that whenever I read about, I don’t know, any kind of medicine, my problem is that every person is different. >> Yeah. >> And I go to the barber, and the barber says that he never saw two heads that are the same. >> Yeah. >> And I read a paper on muscle

[04:13] hypertrophy, like like bodybuilding paper, how to build muscle. >> Yeah. >> And they have a bunch of people carefully selected, same age, same height, same build. >> Yeah. >> They get the same diet. They do the same training. And one guy gets incredibly muscular. They do the measurements. >> Yeah. >> Some others get a bit of muscle. One poor guy didn’t get any muscle at all. And there was one who I think lost muscle. Like, it’s crazy how how different we are. I’m thinking that that is it

[04:44] possible that that we could finally be one step closer to understanding how how everyone is a bit different, and what that means. >> Yeah, exactly. I think so, this understanding or deciphering this code of life, what are the consequences? Sometimes those consequences might not mean anything, right? Like, sometimes the changes are like they are not that material. Sometimes they are very material sort of consequences which are very well understood, right? For example, sickle cell anemia. There is

[05:16] one particular sort of mutation which causes sort of sickle cell anemia, and we understand what happens there. But most of the things that sort of you care about these days, uh require are sort of polygenic in the sense that there are multiple sort of mutations that are acting on that are causing that particular incident or that that particular phenomena. And in some sense, what Alpha Genome tries to do is tries to figure out like what happens at

[05:46] especially at a single sort of mutation variation level at the molecular sort of phenotypes. Now, how do those molecular phenotypes then get affect the the property of the whole organism? Or in in the case of humans the whole the what the human sort of feels like the susceptibility to specific disease that’s something that will still need to be sort of connected and and research will need to be sort of done on that.

[06:16] >> My understanding is that before we dive deeper, AlphaFold is free for all of us forever for non-commercial use. >> Yes, exactly. So for as we have sort of done for many of our scientific models whether it’s AlphaFold 1 AlphaFold 2 AlphaFold genome we have made it accessible to the entire scientific community for academic sort of use for them to sort of use it for their own sort of research, fine-tune it sort of

[06:47] and the model weights are available. >> All this true and please explain. The genome is the instruction manual for cells. >> Absolutely. I think there’s the genome as I was saying it’s like a recipe book. It has both the coding part of the genome which is like the ingredients sort of section of the recipe book book which says what are the proteins that will need to be synthesized. So the human proteome has 20,000 proteins. So our our genome

[07:17] sort of encodes these 20,000 sort of proteins and there could be variations in those 20,000 proteins. And then there’s a non-coding part which is the which is sort of which ex- looks at how are these proteins sort of mixed? How are these proteins sort of expressed? Where are they expressed? In what quantity? And that part is basically the dark part of the genome which is much less well understood because it sort of talks about the regulation of of genes and protein expression. And so,

[07:51] I think what Alpha genome is trying to do is trying to sort of sort of decipher and inform this this whole sort of space. >> Now, I also have a question and I was thinking that maybe only you can answer this question. So, I’m I’m really curious about this. This is trained on human and mouse genomes. >> Yes. >> And what I would love to know is that you train it on the human genome. It has some amount of knowledge and and and quality of of results. Then you

[08:22] train it on the mouse genome, too. After that, does it get better at the human part? >> Yeah, and so this I think I mean you have sort of sort of seen this in many different sort of places in machine learning neural networks try to fit to the data. And if you just give it the human data, the neural network has the susceptibility that it can memorize or sort of think about the mechanisms that only

[08:54] work in the case of the human genome. But by training it by forcing it forcing the model to explain the same effects in the context of the the mouse genome, we are asking the the model to think broader and think about general sort of principles that can explain both these different types of variations. And that really helps in not only model generalization, but also making the model sort of learn about sort of what

[09:26] really matters and what’s really happening at the physiological level sort of in those molecular phenotypes. >> I’ve seen it in another Google DeepMind paper that was the Seema project which played a bunch of video games. And I really found it stunning that you play a video game, you have some score on it, and after playing a bunch of other video games, you get better at this game. I think and it seems like maybe the same phenomenon that that but that sounds like intelligence to me, right? You You apply

[09:57] the knowledge from other things to to this thing. >> Yeah, and I think that’s transfer learning in action. Where you are able to extract concepts from things which are related, but are different problems and it helps you become better. Right? So, if you sort of solve your math problems and then solve your physics problems, but just getting better on math helps you get better on physics. >> My understanding is that the big advance here was that previous models were

[10:27] either too zoomed in and short-sighted, or they looked from far away, but at a low resolution. Now, this one can do both. >> Yes. >> True or false? >> This is true. So, when we started on this journey of uh going after this extremely ambitious challenge of deciphering the genome, um there were a lot of technical challenges. Uh the our genome, as I just mentioned, is 3 billion sort of uh base

[11:00] pairs, ATCG, right? Uh sort of a very long uh sort of sequence. And if you want to understand what is the effect of a particular uh sort of variation, you need to look at a broad uh sort of an expanded uh neighborhood around that uh that variant, because it can affect sort of uh things which are quite far off because of 3D interactions and so on. It’s not that a particular sort of base pair only affects uh what happens in its neighborhood. Like

[11:31] it the neighborhood could be very large. So, earlier sort of variations of the model, so we had a model called Enformer, which preceded AlphaGenome, where both the context window uh in which we were looking at uh the neighborhood was a sort of smaller, as well as the resolution at which we were trying to analyze the genome was much coarser. Right? We were not looking at what’s happening at the base pair level. We

[12:03] were sort of looking at sort of a a large number of sort of base pairs taken together. And we were not looking at 1 million base pair window, we were looking at a smaller sort of window. What AlphaGenome it tries to do and is the first model to achieve that is to operate at the base pair resolution and have this very large window and and that allows it to not only make sort of prediction that a lot of precision, which require a lot of precision, but

[12:34] also sort of make predictions which involve reasoning about a much larger set of things that are happening in the neighborhood of that variant. >> I saw that it is so dominant. It matched or beat the strongest comparison model in 25 out of 26 variant effect benchmarks. I think only of AlphaFold did I hear like this kind of dominance. That is absolutely incredible. Now, what I’d like to ask you, when you saw that it first started working,

[13:05] what did it feel like? >> Yeah, so I think one thing that we were we have been working on this problem for a long time. As with many of our scientific challenges, uh it is these are incredibly hard problems um and require innovation in many different things like data and a sort of coming up with the better architecture, coming up with sort of new ideas on training and so forth. When we started seeing these results, we

[13:36] knew that we were in a different phase. And part of it was expected because we had done all the hard work of enabling training to happen at that resolution, which had never been sort of done before. But to get it right and to actually show that the original hypothesis that we had gone in with, that if you increase the resolution, if you increase the context window, if you regularize the training properly, then

[14:08] neural networks will sort of show show the right results. And so that was really rewarding to see for the whole team. >> Was there a phase of suspicion? Like it it it can’t be right. You know, maybe maybe we we tested on the training set or or something. >> Yeah, so I think this is where we have our team sort of we are very very cautious scientists. So there is a lot of work that the team does on sort of on metrics and evaluation. And so when

[14:40] the results came in there is you so you there is a genuine sort of uh sort of expectation that you you’re going to uh check it again to make sure that everything is working properly and these are sort of valid results, but we had a lot of confidence in our metrics that we had set them set them correctly because it was not something that we we have been doing for the last sort of three months. Like it’s it has been a project for the last almost four five years or more. >> What is Alpha Genome Atlas?

[15:10] >> So Alpha Genome Atlas is essentially a a sort of a dictionary of what happens when you have variation in the genome. So now I told you about Alpha Genome. And what Alpha Genome does is it looks at um your genome and you can ask it the question if a change this uh base pair or this character in your genome from A to a T or T to a C, what would be the consequence? And that’s very helpful. Suppose you

[15:42] wanted to understand the effects of all variations. Now, all variation there are a lot of variation because like you there are 3 billion base pairs and all of them can be changed three sort of times, right? If you A could be changed into a T or a C or a G, right? So, there are 9 billion possible single nucleotide variations that you can study. And for every single one of them, there’s a lot of data that you can sort of uh that you can extract as to what will be its effect at the

[16:13] molecular level, at uh the effect on splicing, the effect on sort of gene expression, and and so forth. What Alpha Genome Atlas does, it basically pre-computes all of this. >> Ooh. >> It basically looks at what happened for all these variations and makes this massive data sets, a petabyte size uh sort of data set, and makes it available to the scientific community. >> That’s unbelievable. It feels like this AlphaFold moment where the inference of

[16:43] time of folding became, you know, so quick that at some point Demis just said that, you know, let’s fold all the proteins. Like Atlas sounds like that for the genome. >> Exactly. So, I mean for for Alpha AlphaFold, we had um we made the predictions for uh structures of 250 million proteins, almost all the proteins that were known at that sort of time. But even the AlphaFold database, which has now been used uh by more than 4 a

[17:15] users across 190 countries Alpha in terms of its actual size Alpha genome atlas is 30 times the size of Alpha fold database. >> Wow. >> So the scale at which Alpha genome can produce this the the detailed information about the effect of variation is unprecedented. >> All this from one mega base of DNA sequence. >> Yeah, so with with a one million sort of base pair window in in context.

[17:46] >> For mutations that affect gene activity, there’s a fairly strong correlation between the predicted and the observed effect size. I saw in the paper that a row is about 0.5. >> Mhm. >> But but but that’s stunning. That’s that’s incredible. And my understanding is also that this doesn’t just predict whether a mutation matters, but often gets the magnitude of the effect roughly correct, too. Is that fair to say? >> Yes, absolutely. I think what we did

[18:18] with especially Alpha genome atlas is we came up with a a new way to sort of help scientists sort of look at the data and explore this mass amount of data. So the Alpha genome variant impact score or the AVI score is sort of carefully sort of calibrated to say if the score is high, that means that there is that particular variant

[18:49] is a variant that you should really think about and analyze sort of carefully. And if the AVI score is low, you can there’s high confidence that it will not have a dramatic impact on various different sort of phenotypes. >> Mhm. So to me this sounds like one of those root note problems where you you solve this problem and then it’s the applications can grow out of it in so many directions. I check AlphaFold

[19:19] every now and then, which was one of these root node problems. And in the first couple years I could actually look through the papers that that used it and I tried to understand what they do. Now there’s so much that’s built on top of AlphaFold that it’s completely hopeless to for any of us to understand all of it. Does it look like AlphaGenome is going to be the same? >> Yeah, I think AlphaGenome with AlphaGenome we are trying to solve that root node problem of deciphering the genome, right? And and as you sort of mentioned, it it is

[19:52] really truly a root node problem node problem in terms of its implications. So not only does it have implications for understanding sort of diseases better, it also has implications for how would you treat diseases? What are the sort of key things that you need to sort of understand about biology and what are the places where you can sort of control expression or what what variation sort of control expression of certain sort of protein which are relevant in that disease pathway. But

[20:23] it’s not just applicable for understanding diseases and human health. It has implications that go beyond in in broader sort of biology. So in fact sort of now we are seeing a lot of interest in use of generative AI in synthetic biology. And again, when you’re sort of synthesizing sort of new organisms or new sort of proteins, like what are the properties that

[20:55] we should be sort of thinking of, right? Like you would have seen DNA language models like Evo sort of come up and and people using them to sample different genomes to to solve different types of problems. And again, AlphaGenome gives you sort of a lens by which you can study the properties of those genomes. And so the implications of this model and its future sort of

[21:26] variations, which we are working on, I think will be sort of in the same way very broad. >> I feel like I’ve been dropped into a science fiction movie. Like we we could only dream of of having technology like this when I was a child. It’s I think that’s unbelievable. How do we know that it learned mechanisms, not just correlations? Like usually that’s the that’s the problem with many of these papers. That the difficult part is actually proving the connection between the two. It’s almost impossible in many cases.

[21:58] >> Yeah. So I think that’s a very good question. I think and that has been one of the sort of challenges, right? When you are looking in computational biology, that you don’t want just to learn all the statistical correlations. You want to have the model you want the model to be able to sort of understand the actual sort of causal sort of links that happen in that make the predictions possible. And if you think about it like in AlphaGenome, how that is sort of

[22:30] encoded, one is that is in terms of the properties that it predicts. It predicts properties at the molecular sort of level. So it can you can really see when it makes a prediction about a particular variation about say splice sites or splicing or gene expression. So those are very sort of those are predictions which are which can be explained biophysically. Right? Rather than sort of correlationally that oh, this variation

[23:01] happened basically causes that particular sort of disease. But, this Alpha genome is not saying that. It’s a basically actually telling you what is happening at the cellular sort of level. And then in terms of validating, uh what we have seen is actually when you make take these predictions and actually try to validate them in the lab, we see that those predictions make sense. And you can make novel uh sort of findings uh of uh of variation and and importance

[23:31] of certain variants. >> Essentially, because the whole thing is based in physics, this is what essentially helps in terms of verification. >> Yeah, I think the tasks are more physically required to reason about the physics. Now, how the model is doing it, that’s something that we we are still sort of looking at and interpreting. But, uh the the the tasks that it is being asked to solve are grounded in physics. >> Now, you have this incredibly

[24:02] sophisticated learning algorithm in AlphaFold genome. And then, in the paper on top of it, you have this tiny super simple layer of lasso regularization. And I found that really amusing. I imagine this almost like a a Formula 1 engine you invented, and it has a a little bicycle bell on top. >> Yeah, I I think the the this sort of shows the the power of the representation, right? What you want uh models like AlphaFold genome to exhibit

[24:32] is sort of a a fundamental understanding of what they are what they are seeing or how they are perceiving uh the DNA sequence. So, in in some sense, most of the work should be done by the model in terms of the feature representation, and then the sort of the final sort of predictor on top should take a very simple sort of Yeah, almost trivial form because most of the work has happened at the representation sort of layer. >> What’s the next step? >> So, there are so many things that

[25:05] we are working on, which is like with AlphaFold you know, the story does not end here. Like there is a lot that we need to do to improve AlphaFold you know, to make it even better in terms of its understanding of the genome. Um if you look at genomics and uh biology, biology sort of has a lot of different contexts. For example, different cells behave differently. Right? So, uh

[25:35] making sort of AlphaFold you know, more uh sort of aware of the context in which it needs to make these predictions is one thing that we are sort of trying to work on. Um expanding the amount of data that AlphaFold you know, can be trained on so that it can sort of become much more accurate about different kinds of properties. Connecting these molecular phenotypes that AlphaFold you know, is able to sort of produce and showing and showing their connections and impact on

[26:09] properties at the organism sort of at the human sort of level, right? The propensity to disease and so on. How do we sort of facilitate that work? All these things are a sort of directions that the team is now looking at. >> There’s so much going on. I don’t want to get greedy, but I just wanted to hear about the next steps. Like what what are you building on on top of this? That’s that’s awesome. You use Gemini with your son to explore science questions. Like how airplanes generate thrust.

[26:39] >> [gasps] >> Has Gemini ever explained something to your son better than you could? So, where you said, “Oh man, that’s that’s way better than what I would have said.” >> Yeah, [laughter] so I I I it’s it’s not only the ability of these models in explaining concepts but by using different analogies and so on but also the ability of these models to actually show the theory in action.

[27:10] So I was a few sort of weeks back I was trying to sort of explain to my son like what happens in a wind tunnel when sort of engineers are designing sort of say airplane sort of parts. And what are the effects and how do they do these simulations? And we asked Gemini to explain it and it it in fact it created a simulation.

[27:41] And where sort of you could actually play around with different parameters and see what how the air flow sort of changes. Now it was not completely accurate but but it was a very good demonstration of what is possible right and like and creating these visual artifacts that help someone understand the concept. We are living in an incredible time because I I also remember when I first wrote my Navier-Stokes physics simulation for for

[28:13] fluids. I remember when I first looked at the theory and I thought I’m never going to understand this. This is this is never happening and it took months and months of studying and and trying and now I I understand it very little about it but at least a basic simulator I can I can write. And you just here you just enter a prompt and you just got a simulation by the way on the side because the because the intelligence is so incredible that it it can do this

[28:44] sort of thing like like just make up a wind tunnel test and and you can probably running real time you can see the streamlines as as it’s unbelievable and it’s only going to get better. Now I think we had about a 1 million X AI speed up in the last 10 years. If you factor in everything, it’s not just hardware. It’s if you factor in I don’t know transformers, how much better the implementations got the engineering the everything. Let’s say we got a 1 million X in the last 10

[29:16] years. If in the next 10 years we have another 1 million X what could we do? >> There are so many open scientific challenges that are beyond our current capabilities. Simulating even a cell. Creating a virtual cell. Imagine the consequences of that, right? Like we would if you can completely sort of really understand the workings of a cell that will have amazing consequences for

[29:46] the fight against diseases like cancer or synthetic biology and so forth. Now imagine not and that’s we are talking about a cell. Right? Imagine sort of simulating a organism. That will be sort of that is the power that can come from that understanding and that capability. But there’s so many things about the world that we still are scratching the surface on. Sort of understanding long-term climate for instance.

[30:18] What are going to be the consequences of certain sort of actions on long-term sort of climate, sort of coming up with new material types that can help us sort of store energy, sort of transform energy in different forms in a much more efficient manner, understanding biology at from first principles to being able to truly design novel function for tackling uh some of the challenges that uh we are seeing both in human health as well as

[30:50] sort of in agriculture and many other uh things that uh the world is facing. There are so many uh sort of um problems that can be unlocked with that progress. >> That was fantastic. Usually I ask these question people and I see that it kind of breaks their brain, too, because a 1 million x like 10 years ago, like 2016, we had no idea what what we could do today. And and it’s it’s it’s so exciting to think that okay, it’s if you add another 10 years, what would we be

[31:21] capable of? And everyone is thinking so small, but but this one this one was really good. >> Nature is uh extremely sophisticated, right? Sort of we are and and really I think there’s a lot to look forward to in terms of um understanding the world. I I mean, understanding we’re talking about understanding cells. Uh understanding our own brain like uh is another sort of challenge. What is actually happening um in uh sort of materials? Why are they uh exhibiting

[31:52] certain properties? We even sort of properties that we uh have seen uh forget about new types of properties, but properties that we have already seen like superconductivity. We don’t have a complete theory about superconductivity, right? We have one sort of narrow theory of superconductivity. Imagine the new properties that we are yet to sort of explore or uh sort of really uh crisply understand why these phenomenas happen and the ability to be able to design those objects. >> Fantastic. Pushmeet, every time we meet

[32:25] I learn so much. And you know what the best part is? I I will go home and I cut these videos together myself. So, I’m going to watch it like five or six more times. And I guarantee you that every lesson there’s going to be something new that I learned. So, that was amazing. Thank you so much. >> Thank you. I use Lambda to reproduce AI research papers often in minutes. It’s also great to train your own models or fine-tune an existing one. Run inference or text-to-image or video easy peasy.

[32:56] Running a deep seek chatbot or agent super fast, super reliable. Lambda gives you powerful Nvidia GPUs to run your own experiments. I test ideas from the papers I cover and moments [clears throat] later, results. Love it. Seriously, try it out now at lambda.ai/papers.