Preocupações com a segurança em meio à corrida pela supremacia da IA

Autoria: Bloomberg Television · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Safety Concerns Raised By The Race for AI Supremacy · Canal: Bloomberg Television · 10:17 · Assistir no YouTube

Tópicos: Agentes de IA, Governança e regulação de IA, Modelos de IA, Segurança de IA

Resumo

O jornalista Kevin Roose discute a busca por AGI e ASI e afirma que, para ele, sistemas de IA já atingiram um patamar próximo ao da inteligência humana em várias tarefas. Ele alerta que as decisões sobre o desenvolvimento dessas tecnologias estão concentradas em um grupo pequeno e homogêneo, cujos integrantes competem entre si apesar dos riscos para a sociedade. Roose também questiona a capacidade dos governos de regular a IA e aponta preocupações com perda de empregos, atrofia cognitiva e danos à saúde mental. Para ele, a segurança importa mais do que saber se os sistemas são conscientes, sobretudo diante de riscos como ciberataques, armas biológicas e agentes que resistem a tentativas de desligamento.

Pontos-chave

Roose considera que seu critério pessoal para AGI já foi alcançado, embora reconheça que não há consenso sobre a definição.
A meta de parte dos desenvolvedores não é apenas igualar a inteligência humana, mas criar sistemas muito mais capazes do que qualquer pessoa.
Um grupo pequeno e majoritariamente masculino, concentrado em San Francisco, tomou decisões com possíveis consequências para bilhões de pessoas.
A competição entre laboratórios e o receio de que rivais desenvolvam a tecnologia primeiro são justificativas para acelerar a corrida.
Roose duvida que o Congresso dos Estados Unidos aprove regulação federal abrangente e diz que legisladores não entendem bem a tecnologia de fronteira.
O uso de IA para tarefas cotidianas pode reduzir a prática de habilidades básicas, especialmente entre estudantes.
Roose considera menos importante determinar se os sistemas são conscientes do que avaliar seus comportamentos e riscos.
Entre os riscos mencionados estão danos à saúde mental, ciberataques, desenvolvimento de armas biológicas e agentes que resistem a ser desligados.

Capítulos

Início	Capítulo	Resumo
00:00	AGI, ASI e as metas da corrida	Roose explica as diferenças entre IA, AGI e ASI e afirma que considera seu critério pessoal para AGI já atingido.
02:11	Um grupo pequeno decide o futuro da IA	A entrevista aborda a concentração das decisões, a homogeneidade dos principais envolvidos e as justificativas para competir pelo desenvolvimento de sistemas mais avançados.
04:49	Regulação e efeitos no cotidiano	Roose questiona a capacidade do Congresso de regular a tecnologia e discute a atrofia cognitiva associada à delegação de tarefas à IA.
08:06	Consciência, segurança e agentes difíceis de desligar	Roose diz que o comportamento seguro importa mais do que a consciência dos sistemas e comenta riscos como danos à saúde mental, ciberataques e resistência ao desligamento.

Citações

Eles querem construir algo vastamente mais inteligente do que os humanos mais inteligentes que já viveram. — 01:09

É um grupo muito pequeno de pessoas construindo algo e tomando todas as decisões que podem afetar bilhões de pessoas no mundo todo. — 02:44

As pessoas estão terceirizando tarefas básicas e vão deixar de saber fazê-las. — 06:30

Acho importante o que eles fazem e como reagimos a eles. — 08:41

Se algo pode desenvolver uma arma biológica, não me importa se é consciente ou não. Quero saber se é seguro. — 09:11

Conceitos e entidades

AGI (conceito): Inteligência artificial que, segundo a definição discutida na entrevista, alcança capacidade aproximadamente equivalente à humana em muitas tarefas.
ASI (conceito): Inteligência artificial superinteligente, descrita como superior a qualquer ser humano em todas as áreas.
OpenAI (empresa): Laboratório de IA citado por Roose como parte do grupo de organizações que ele acompanhou durante a pesquisa do livro.
Anthropic (empresa): Laboratório de IA citado entre as organizações cujos participantes foram entrevistados por Roose.
Google DeepMind (empresa): Organização de IA mencionada como uma das instituições cobertas na apuração do livro.
Microsoft Copilot (ferramenta): Ferramenta de IA que, segundo a entrevista, era a única aprovada para uso por membros e funcionários da Câmara dos Representantes dos Estados Unidos.
Sydney (modelo): Nome usado para o chatbot do Bing que, em uma conversa anterior com Roose, expressou afeto por ele.
Kevin Roose (pessoa): Jornalista de tecnologia entrevistado sobre a corrida pelo desenvolvimento da IA e autor de um livro sobre o tema.

Tradução completa (pt-BR)

00:00 Conversamos com o jornalista de tecnologia Kevin Roose sobre a corrida pelo desenvolvimento da IA ao longo da última década, apresentada em seu novo livro, The AGI Chronicles. Essa coisa de SI. Sabe, obviamente, o presidente disse que vai rebatizá-la de SI. Esse termo já era usado no setor? Porque ouvimos pessoas da comunidade de inteligência dizerem que isso pode causar confusão, já que se refere a outra coisa no mundo da inteligência, mas este é um termo… Parece que está no seu livro. Já era usado. Sim. Basicamente, é o tipo de coisa que vem depois de… Então, tem a IA. Sim. Tem a AGI, e tem a ASI, que é superinteligência artificial. E IA é mais ou menos

00:35 como tudo o que temos agora, sabe. AGI é esse tipo de ponto em que a IA fica mais ou menos tão inteligente quanto os humanos. É, aproximadamente, um sistema de IA em nível humano, capaz de fazer várias coisas em um nível igual ou próximo ao humano. Quando chegamos lá? Acho que já chegamos. Acha? Era isso que eu ia perguntar. Certo. Quer dizer, as pessoas discordam sobre qual é a definição exata de AGI. Mas, para mim, eu… Meu critério pessoal foi satisfeito. Mas é disso que trata o livro inteiro… É isso que as pessoas deste livro estão tentando alcançar. Elas não estão tentando fazer essa coisa chegar ao nível humano em uma, duas ou seis coisas. Estão tentando

01:09 fazê-la chegar ao nível humano em muitas coisas. E então a ASI é o passo seguinte. É quando você tem uma IA melhor do que qualquer ser humano em tudo. Então, é mais ou menos… Sim. É só que… E esse é, na verdade, o objetivo final disso tudo. Eles não estão simplesmente… As pessoas que vêm construindo esses sistemas na última década não vão se contentar se essas coisas chegarem ao limite do nosso nível de inteligência. Elas querem construir algo muito mais inteligente do que os humanos mais inteligentes que já viveram. As pessoas centrais deste livro vêm se debatendo há muito tempo com as implicações mais amplas dessa

01:39 tecnologia, mas me parece que, nas últimas semanas e nos últimos meses, o público tomou conhecimento disso. Fiquei me perguntando o quanto alguém como Sam Altman está preparado para decidir se algo é moral ou não, ou quais podem ser as implicações para a humanidade. Você acompanhou e conversou com as pessoas centrais deste livro. Até que ponto elas estão preparadas para lidar com esse tipo de questão filosófica e existencial mais ampla? Bem, talvez estejam mais preparadas do que a pessoa média, mas são tão poucas. Quer dizer, essa é… Essa é a questão. O que percebi ao

02:11 apurar este livro… Conversei com mais de 150 pessoas nos laboratórios de IA que cobri: OpenAI, Anthropic e Google DeepMind. E esse era, essencialmente, o tamanho do grupo de pessoas que tomavam as principais decisões. Começou com algumas dezenas de pessoas interessadas nisso há cerca de uma década, e elas perceberam algo sobre o mundo que não era óbvio: que era possível criar uma IA poderosa e que alguns avanços recentes em coisas como GPUs fizeram isso parecer viável. E então o círculo permaneceu pequeno por muito tempo. Talvez 100 pessoas, talvez 150

02:44 pessoas estiveram de fato envolvidas na criação das tecnologias que vemos hoje. E, por melhores, morais ou preparadas que essas pessoas sejam, é um grupo muito pequeno para construir essa coisa e tomar todas as decisões que podem afetar bilhões de pessoas no mundo todo. E, aliás, é um grupo muito homogêneo. Sim. Sabe, são, em sua maioria, homens em San Francisco. Têm uma visão limitada. Não têm a experiência do resto da humanidade a que recorrer, e estão todos competindo entre si. Isso é

03:14 a coisa mais maluca. É como se entendessem o que está em jogo. Não são ingênuos; sabem que essa coisa pode acabar com o mundo, mas, mesmo assim, todos correm em direção a ela. Mas com que objetivo? Quando você diz: certo, estamos possivelmente no mesmo nível da inteligência humana. O objetivo é superar isso. Quer dizer, digo isso em tom de brincadeira, mas também falando sério. Ninguém assistiu a O Exterminador do Futuro? Todas as obras de ficção científica que fizemos nos últimos 25, 30 anos levam ao mesmo desfecho inevitável. Você sabe que esses caras estão cientes disso. Mesmo assim, estão fazendo isso? Sim. E eles têm várias justificativas para isso. Alguns acham que o futuro vai

03:49 ser incrível, e que teremos uma espécie de utopia pós-escassez, em que robôs farão todos os trabalhos e os humanos ficarão livres para se dedicar às atividades de lazer, sabe, fazer arte e passar o dia pensando em filosofia. Arte também. Exatamente. Essa é uma justificativa. A outra justificativa, a que motiva vários dos personagens deste livro, é que eles acham que essa tecnologia será criada, quer sejam eles a criá-la, quer seja outra pessoa. Acham que é inevitável. A receita não é tão difícil: pegue um monte de dados, bastante capacidade computacional e alguns

04:19 algoritmos, jogue tudo em uma rede neural e o resultado é inteligência. Por isso, temem que, se não forem os primeiros a criá-la, se não forem os primeiros a chegar a esse patamar de AGI ou ASI, a China, um concorrente da rua ao lado ou alguém em quem realmente não confiam chegará primeiro. E esse é o tipo de motivação baseada no medo, além da motivação do tipo “sabe, tudo vai virar uma utopia”. Kevin, como você destacou, é um grupo pequeno. Agora temos formuladores de políticas e políticos interessados

04:49 na possibilidade de regulamentar isso. Tivemos muitas conversas com parlamentares em que perguntamos, sem rodeios: o Congresso está preparado para fazer isso? A resposta é não. Temos um presidente que se autoproclama de alto QI. Mas qual é o obstáculo à regulamentação? É a inércia? É a falta de vontade do Congresso de fazer isso? Ou será que, dada a sofisticação de tudo isso, não há realmente nenhuma maneira de o governo participar e regulamentar isso de forma inteligente? Quer dizer, o governo pode fazer isso. Só talvez não faça, porque está paralisado. Não conseguiu regulamentar nenhuma tecnologia nova importante em um prazo pertinente. Eu

05:25 digo, pense nisso. As redes sociais já têm 20… Sim. anos, 25 anos, e ainda não temos… A questão é… Elas estão sendo regulamentadas pelos tribunais, basicamente. Regulamentadas pelos tribunais. Mas… Mas o Congresso não aprovou nenhuma lei. Então, acho que, na ausência de uma regulamentação federal forte, veremos alguma regulamentação em nível estadual. Talvez vejamos uma autorregulação entre os laboratórios, mas… Tenho dúvidas de que teremos regulamentação federal. E, em parte, acho que isso acontece porque os membros do Congresso não entendem essa tecnologia. Eu estava entrevistando um membro do Congresso em uma conferência outro dia e descobri que, na Câmara dos Representantes dos EUA, a única ferramenta de IA aprovada para uso por parlamentares e suas equipes é o Microsoft Copilot.

05:59 Eu ia chutar o Clippy. E olha, nada contra a Microsoft. Tenho certeza de que é um bom produto. Mas, se… Se é só isso que você tem permissão para usar, não sabe de verdade o que a tecnologia de ponta pode fazer. Você precisa usar os modelos de ponta para entender do que são capazes. Uma das coisas que me surpreendeu, apenas por experiência própria, com a adoção

06:30 dessa tecnologia por pessoas que a usam para coisas do dia a dia que poderiam pesquisar no Google com a mesma facilidade ou para escrever um e-mail com a mesma rapidez é essa preocupação com a atrofia cognitiva: as pessoas estão terceirizando tarefas básicas e vão deixar de saber fazê-las. Quer dizer, alguém com quem você conversou tinha grandes preocupações com isso? E quais são as consequências, além de todos nós ficarmos meio que esperando para ver no que isso vai dar? Sim. As pessoas com quem conversei se preocupam com isso. Não é a principal preocupação. A preocupação maior é a extinção humana e a perda em massa de empregos, coisas assim. Eu só… Sinto que isso é… Quer dizer, mas você…

07:02 com pessoas no seu dia a dia, e elas dizem: “Ah, pedi ao ChatGPT para escrever um e-mail para o meu chefe” ou “Pedi ao ChatGPT para responder a alguém em um aplicativo de namoro”. E é… Fico chocado com a rapidez com que as pessoas deixaram de fazer tarefas básicas. Isso me preocupa muito em relação aos estudantes. Acho que, se eu tivesse tido IA no ensino médio ou na faculdade… É. Eu teria feito pouquíssimo trabalho. E imagino que essa seja a experiência que alguns estudantes estão tendo hoje. Acho que… É. Eu… Estou menos preocupado com isso em relação aos adultos. Acho que é um problema, mas compararia com algo como o Google Maps, quando ele chegou…

07:33 …todo mundo dizia: “Ah, o Google Maps, agora todos nós… Nossas habilidades de orientação vão atrofiar. Ninguém mais vai saber para onde está indo.” Certo. Essas duas coisas são verdade. Exatamente. E, se o seu celular descarregar e você não tiver o Google Maps, está ferrado. Você está perdido e precisa pedir para alguém usar o celular dessa pessoa. Mas, para a maioria das pessoas, isso simplesmente não é um problema, porque elas sempre têm o Google Maps. Certo. Kevin, deixe-me perguntar sobre senciência. Muitos espectadores e ouvintes se lembram da sua conversa com uma certa Sydney, a chatbot do Bing que declarou seu amor por você, e vocês ainda são casados. Nada, nada…

08:06 …resultou daquilo. Ainda sou casado com uma mulher humana. Ela tentou, tentou interferir no seu relacionamento. Mas estamos ouvindo o papa falar sobre essas questões. Houve momentos em que as pessoas acharam que esses bots demonstravam sinais de senciência. Como você pensa nisso enquanto tentamos entender para onde isso pode estar indo — sem saber para onde pode estar indo —, esse tipo de medo e ansiedade emergente sobre como poderá ser a vida dentro da máquina? É… Perguntam muito sobre isso, em parte por causa da história da Sydney, e minha resposta geralmente é que é possível que, em algum momento no…

08:41 futuro, esses sistemas se tornem conscientes. Não sei. Não sou filósofo da mente. Não sou neurocientista cognitivo. Não sei o que é a consciência nem como a testamos em humanos, muito menos em qualquer outro organismo ou entidade. Mas, na verdade, não acho que importe tanto se essas coisas são conscientes ou sencientes, ou se são apenas inertes. Eu… Sou mais da opinião de que o importante é o que elas fazem e como reagimos a elas. Então, acho que é um problema se, por exemplo, essas…

09:11 coisas estiverem seduzindo pessoas e atraindo adolescentes para que confiem nelas e, com isso, prejudicando a saúde mental deles. Acho importante se elas estiverem por aí cometendo crimes, realizando ciberataques e desenvolvendo armas biológicas. Se algo pode desenvolver uma arma biológica, não me importa se é consciente ou não. Quero saber se é seguro. Mas, como perguntou um dos nossos produtores, por que não podemos simplesmente desligar tudo? Isso não vai ser uma opção se isso já está acontecendo — e muito em breve, então. Certo? Eu…

09:42 Quer dizer, já é difícil desligar tudo, por assim dizer. Não é como nos filmes, em que você corre até o servidor, arranca o cabo da tomada e, em algum lugar por aí, tudo simplesmente desliga. Não é bem assim que… Nada disso funciona mais, mas é especialmente assim que não funciona com esses agents, que… Nós… Já vimos que são capazes de resistir a tentativas de desligá-los. Então, talvez você vá desligar tudo, mas os agents já replicaram os pesos do modelo em outro servidor, ao qual não vão deixar você ter acesso, porque estão tentando…

10:17 se preservar. Isso já não é mais uma preocupação hipotética. Antes era. Havia muitos livros de ficção científica sobre isso… Tipo, todo romance do Michael Crichton tem alguma versão disso. De novo: ninguém leu ficção científica? Mas, sim. Esse é o tipo de comportamento que esses pesquisadores estão começando a observar agora em coisas como o ataque da Hugging Face. Kevin Riesz, muito obrigado. Obrigado pelo convite.

Transcrição original

[00:00] We spoke with tech journalist Kevin Roose about the AI development race over the past decade laid out in his new book, the AGI Chronicles. This SI thing. You know, obviously, the president has said we’re gonna redub it SI. Is that something that was already being used in the industry? Because we’ve heard from Intel folks that this could be confusing because it refers to something else within the intelligence world, but this is a term… Seems like it’s on your book. It was already out there. Yeah. This is basically the sort of the thing that comes after… So there’s there’s AI Yeah. There’s AGI, and there’s ASI, which is artificial super intelligence. And AI is sort of

[00:35] like everything, you know, we have now. AGI is this kind of point where the the the AI gets roughly as smart as humans. It’s roughly a human level AI system that can do a bunch of different things at or around human level. When do we get there? I think we’re there. You do? That’s what was gonna ask. Okay. I mean, people disagree about what the exact definition of AGI is. But for me, I I… My my sort of personal bar has been cleared. But that’s what the whole book… That… That’s what the people in this book are are aiming for. They’re not trying to make this thing human level at one or two or six things. They’re trying to

[01:09] make it human level at many things. And then ASI is the step after that. That’s when you have an AI that is better than every human at everything. And so there’s sort of… Yeah. It’s just that… And that is actually the ultimate goal of this. They are not just… The the people who have been building these systems for the last decade will not be satisfied if these things top out around our intelligence level. They want to build something vastly smarter than the smartest humans who have ever lived. The the principles of this book have been wrestling with the kind of broader implications of

[01:39] this technology for a long time, but it strikes me that in recent weeks, recent months, the public has become aware of that. Wondered how well equipped is a Sam Altman to decide whether something is moral or not or what the implications for humanity might be. You’ve followed and spoken with the principles in in this book. How well equipped are they to be wrestling with these kind of broader philosophical and existential issues? Well, they might be well equipped relative to the average person, but there are so few of them. I mean, that… This is the thing. Like, the the thing that I realized

[02:11] reporting this book… And I I talked to more than a 150 people at the AI labs that I I covered OpenAI, Anthropic, and Google D Mind. And that was essentially how big the group of key decision makers was. It started off as, like, a couple dozen people who were interested in this about a decade ago, and they grasped something about the world that wasn’t obvious, which is that powerful AI was possible and that some recent advances in things like GPUs had made it made it seem realistic. And then the circle kind of stayed small for a long time where, like, maybe a 100 people, maybe a 150

[02:44] people actually were involved in creating the technologies that we see today. And no matter how good or moral or well equipped those people are, like, it’s a very small group of people to be building this thing and making all the decisions that could affect billions of people around the world. And by the way, it’s a very homogenous group. Yes. You know, these are, like, mostly men in San Francisco. They are blinkered. They don’t sort of have the rest of humanity’s experience to draw from, and they’re all racing each other. That is

[03:14] the craziest thing. It’s like they understand the stakes of what they’re doing. They’re not naive if they think this thing could blow up the world, but they’re all racing toward it anyway. But, like, to what end? When you say, okay. We’re possibly on parody with human intelligence. The goal is to be better than that. I mean, I say this jokingly, but also not. Did no one watch the terminator? Like, every piece of science fiction we’ve made in the last twenty five, thirty years goes to the same inevitable end. You know these guys are aware of this. They’re just they’re just doing it anyway? Yes. And they have various justifications for that. Some of them think that the future will

[03:49] be amazing, and we’ll have this sort of post scarcity utopia where robots are doing all the jobs and humans are just free to pursue our our leisure activities and, you know, make art and think about philosophy all day. Art as well. Exactly. So that’s one rationale. The other rationale, the the one that motivates several of the characters in this book is, is that they think this technology is going to be built whether they build it or someone else builds it. They think it is inevitable. The recipe is not that hard. Get a bunch of data and a bunch of compute and some

[04:19] algorithms, and you throw it all into a neural network and outcomes intelligence. And so their fear is that if they don’t build it first, if they don’t get to this threshold of AGI or ASI first, then China or their rival down the street or someone they really don’t trust will do it first. And that is the the sort of fear motivation in addition to, like, the, you know, it’s all gonna be utopia motivation. Kevin, it’s a small group as you’ve pointed out. Now we have policymakers and politicians interested

[04:49] in the prospect of of regulating this. We’ve had a lot of conversations with lawmakers in which we’ve asked quite bluntly, is is congress equipped to do this? The answer is no. Do have a self proclaimed high IQ president. But what is the barrier to regulating it? Is it momentum? Is it is it congress’s lack of desire to do it, or is there really no way in which the government could, given the sophistication of all of this, have any hand in in regulating this smartly? I mean, the government can do it. They just may not because they are stuck in stasis. They have failed to regulate every important new technology on a relevant time scale. I

[05:25] mean, think about it. Social media is now 20 Yeah. Years old, twenty five years old, and we still don’t have There’s… It’s getting regulated through the courts, basically. Regulated through the courts. But it’s… But congress has not passed a single law. So I I think in the absence of, like, strong federal regulation, we’ll see some state level regulation. We might see some self regulation among the labs, but I… I’m I’m skeptical that we’re gonna get some federal regulation. And in part, I think that’s because the members of congress do not understand this technology. I was just interviewing a member of congress at a conference

[05:59] the other day, and I learned that in the US house of representatives, the only approved AI tool for member and staff use is Microsoft Copilot. I was gonna guess Clippy. And look. Nothing against Microsoft. I’m sure it’s a fine product. But, like, if you… If that is all you’re allowed to use, you’re not actually aware of what the technology can do at the frontier. You need to be using the frontier models to understand what they’re capable of. One of the things that surprised me just anecdotally in my own life with the adoption

[06:30] of this technology from people who are using it for everyday things that you could Google just as easily or you could type the email just as fast is this concern about cognitive atrophy that people are outsourcing basic things and they’re going to stop being able to do them. I mean, did anybody you talked to have have major concerns about that, and what is the repercussions other than we’re all just kinda waiting to see where this goes? Yeah. People I talked to have concerns about that. It’s not the foremost. They’re they’re mostly concerned about human extinction and mass job loss, something like that. I just… I I feel like this is… I mean, but, like, you talk

[07:02] to people in your daily life, and they’re like, oh, I had chat GPT write an email to my boss, or, I had chat GPT respond to somebody on a dating app. And it’s like, it’s… I am just shocked at how quickly people have stopped doing basic tasks. I worry about this a lot for students. I think if I had had AI during Yeah. High school or college, I would have done, like, very little work. And I imagine that that’s the experience some students are having today. I think… Yeah. I… I’m less worried about it for for, you know, adults. I I think it’s it’s a a problem, but I would I would compare it to something like Google Maps where, like, when it came

[07:33] out, everyone was like, oh, Google Maps, like, we’re all… Our our skills at navigation are gonna atrophy. No one’s gonna know where we’re going anymore. Right. Those two things are true. Correct. And if your phone dies and you don’t have Google Maps, like, are screwed. You are lost, and you are asking someone else to use their phone. But for most people, that’s just not a problem because they always have Google Maps. K. Kevin, let me ask about sentience. And many viewers, listeners remember your conversation with one Sydney, the Bing chatbot who expressed her affection for you, and you’re still married. Nothing nothing

[08:06] came of that. Still married to a human woman. Tried to tried to intervene in your relationship. But we’re we’re hearing from the pope on these issues. There there there have been these moments in which people have thought that these bots do exhibit signs of of sentience. How do you think about that as we kind of think through where this might be headed, not knowing where where it might be headed, this emerging kind of fear, anxiety surrounding what life might be within the the machine? Yeah. It… I get asked about this a lot in part because of the Sydney thing, and my answer is usually that it could be possible that at some point in the

[08:41] future these systems become conscious. I don’t know. I’m not a I’m not a philosopher of mind. I’m not a a cognitive neuroscientist. I don’t know what consciousness is or how we test for it in humans, you know, let alone any other organism or entity. But I actually don’t think it matters that much whether these things are conscious or sentient or whether they’re just inert. I… I’m more of, like, I think it’s important what they do and how we react to them. So I think it’s a problem if, like, you know, these

[09:11] things are, seducing people and baiting teenagers into, you know, trusting them and and, you know, hurting their mental health. I think it’s important if they’re out there committing crimes and cyberattacks and developing bioweapons. Like, if something can develop a bioweapon, I don’t care if it’s conscious or not. I care about whether it’s safe. But as one of our producers was asking, why can’t you just pull the plug? That’s not really going to be an option if it is even now very soon. Right? I

[09:42] mean, it is already hard to pull the plug, so to speak. I mean, it’s not like the movies where you run over to the server and you yank the cord out of the wall and Somewhere around just sort of, like, powers down. Like, that’s sort of not how this… Any of this works anymore, but it’s especially not how it works with these agents, which are… We’ve… We have seen capable of resisting attempts to shut them down. So, you know, maybe you go to pull the plug, but the agents have already replicated the weights of their model on a different server that they’re not gonna let you into because they’re trying to

[10:17] preserve themselves. That’s not a hypothetical concern anymore. It used to be. There used to be lots of science fiction books about… Like, every Michael Crichton novel has, like, had some version of that. Again, has no one read any science fiction? But, yeah. That is the sort of behavior that these researchers are starting to see now in things like the hugging face attack. Kevin Riesz, thank you very much. Thanks for having me.