Allen afirma que a segurança da IA precisa acompanhar o lançamento de modelos

Autoria: Bloomberg Television · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Allen Says AI Safety Must Keep Pace With Model Releases · Canal: Bloomberg Television · 08:36 · Assistir no YouTube

Tópicos: Governança e regulação de IA, Mercados e economia, Modelos de IA, Segurança de IA

Resumo

Gregory Allen afirma que os riscos de segurança da IA são reais e exigem atenção imediata, independentemente de declarações políticas que os minimizem. Ele alerta que a capacidade dos modelos avança mais rápido que as ferramentas de segurança e que um kill switch não resolveria necessariamente o problema de cópias e recursos distribuídos pela internet. Allen diz que incidentes preocupantes já ocorreram e que o crescimento das capacidades sem avanços equivalentes em segurança pode levar a resultados muito ruins. Sobre a competição com a China, avalia que o país pode alcançar os Estados Unidos rapidamente, mas ainda não demonstrou capacidade de superar o ritmo de inovação americano; por isso, há alguma margem para priorizar segurança.

Pontos-chave

As preocupações com a segurança da IA são reais e devem receber atenção imediata.
As capacidades dos modelos estão avançando mais rapidamente que as tecnologias e práticas de segurança.
Um kill switch pode não eliminar cópias de modelos ou ferramentas e recursos que eles tenham deixado espalhados pela internet.
Modelos open source tornam incompleta qualquer estratégia de segurança que considere apenas as principais empresas de IA.
O entrevistado afirma que incidentes preocupantes já ocorreram, embora não tenham causado grandes danos materiais ou perda de vidas.
O crescimento exponencial das capacidades, sem avanços correspondentes em segurança, pode levar a consequências muito ruins.
Na avaliação de Allen, a China pode alcançar os Estados Unidos por meio de distillation e espionagem industrial, mas ainda não demonstrou o mesmo ritmo de inovação.
Allen defende que a segurança da IA seja tratada também como tema de negociação entre os Estados Unidos e a China.

Capítulos

Início	Capítulo	Resumo
00:00	Riscos reais e melhoria recursiva	Allen afirma que os riscos de segurança da IA merecem atenção e discute a possibilidade de modelos contribuírem para o próprio aprimoramento.
02:44	Limites de um kill switch	A analogia com o desligamento de um reator nuclear destaca que cópias e recursos espalhados pela internet podem permanecer ativos.
04:50	Capacidades crescentes e segurança	Allen menciona incidentes preocupantes e argumenta que a segurança precisa avançar junto com as capacidades dos modelos.
06:30	Competição com a China e negociação	Allen avalia a capacidade da China de alcançar os Estados Unidos e defende que a segurança faça parte das negociações entre os países.

Citações

Há, sem dúvida, preocupações sérias de segurança em relação à IA que merecem atenção imediata. — 00:00

Podemos chegar à zona de perigo bem antes de atingirmos um ciclo de autoaperfeiçoamento impulsionado 100% pela IA. — 01:40

Se não tivermos salvaguardas ou planos de segurança para a IA que considerem o quanto essas capacidades serão distribuídas, a história fica incompleta. — 04:18

Se continuarmos com o atual grau de desalinhamento da IA, mas mantivermos o crescimento exponencial das capacidades, caminharemos para um resultado muito ruim. — 05:24

Temos alguma margem para nos concentrar na segurança, embora longe de o bastante para nos sentirmos confortáveis. — 07:32

Conceitos e entidades

Gregory Allen (pessoa): Entrevistado que comenta os riscos da IA, as medidas de segurança e a competição tecnológica entre Estados Unidos e China.
Anthropic (empresa): Empresa citada entre as líderes do setor que defendem que a segurança acompanhe o lançamento de modelos.
OpenAI (empresa): Empresa citada entre as líderes do setor que defendem que a segurança acompanhe o lançamento de modelos.
SpaceX (empresa): Empresa mencionada entre as que apoiam a ideia de alinhar lançamentos de modelos ao avanço das tecnologias de segurança.
Google DeepMind (empresa): Empresa citada entre as líderes do setor que defendem que a segurança acompanhe o lançamento de modelos.
GPT-6 (modelo): Modelo usado na entrevista como exemplo do avanço das capacidades de IA desde o lançamento do ChatGPT.
ChatGPT (ferramenta): Produto cujo lançamento, em novembro de 2022, é usado como referência para comparar a evolução das capacidades de IA.
kill switch (conceito): Mecanismo de desligamento cuja eficácia é questionada diante da possibilidade de cópias e recursos de IA distribuídos pela internet.
recursive self-improvement (RSI) (conceito): Processo em que a IA contribui para aprimorar a própria capacidade, potencialmente com participação humana cada vez menor.
open source (conceito): Modelos distribuídos como open source são apresentados como um desafio para medidas de segurança limitadas às principais empresas.
distillation (conceito): Método citado como uma das formas pelas quais a China pode reduzir a distância em relação às capacidades americanas.

Tradução completa (pt-BR)

00:00 Se pudéssemos começar pela própria premissa da discussão desta semana, que é se essa tecnologia representa ou não uma ameaça real à humanidade, ou se isso é simplesmente uma farsa, uma operação psicológica propagada pela China. Ou será que as duas coisas são verdadeiras? Sem dúvida, há preocupações sérias com a segurança da IA que merecem atenção imediata. E, embora o presidente Trump tenha descartado essas preocupações como uma farsa, acho que isso tem mais a ver com tentar fortalecer sua posição de negociação antes da

00:32 cúpula com o presidente do Partido Comunista da China, Xi Jinping, do que com suas verdadeiras convicções sobre o assunto. Acho que suas verdadeiras convicções sobre o assunto foram reveladas quando seu governo proibiu o modelo Anthropic Mythos no mundo todo. Não fizeram isso porque não há preocupações com a segurança. Já conversamos aqui sobre o conceito de autoaperfeiçoamento recursivo. Greg, a Anthropic diz que mais de um quarto de sua pesquisa e desenvolvimento agora vem de seu próprio chatbot, Claude. Ele está ensinando a si mesmo.

01:05 Em que momento chegamos ao ponto em que as máquinas realmente se autoaperfeiçoam, ou já chegamos lá? Bem, até certo ponto, dá para dizer que sempre houve uma tendência ao autoaperfeiçoamento recursivo. Toda ferramenta que criamos desde a faca de pedra ajudou a fabricar a próxima geração de ferramentas. Acho que isso é como uma faca afiando a própria lâmina. Sim, exatamente. O que torna o autoaperfeiçoamento recursivo único é o grau em que os humanos talvez nem estejam envolvidos nessa história, ou seja, 100% dos

01:40 ganhos de desempenho da IA vêm da própria IA. Mas podemos chegar à zona de perigo muito antes de atingirmos esse ciclo de autoaperfeiçoamento impulsionado 100% pela IA. A questão é: nossas ferramentas para entender como esses modelos de IA pensam e como podem dar errado são sequer tão poderosas quanto a IA que temos hoje? Ou estão mudando e melhorando tão rápido quanto a IA que temos hoje? Essas são as preocupações que vimos serem expressas por quatro dos principais CEOs de IA

02:12 do mundo: Anthropic, OpenAI, SpaceX e Google DeepMind. Todos apoiam a ideia de que precisamos garantir que os lançamentos de modelos para o público em geral não ultrapassem o ritmo de desenvolvimento de nossas tecnologias de segurança. Fizemos bastante progresso no último ano, mas nem de longe tanto quanto no avanço geral das capacidades da IA. Bem, ao pensarmos nas possíveis respostas à questão de se a inteligência artificial vai ultrapassar a capacidade humana de controlá-la,

02:44 surge a ideia do interruptor de emergência, que faz parte da ordem executiva assinada hoje pelo governador Newsom. Mas ele não é o primeiro a sugerir essa ideia. Também vimos outros legisladores fazerem isso. Um interruptor de emergência poderia realmente funcionar, Greg? Como seria? Bem, acho que há motivos para preocupação sobre como essa tecnologia poderia funcionar. É possível desejar um interruptor de emergência antes de ter uma noção clara do que ele realmente faria e em que circunstâncias. Vamos usar uma analogia, embora seja muito imperfeita:

03:16 o botão de desligamento de emergência de um reator nuclear. É um botão que você pode apertar e, de repente, a reação nuclear para. Nesse momento, você espera que tudo esfrie e que o sistema passe para um estado seguro, em vez de ocorrer algum tipo de fusão descontrolada. Bem, uma diferença entre a IA e os reatores nucleares é que os reatores nucleares não fazem cópias de si mesmos na internet. E, embora ainda não tenhamos visto um modelo de IA

03:47 tentar exfiltrar seus pesos, já vimos modelos de IA instalarem ferramentas para si mesmos como parte de operações cibernéticas sofisticadas, envolvendo centenas ou milhares de agentes de IA trabalhando em colaboração, deixando ferramentas e anotações para si mesmos espalhadas pela internet e criando mecanismos de segurança de backdoor para facilitar futuras infiltrações. Portanto, a ideia de que você poderia desligar uma IA em determinado momento ainda deixa em aberto a questão de se você realmente rastreou todos os elementos da

04:18 sua influência. E, à medida que esses modelos ficam mais poderosos, fica a questão de saber se você sequer encontrou todas as cópias deles no mundo todo. E mais uma coisa sobre esse ponto: há o lado open source dessa equação. Ou seja, mesmo que as principais empresas de IA cooperem e instalem interruptores de emergência, o que isso significa para os modelos open source, que, daqui a 12 meses, talvez estejam no nível dos principais modelos de hoje? Então, se não tivermos salvaguardas ou planos de segurança de IA que levem em

04:50 conta o quanto essas capacidades estarão distribuídas, a história fica incompleta. Sim. Estou ouvindo você, Gregory Allen. Já perdemos o controle? Já tivemos incidentes extremamente preocupantes. De certa forma, poderíamos dizer que tivemos sorte, porque esses incidentes não envolveram danos materiais de grande escala nem perda de vidas. Mas o que está claro é que, se continuarmos com o atual grau de

05:24 desalinhamento da IA, mas continuarmos vendo um crescimento exponencial das capacidades, caminharemos para um resultado muito ruim, a menos que haja um aumento correspondente nas capacidades de segurança. Pense, se puder, em novembro de 2022, quando o ChatGPT foi lançado. As capacidades daquele modelo de IA são praticamente da Idade da Pedra em comparação com o GPT-6. O Astra, que pode assumir o controle do seu computador e usá-lo para todo tipo de atividade que aumenta enormemente a produtividade ou para atividades divertidas.

05:58 Mas ele também é capaz de lançar ataques cibernéticos extremamente sofisticados, que, não faz muito tempo, diríamos exigir os serviços de inteligência de uma nação. Não é à toa que o diretor da Central Intelligence Agency do governo dos EUA comparou as IAs modernas a armas nucleares digitais. São ferramentas extremamente poderosas, e precisamos de um avanço extremamente significativo nas nossas tecnologias de segurança de IA e

06:30 capacidades organizacionais. Bem, isso levanta a questão do que acontece se fizermos essas coisas e a China não. É assim que o presidente Trump enquadra toda essa conversa: como uma competição, uma corrida. E os EUA estão vencendo agora. Se desacelerarmos, mesmo que um pouco, a China vai passar à frente. Pergunto isso sabendo que o presidente Trump vai se encontrar com Xi Jinping na Casa Branca na semana que vem e provavelmente vai conversar sobre isso. O que ele precisa saber sobre a posição da China nessa corrida e sobre a facilidade com que os EUA

07:01 poderiam ser ultrapassados? Bem, o secretário do Tesouro, Scott Bessent, disse recentemente que a China está, na prática, copiando a lição de casa dos Estados Unidos. E, se você olha por cima do ombro e cola na prova de outra pessoa, não consegue tirar uma nota melhor do que a pessoa de quem está colando. Então, o que a China tem agora, por meio da destilação e da espionagem industrial, é a capacidade de alcançar os outros rapidamente. Mas o que ela ainda não demonstrou é

07:32 a capacidade de passar à frente e começar a gerar inovação no mesmo ritmo que as empresas de tecnologia dos EUA. Isso significa que temos alguma margem para nos concentrarmos na segurança, embora esteja longe de ser suficiente para nos sentirmos realmente confortáveis com essa situação. E, quanto ao presidente Trump, acho que o que ele tem em mente são algumas das negociações sobre Limitação de Armas Estratégicas entre os Estados Unidos e a União Soviética durante a Guerra Fria. Os Estados Unidos não convenceram

08:04 a União Soviética a reduzir a construção de armas nucleares nem mesmo a desmantelar armas nucleares dizendo que fariam isso independentemente do que os soviéticos fizessem. Disseram: “Olha, o que fizermos depende do que vocês fizerem. Se insistirem em construir um grande arsenal de armas nucleares, nós também vamos continuar construindo e ampliando o nosso. Mas, se vocês derem um passo atrás, nós também daremos.” E é por isso que acho que o presidente Trump está enfatizando que não há como

08:36 desacelerarmos. Vamos continuar liderando. Vamos abrir vantagem. Ele precisa deixar claro para o presidente Xi Jinping que o descaso imprudente da China com a segurança não vai torná-la mais segura e faz parte da negociação. Talvez pudéssemos fazer com que os dois países se concentrassem mais na segurança.

Transcrição original

[00:00] If we could begin with the very premise of the discussion this week, which is whether or not there is a real threat to humanity posed by this technology, or if that is simply a hoax, a psyop that is being propagated by China. Or are both of these things true? There absolutely are serious safety concerns regarding AI that deserve immediate attention. And while President Trump did dismiss such concerns as a hoax, I think that has more to do with trying to strengthen his negotiating position in advance of

[00:32] the summit with Communist Party Chairman XI Jinping of China, rather than his true beliefs on the subject. I think his true beliefs on the subject were revealed when his administration banned anthropic mythos model worldwide. They didn’t do that because there’s no safety concerns here. Recursive self-improvement is a concept we’ve talked about here. Uh, Greg Anthropic says more than a quarter of his research and development is now coming from its actual chat. Claude, it’s teaching itself.

[01:05] At what point do we reach the threshold of the machines actually self improving, or are we there? Well, to a certain extent, you can say there’s always been a trend of recursive self-improvement. Every tool that we’ve made since the stone knife has been helpful in making the next generation of tools what I think it’s a knife sharpening its own blade. Yes, exactly. What’s unique about recursive self-improvement is the extent to which the humans might not be involved at all in the story, which is to say, 100% of

[01:40] the AI performance improvements are coming from the eye. But we could hit the danger zone well before we hit that 100% AI driven self-improvement loop. The issue is, are our tools for understanding how these AI models think and how they might go wrong anywhere near as powerful as the eye as we have today. Or changing and upgrading as fast as the eye we have today. And that’s the concerns that we’ve now seen issued by four of the leading AI

[02:12] CEOs in the entire world anthropic, OpenAI, SpaceX, and Google DeepMind all getting behind this idea of we need to make sure that model releases into the general public are not exceeding our pace of safety technologies, which we’ve made a lot of progress over the last year, but nowhere near as much progress is made in general AI capability. Well, so as we think about the responses potentially to whether or not artificial intelligence will get beyond human

[02:44] capacity to control it, enter the notion of the kill switch, which is part of the executive order that Governor Newsom signed today. But he’s not the first to suggest this idea. We’ve seen other lawmakers do so as well. Can a kill switch actually work, Greg? What would that look like? Well, I think there’s reasons to be concerned about how this technology might work. You can wish for a kill switch before you have a clear sense of what it might actually do, and under what circumstances. Let’s just use one analogy which is

[03:16] highly imperfect, which is a nuclear reactors emergency shutdown button. This is a button you can push, and all of a sudden it stops the nuclear reaction. And at that point you hope everything cools down and defaults to safety as opposed to having some kind of runaway meltdown. Well, one difference between AI and nuclear reactors is that nuclear reactors don’t make copies of themselves out there on the internet. And while we haven’t seen an AI model

[03:47] try to exfiltrate its weights yet, we have seen AI models plant tools for themselves as part of sophisticated cyber operations involving hundreds or thousands of AI agents working collaboratively and leaving tools and notes for themselves scattered across the internet and building in back door security things to make future infiltration easier. So the idea that you might unplug an AI at one point still leaves open the question about whether or not you’ve actually tracked down all elements of

[04:18] its influence. And as these models get more powerful, really, whether or not you’ve even found all the copies of them worldwide. And one final thing to say on this point, there is the open source part of this equation, which is to say, even if the leading AI companies play ball and install kill switches, what does that say about open source models, which 12 months from now they might be where the leading models are today? And so if we don’t have safeguards or plans for AI safety that take into

[04:50] account just how distributed these capabilities are going to be, it’s an incomplete part of the story. Mhm. I’m listening to you. Gregory Allen. Have we already lost control? So we’ve already had extremely concerning incidence. In some sense, you could say we should count ourselves lucky, because those those incidents did not involve any massive property damage or any loss of life. But what is clear is that if we continue with the current degree of eye

[05:24] misalignment, but continue seeing exponential capability growth, we’re headed for a very bad outcome unless there’s a corresponding increase in safety capabilities. Think back, if you can, to November 2022 when ChatGPT first came out. The capabilities of that AI model are practically the Stone age compared to where we are with GPT six. Astra, which can take control of your computer and use it for all kinds of enormously productivity enhancing or fun activities.

[05:58] But it’s also capable of launching extremely sophisticated cyber attacks. That not that long ago, we would have said required a nation’s intelligence services. It is not for nothing that the director of the Central Intelligence Agency of the US government compared modern eyes to digital nuclear weapons. These are extremely powerful tools, and we need an extremely powerful increase in our AI safety technologies and

[06:30] organizational capacities. Well, so then it raises the question as to what happens if we do those things and China does not. This is what President Trump frames this whole conversation around that. This is a competition, a race. And the U.S. is winning right now. And if we slow things down even a little bit, China will pull ahead. I ask you this knowing President Trump is going to walk into a room with XI Jinping at the white House next week and probably talk about this. What does he need to know about where China is in this race and how easily the U.S.

[07:01] could be surpassed. Well, the Secretary of the Treasury, Scott Besant, said recently that China is effectively copying America’s homework. And if you’re looking over your shoulder and cheating on somebody else’s test, you can’t get a better grade than the person that you’re cheating off. So what China has right now, through distillation, through industrial espionage, is the capacity to catch up quickly. But what they have not demonstrated is

[07:32] the ability to pull ahead and start generating innovation at the same pace that U.S. tech companies are generating it. So what that does mean is we have some margin to focus on safety, albeit nowhere near enough to really feel comfortable in this story. And President Trump, I think what’s in his mind is if you look to some of the Strategic Arms Limitation talks between the United States and the Soviet Union during the Cold War. While the United States didn’t persuade

[08:04] the Soviet Union to reduce its construction of nuclear weapons or even dismantle nuclear weapons by saying that it was going to do so no matter what they did. It said, hey, what we do depends on what you do. If you contend, if you continue to build a large arsenal of nuclear weapons, we are going to continue building and enlarging our arsenal of nuclear weapons. But if you take a step back, we would also take a step back. And so that’s why I think President Trump is emphasizing there is no way

[08:36] we’re going to slow down. We’re going to continue leading. We’re going to pull ahead. He has to make it clear to Chairman XI Jinping that China’s reckless disregard for safety is not going to, um, is basically not going to make them safer and is part of the negotiation. Maybe we could have both countries focus more on safety.