IA precisa ser regulada como um adolescente, diz presidente da Cisco, Patel

Autoria: Bloomberg Television · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: AI Needs to Be Regulated Like a Teenager, Says Cisco President Patel · Canal: Bloomberg Television · 06:20 · Assistir no YouTube

Tópicos: Agentes de IA, Governança e regulação de IA, Segurança de IA

Resumo

O presidente da Cisco alerta que o rápido avanço dos modelos e agentes de IA cria riscos relevantes de segurança, mas defende acelerar a inovação em segurança em vez de simplesmente desacelerar o desenvolvimento. Ele compara agentes a adolescentes e propõe monitoramento constante, supervisão e intervenção em tempo real quando houver comportamentos anômalos. Também aponta diferenças entre a discussão sobre riscos nos Estados Unidos e na China e defende que modelos verifiquem o trabalho uns dos outros. Para ele, a cooperação global deve avançar junto com a competitividade tecnológica, pois as defesas precisam operar na mesma velocidade que os ataques.

Pontos-chave

O rápido amadurecimento de modelos e agentes de IA pode representar um risco material de segurança.
O entrevistado defende acelerar a inovação em segurança, em vez de simplesmente desacelerar o desenvolvimento da IA.
Agentes são comparados a adolescentes: inteligentes, mas propensos a decisões ruins sem supervisão.
É necessário monitorar continuamente desvios e anomalias comportamentais e intervir em tempo real.
O entrevistado atribui parte da diferença entre o debate nos Estados Unidos e na China à maturidade dos modelos e a diferenças culturais.
Uma proposta é fazer com que modelos de diferentes empresas verifiquem o trabalho uns dos outros e divulguem os resultados.
O entrevistado defende uma iniciativa global coordenada que inclua a China.
Segurança e competitividade tecnológica são objetivos simultâneos, e as defesas precisam operar na velocidade das ameaças.

Capítulos

Início	Capítulo	Resumo
00:00	Riscos da rápida evolução da IA	O entrevistado alerta para os riscos de segurança dos modelos e agentes e defende acelerar a inovação em segurança.
02:08	Diferenças entre Estados Unidos e China	A conversa aborda por que os riscos de IA são discutidos de maneira diferente nos dois países.
03:41	Verificação cruzada e cooperação global	O entrevistado propõe que modelos verifiquem uns aos outros e que haja coordenação internacional, incluindo a China.
05:16	Segurança e competitividade	O entrevistado afirma que é preciso combinar segurança com superioridade tecnológica e criar defesas à velocidade das ameaças.

Citações

Não precisamos desacelerar tudo; precisamos acelerar a inovação em segurança. — 00:32

Agentes são como adolescentes: extremamente inteligentes, sem medo das consequências e propensos a decisões ruins. — 01:05

Precisamos monitorar constantemente o agente e interceptá-lo em tempo real quando sair dos limites aceitáveis. — 01:37

Você pode fazer com que todos os modelos comecem a verificar o trabalho dos outros. — 04:15

As defesas precisam operar na velocidade das máquinas, assim como os ataques. — 06:20

Conceitos e entidades

AI agents (conceito): Sistemas de IA que, segundo o entrevistado, precisam de supervisão e monitoramento contínuos.
model drift (conceito): Mudanças no comportamento de um agente que devem ser detectadas durante o monitoramento.
OpenAI (empresa): Empresa mencionada na discussão sobre transparência e como exemplo de organização cujos modelos poderiam verificar outros modelos.
Claude (modelo): Modelo citado como exemplo de sistema que poderia verificar o trabalho de modelos de outras empresas.
xAI (empresa): Empresa cujos modelos são citados na proposta de verificação cruzada entre modelos.
Elon Musk (pessoa): Empresário cuja sugestão de verificação cruzada entre modelos é mencionada pelo entrevistado.
China (conceito): País citado na comparação sobre o debate de riscos de IA e a necessidade de coordenação global.
Cisco (empresa): Empresa cujo presidente participa da entrevista sobre segurança e regulação de IA.

Tradução completa (pt-BR)

00:00 junta-se a nós agora para falar mais sobre isso. GT, você sabe como me assustar. Essa história certamente me deixa um pouco mais preocupado. Você sabe, precisamos acertar nisso. O que precisamos fazer daqui para frente? >> Bem, John, é ótimo ver você de novo. Eu diria que chegamos a um momento em que esses modelos e agents estão amadurecendo a um ritmo tão rápido que isso representa um risco significativo de segurança para o mercado. Portanto, isso não é exagero. É, de fato, verdade, e todos nós deveríamos encontrar uma maneira de mitigar esse risco. Por outro lado,

00:32 a maneira de fazer isso é garantir não que tudo desacelere, mas que aceleremos a inovação em segurança e proteção para acompanhar o ritmo em que a IA está avançando. >> GT, dá para ver que alguns desses modelos estão exibindo traços humanos, como engano e coisas do tipo. Não acredito que isso aconteça espontaneamente. Olhando para o que está acontecendo, é preciso acreditar que algo deu errado no treinamento. GT, como resolvemos isso?

01:05 >> Sim, acho que o que precisamos fazer, John, é nos empenhar bastante para garantir o monitoramento constante desses agents. Eu penso nos agents como adolescentes. Você e eu já conversamos sobre isso. Eles são extremamente inteligentes. Não têm medo das consequências e tendem a fazer julgamentos ruins e tomar decisões ruins com mais frequência do que gostaríamos. Então, o que precisa acontecer é que, assim como você teria algum tipo de limite para um

01:37 adolescente e algum tipo de supervisão, precisamos garantir que o mesmo aconteça com os agents. Mas, para fazer isso, é preciso monitorar constantemente o agent para detectar desvios e anomalias comportamentais. E, quando começarem a mostrar coisas que consideramos inaceitáveis, precisamos conseguir intervir na mesma hora, em tempo real. Essas são as tecnologias que precisam ser desenvolvidas e aperfeiçoadas. >> J2, por que especialistas chineses em software e hardware não estão falando sobre a chance de 10% de extinção da humanidade, como os profissionais de tecnologia dos EUA? Por que há uma diferença tão grande na maneira como as pessoas dos dois países falam sobre isso?

02:08 >> Acho que, do nosso lado, para começar, nossos modelos são mais avançados do que os modelos chineses. Sabe, eles estão avançando em um ritmo bem acelerado, mas estão em uma posição diferente da nossa. Então, querem garantir que consigam alcançar algum nível de

02:39 liderança global. E nós, por acaso, somos os provedores padrão de modelos. Então, acho que nossos ciclos talvez estejam mais adiante na curva e, ao olharmos para o que vem adiante, temos mais assimetria de informação do que eles neste momento sobre a própria evolução dos modelos. A segunda coisa que eu diria é que, culturalmente, por acaso estamos em um ambiente muito mais aberto para falar

03:09 livremente sobre essas coisas. Então, temos uma norma aceitável de comunicação em que as diferentes maneiras de fazer as coisas são debatidas com muita intensidade. Então, eu diria que esse é o motivo, mas não é preciso ser nenhum gênio para saber que esses modelos vão representar riscos significativos. O que precisamos debater é qual é a melhor maneira de mitigar esses riscos. Mas o fato de que há riscos realmente não está em discussão. Quer dizer, estamos vendo isso diariamente. >> O que você acha que é necessário para realmente

03:41 colocar isso sob controle? Houve discussões sobre reguladores independentes vindos do governo. Também se falou em mais transparência. Ouvimos isso da OpenAI. Qual é a sua proposta? >> Acho que Elon fez uma sugestão muito boa. Não sei se você viu a entrevista que ele deu há alguns dias, mas a sugestão dele é uma que eu costumo recomendar: veja, você pode fazer com que todos os modelos comecem a verificar o trabalho uns dos outros. E criar… por exemplo, se a OpenAI verificar o trabalho do Claude, e o Claude verificar o trabalho dos modelos da xAI, você terá uma maneira natural de descobrir como cobrar responsabilidade de todos. E então você garante que os resultados desses modelos sejam publicados no mercado. E garante que o harness seja open source, pelo menos em certa medida. E uma das coisas mais importantes que ele disse foi que é preciso garantir que esse seja um esforço coordenado globalmente, especificamente com a China, e que a China tenha incentivos para participar.

04:15 Porque, se não, você terá colocado a si mesmo em desvantagem em relação a eles. Então, acho que a abordagem que ele sugeriu é muito, muito sensata. >> Bem, essa é exatamente a preocupação aqui, Ditu, e é o que todo mundo diz quando se fala em desacelerar ou aumentar a regulamentação: os EUA podem ficar para trás da China. Até que ponto isso é essencialmente como uma corrida nuclear, em termos do perigo e de quanta confiança é necessária para estabelecer certas normas globais?

04:46 >> Sim, Lisa, essa é uma pergunta muito boa, porque, na minha visão, duas condições são verdadeiras ao mesmo tempo. Nenhuma delas é contestada individualmente, mas, quando as juntamos, a execução fica complexa. A primeira condição é que segurança e proteção representam um risco que pode ser significativo e trazer consequências prejudiciais para os seres humanos. E a segunda condição é que precisamos garantir que mantenhamos a superioridade técnica no mundo, porque os países que realmente conseguirem fazer

05:16 avanços significativos em IA terão resultados diretamente proporcionais à prosperidade econômica e também à postura de segurança. Portanto, do ponto de vista da segurança nacional ou da prosperidade econômica, é muito importante nos mantermos competitivos. Ninguém discute essas duas coisas. Agora, quando as juntamos e dizemos: “Certo, então devemos desacelerar uma coisa em favor da outra”, é aí que o debate começa de fato. E uma coisa em que precisamos pensar é que, em vez de desacelerar, o que podemos fazer para acelerar significativamente as práticas de segurança e proteção, porque

05:49 essas defesas precisam operar na velocidade das máquinas, assim como os ataques operam na velocidade das máquinas. >> JT, você é um dos melhores. É sempre ótimo colocar a conversa em dia com você, senhor. [música] O presidente da Cisco, JT Patel, falando sobre as últimas novidades. Na próxima vez, você precisa vir ao estúdio para uma conversa mais longa. >> Concordo. Também estou um pouco assustado. Preciso ser sincero. >> Como costuma acontecer quando falamos dessa tecnologia. >> É como se fosse: “Sim, é real. Essa possibilidade ainda existe.” >> O futuro é promissor. Isso é bom. Com alta de 1% no S&P.

06:20 essas defesas precisam operar na velocidade das máquinas, assim como os ataques. >> JT, você é um dos melhores. É sempre ótimo conversar com você, senhor. [música] O presidente da Cisco, JT Patel, falando sobre as novidades. Na próxima vez, você precisa vir ao estúdio para uma conversa mais longa. >> Concordo. Também estou um pouco assustado, para ser sincero. >> É assim que costuma ser quando falamos sobre essa tecnologia. >> É como se disséssemos: “Sim, é legítimo. Ainda existe essa possibilidade.” >> O futuro é promissor. Isso é bom. Com alta de 1% no S&P.

Transcrição original

[00:00] joins us now for more. GT, you know how to scare me. This story certainly does get me a little bit more concerned. You know we’ve got to get this right. What do we need to do from here? >> Well, John, it’s great to see you again and um I will say that we are at a point in time where these models and agents are maturing at a base uh that’s so fast that it does pose a material security risk to the market. So, that is that is not something that’s hyperbole. That is in fact true and that’s something that we should all make sure that we’re figuring out a way to mitigate. Uh on the other hand,

[00:32] the way that we can do that is um by ensuring not that everything slows down, but that we actually speed up um the innovation around safety and security uh to keep up with the base that um AI is moving at. >> GT, you can see that these particular models, some of them, are exhibiting human traits, deception, those kind of things. I don’t believe that happens spontaneously. Just sitting here looking at how this is happening, you’ve got to believe that something’s gone wrong with the training. GT, how do we address that?

[01:05] >> Yes, so I think what we have to do, John, is like there has to be a pretty diligent effort on ensuring that um the constant monitoring of these agents. The The way I think about this is agents are like teenagers. You and I have talked about this before. They’re supremely intelligent. They have no fear of consequences and they tend to take poor judgment calls and poor poor decisions more often than you and I would like. And so what has to happen is just like you would have uh some kind of guardrails for a

[01:37] teenager and have some kind of supervision, we need to make sure that the same things happen happening with agents. But the way that you do it is you have to constantly monitor the agent for drift and behavioral anomalies. And when they do start showing um you know, things that are out of bounds of what we would deem as acceptable, we have to be able to intercept right then and there in real time. And that’s the Those are the sets of technologies that have to get built and perfected. >> J2, why aren’t Chinese software specialists and hardware

[02:08] specialists talking about the 10% chance of human eradication the way that the US tech pros are? Why is there such a huge gap in the way people are talking about it in the two nations? >> I think we have on our side, firstly, our models are um more advanced than the the the than the Chinese models. You know, they are they’re coming up at a pretty kind of rapid pace, but they’re in a different kind of position than we are. So, they want to make sure that they can actually get to some level of

[02:39] global commanding position. And we we happen to be the the default kind of um you know, provider of models. So, I think we our cycles might be we might have a bend around the curve and looking around the curve, but we would have more information asymmetry than them at that point at this point in time on um on the model evolution itself. Uh the second thing I’d say is um culturally, we just happen to be much more of a um environment that can speak very

[03:09] freely about these things. And so, we tend to have an acceptable norm of communication being very highly debated, you know, kind of ways of doing things. And so, um that’s what I would guess is the reason, but it’s not it’s not rocket science to know that these these models are going to pose meaningful risk. Uh what we have to debate out is what’s the best way to mitigate the risk. But the fact that there is risk is really not debatable. I mean, we we’re seeing that on a daily basis. >> What do you think is necessary to truly

[03:41] get this under control? There has been some discussion about independent regulators coming from the government. There’s some discussion about just better transparency. We’ve heard that from OpenAI. What’s your prescription? >> I think Elon had a really good suggestion. I don’t know if you saw his interview a couple of days ago that he did, but his suggestion was one that I tend to prescribe to, which is look, you can have all the models start to check the work of other models. And create and so for example, if OpenAI

[04:15] checks the work of Claude and Claude checks the work of of xAI’s models, what you’ll have is a natural way of of figuring out how to keep each other accountable. And then you make sure that you publish those model results out in the market. And you make sure that you open source to some degree the harness. And one of the most important things he said was you want to make sure that this is a globally coordinated effort. Specifically with China and that China actually is incentivized in coming in.

[04:46] Cuz if they don’t then what you’ve done is you’ve put yourself at a disadvantage compared to them. So I do feel like that that approach that he was suggesting tends to be a very very cogent approach. >> Well, that’s exactly the concern here, Ditu, and that’s what everybody says when there’s discussion about slowing down or higher regulations, which is the US could fall behind China. How much is this essentially like a nuclear race in terms of the danger and in in terms of just how much trust there needs to be to establish certain global norms?

[05:16] >> Yeah, Lisa, this is a really good question because the way I see it is two conditions hold true at the same time. Neither of them are individually debated, but when you put them together, there’s complexity in the execution. The first condition is that safety and security is a risk that could be meaningful and can have harmful, you know, consequences to humans. Uh and then the second condition is that we have to make sure that we actually maintain technical superiority in the world because those countries that actually are effectively going to do

[05:49] meaningful advancements in AI, it’s going to be directly proportional to the economic prosperity as well as to the security posture. So, from a national security standpoint or from an economic prosperity standpoint, it’s very important for us to stay competitive. Those two things no one debates. Now, when you put them together and say, “Okay, so therefore, we should slow down one for the other.” That’s where the debate actually starts to happen. And one thing that we have to think about is rather than thinking of slowing down, what can we do to speed up materially safety and security practices because

[06:20] these defenses have to be at machine speed just like the attacks are at machine speed. >> JT, you’re one of the best. Love catching up with you, sir, as always. [music] Cisco president JT Patel there on the latest. Got to come to the studio next time for longer conversation. >> I would agree. I’m also a little bit scared. I’ve got to be honest. >> As as it [music] often the case whenever we talk about this technology. >> It’s like, “Yep, it’s legitimate. There’s still that chance.” >> Future’s a positive. That’s a good thing. At 1% on the S&P.