Debate sobre IA precisa de evidências, não de esperanças e temores: deSouza

Autoria: Bloomberg Television · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: AI Debate Needs Evidence, Not Hopes and Fears: deSouza · Canal: Bloomberg Television · 06:50 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Governança e regulação de IA, Modelos locais e open source, Segurança de IA

Resumo

Francis defende avaliações independentes e abrangentes para entender as capacidades e os riscos dos modelos de IA. Ele afirma que decisões sobre regulação e ritmo de desenvolvimento devem se basear em evidências, e não apenas em esperanças ou temores. A estratégia de testes, segundo ele, deve incluir tanto modelos de fronteira quanto modelos de pesos abertos. Também é preciso avaliar aspectos além da precisão, como vieses e se o modelo segue as etapas adequadas para chegar a uma resposta.

Pontos-chave

O acordo voluntário discutido na Casa Branca prevê mais avaliações pelas próprias empresas e testes feitos por avaliadores independentes.
A avaliação deve abranger todos os modelos, não apenas os modelos de fronteira.
A empresa de Francis fornece dados para o desenvolvimento de modelos, ajuda a implementar agentic workflows com guardrails e oferece avaliações.
A regulação e o ritmo de desenvolvimento da IA devem ser orientados por evidências sobre capacidades e riscos.
É necessário testar riscos em domínios como cibersegurança, biologia e radiologia.
O debate sobre os riscos da IA inclui opiniões diferentes e válidas sobre a urgência de avançar e a necessidade de cautela.
Modelos de pesos abertos também precisam ser avaliados quanto a capacidades e riscos.
Em aplicações clínicas, avaliar apenas a precisão de um diagnóstico não basta: também importa verificar como o modelo chegou à resposta.

Capítulos

Início	Capítulo	Resumo
00:00	Acordo voluntário e avaliações independentes	Francis comenta a necessidade de maior visibilidade sobre os modelos e defende avaliações internas e testes independentes de todos os tipos de modelo.
02:04	Decisões sobre IA baseadas em evidências	Ele argumenta que o ritmo do desenvolvimento e as medidas de mitigação devem ser guiados por uma compreensão clara das capacidades e dos riscos.
04:12	Benefícios, riscos e ritmo de desenvolvimento	Francis reconhece diferentes posições sobre avançar rapidamente ou com mais cautela e defende avaliar os riscos antes de decidir como mitigá-los.
05:48	Avaliar todos os modelos e seus processos	A entrevista destaca a necessidade de incluir modelos de pesos abertos e de avaliar, além da precisão, vieses e as etapas usadas para chegar a uma resposta.

Citações

É importante que haja avaliações independentes das capacidades dos modelos e dos riscos associados a cada um. — 00:31

Precisamos de uma estratégia baseada em evidências, não em esperanças e temores. — 02:36

Sem visibilidade, estamos nos movendo no escuro para tentar entender o que precisamos mitigar. — 03:08

Vamos entender o que os modelos podem fazer, quais são os riscos e, portanto, qual é a mitigação adequada. — 05:17

Avaliar modelos clínicos apenas pela precisão do diagnóstico não é suficiente. — 06:19

Conceitos e entidades

independent evaluations (conceito): Testes feitos por avaliadores independentes para examinar as capacidades e os riscos dos modelos.
frontier models (conceito): Modelos de IA de fronteira, cujo teste não deve ser o único foco das avaliações.
open-weight models (conceito): Modelos de pesos abertos que, segundo Francis, também devem ser avaliados quanto a capacidades e riscos.
Agentic workflows (conceito): Fluxos de trabalho com agentes que podem ser implantados com guardrails para ajudar organizações a trabalhar entre modelos e clouds.
Dario Amodei (pessoa): Executivo de IA mencionado na entrevista por suas declarações públicas sobre os possíveis perigos da IA.
Jensen Huang (pessoa): Executivo de IA mencionado como alguém que questionou a intensidade das declarações públicas de Dario Amodei sobre os riscos da IA.
Wall Street Journal (empresa): Veículo de imprensa citado na entrevista por uma reportagem sobre o encontro de executivos de IA na Casa Branca.

Tradução completa (pt-BR)

00:00 Vimos essa reunião na Casa Branca, com o presidente Trump e os principais executivos de IA e tecnologia assinando voluntariamente um acordo para fazer algum tipo de autorregulação, com verificações internas e avaliações externas dessas verificações. Isso é adequado? É suficiente? >> Antes de tudo, agradeço por me receber. Acho que o que estamos todos vendo é que está ficando claro que precisamos de mais visibilidade sobre o que esses modelos podem fazer e de mais segurança e salvaguardas à medida que são desenvolvidos e lançados. E o que estamos vendo são

00:31 medidas nessa direção. Acho que, entre as coisas com que as empresas se comprometeram ontem, como parte do acordo, estão aumentar as próprias avaliações dos modelos e também permitir que avaliadores independentes os testem. Isso é importante para reconstruir a confiança do público, mas também para dar aos governos segurança por meio de avaliações independentes do que os modelos são capazes de fazer e dos riscos associados a cada modelo. E isso não se aplica apenas aos modelos de ponta. Aplica-se aos modelos de pesos abertos.

01:02 A todos os modelos existentes. >> Aham. Francis, estou curiosa: o que é melhor para o seu negócio? Talvez você já tenha respondido. Se não houver regulamentação saindo de Washington, isso significa mais crescimento, porque as empresas precisam dos seus testes antes de lançar os modelos? Ou o governo vai precisar dos seus testes porque não há regulamentação para controlar o lançamento desses modelos? >> O que fazemos como empresa é, primeiro, fornecer dados às empresas de modelos para ajudar a desenvolvê-los.

01:32 À medida que vemos mais modelos serem desenvolvidos, a demanda por dados continua aumentando e, quanto mais sofisticados os modelos ficam, maior é a demanda por dados. Também trabalhamos com governos e empresas para implementar fluxos de trabalho com agents e estabelecer salvaguardas para que possam fazer mais, a um custo menor, e trabalhar com diferentes modelos e diferentes nuvens. Fazemos isso e, em terceiro lugar, fornecemos avaliações para governos e empresas avaliarem o que os modelos podem fazer. Então, da nossa perspectiva, nosso trabalho é fornecer a

02:04 camada de confiabilidade para IA. Sejam os governos ou as empresas a fazer isso, esse é o nosso negócio, e esperamos que ele continue sendo mais importante para as empresas à medida que implementem mais IA em suas organizações. >> Então, diante de todos os dados que vocês coletaram e de todas as avaliações que realizaram, você vê mérito nos argumentos que algumas dessas próprias empresas estão apresentando sobre a necessidade de controlar o ritmo da tecnologia? Ela está se desenvolvendo e avançando a tal ponto que representa uma grave ameaça ao público? >> Da nossa perspectiva,

02:36 acreditamos que precisamos de uma estratégia baseada em evidências. Isso significa que, em vez de basear nossa estratégia, nossa estratégia regulatória ou até mesmo o ritmo de desenvolvimento dos modelos em esperanças e medos, precisamos entender claramente do que os modelos são capazes e quais são os riscos; depois, usar isso para orientar as medidas de mitigação. Precisamos entender se alguma parte dos modelos está avançando mais rápido do que nossa capacidade de mitigar os riscos que representam e, então, tomar as medidas adequadas. >> E estamos nesse ponto? Já chegamos lá?

03:08 >> Primeiro, precisamos de visibilidade; é por isso que estamos defendendo essa proposta. Dizemos: “Olha, precisamos testar esses modelos de forma abrangente para entender suas capacidades e, depois, os riscos em várias áreas: cibersegurança, biologia, radiologia. É disso que precisamos primeiro para entender quais são os riscos reais que esses modelos trazem e, então, agir.” Mas, sem visibilidade, estamos meio que andando às cegas, tentando entender o que, de fato, estamos tentando mitigar. >> Francis, estamos vendo algumas manchetes impressionantes no terminal, publicadas pelo Wall Street Journal,

03:40 aqui, do Wall Street Journal, sobre a reunião de hoje na Casa Branca mencionada por Kaylee, que reuniu as principais figuras da IA, incluindo Dario Amodei, o primeiro a escrever o ensaio que mais recentemente reavivou todo o debate. Segundo o jornal, Amodei foi confrontado por outros executivos de IA por causa de seus comentários na Casa Branca, que questionavam exatamente o que ele havia dito. Até Jensen Huang questionou por que ele foi tão alarmista em público sobre os possíveis perigos da IA.

04:12 Dario Amodei foi longe demais, com base no que você viu? >> Olha, eis o que estamos vendo: pessoas muito inteligentes têm opiniões muito diferentes sobre esse tema. E, para ser sincero, as duas posições são válidas. Um grupo diz que os benefícios que a IA pode trazer são tão importantes — para avançar nossa compreensão das doenças, ajudar a combater as mudanças climáticas — que temos a obrigação moral de avançar o mais rápido possível. Dez milhões de pessoas morrem de câncer por ano. Se pudermos ajudar a desenvolver curas e entender melhor a doença, precisamos avançar o mais rápido possível,

04:44 com responsabilidade. O outro lado diz: “Olha, isso é muito arriscado, então precisamos avançar mais devagar até conseguirmos mitigar os riscos.” E a realidade é que a verdade está em algum ponto entre essas posições. Precisamos realmente entender os riscos envolvidos. Só depois de fazer essas avaliações podemos dizer: “Este é o risco real que os modelos podem representar.” E então mitigá-los. Mas não podemos mitigar algo sem saber plenamente qual é o risco. Tentar desacelerar sem entender plenamente o motivo também não é o certo, assim como avançar rápido demais quando

05:17 sabemos que existe um risco. Então, mais uma vez, nossa abordagem é promover uma discussão baseada em evidências: entender o que os modelos podem fazer, quais são os riscos e, portanto, qual é a medida de mitigação adequada, porque todos queremos avançar o mais rápido possível, com a maior responsabilidade possível. >> Até que ponto suas avaliações se concentraram em modelos de pesos abertos, como aqueles nos quais a China está se concentrando? E você acha que eles representam riscos maiores, como estamos discutindo? Gostaria de saber qual é a sua comparação entre os dois tipos de

05:48 sistemas. >> Sim, acho que esse é um ponto muito importante, e os modelos de pesos abertos não têm recebido atenção suficiente na discussão. Grande parte da conversa hoje tem girado em torno de avaliar os modelos de ponta ou controlar o ritmo do desenvolvimento de ponta. Mas acho que estamos deixando de lado um ponto importante: muita gente usa modelos de pesos abertos, e precisamos entender as capacidades desses modelos e os riscos que eles representam também. Portanto, uma estratégia abrangente precisa incluir todos os modelos. Não se trata apenas de testar os modelos de ponta, mas de testar todos

06:19 os modelos e entender os riscos que representam. Esses riscos podem surgir em várias frentes. Pode haver riscos de cibersegurança, mas também pode haver vieses incorporados ao modelo e relacionados à forma como suas decisões são tomadas. Publicamos avaliações que mostram que, em um ambiente clínico, por exemplo, avaliar modelos apenas pela precisão do diagnóstico não é suficiente, porque alguns podem chegar à resposta pulando várias etapas e simplesmente chutando. Então, ao avaliar um modelo clínico, por exemplo, você considera a precisão, mas também analisa vários outros

06:50 fatores, incluindo se o modelo seguiu todas as etapas para chegar à resposta correta, porque, se não seguiu, isso não é suficiente. Portanto, seja um modelo de ponta ou de pesos abertos, é preciso realizar essas avaliações, e não acho que isso esteja recebendo atenção suficiente na discussão.

Transcrição original

[00:00] We saw this gathering at the White House of President Trump and the big AI and tech executive signing on to this voluntarily agreement to do some self-policing, internal checks, external assessments of those checks. Is it adequate? Is it enough? >> So first of all, thank you for having me. I think what we are we’re all seeing is it’s becoming clear that we do need additional visibility into what these models can do and that we need additional security and guardrails as these models are developed and they are released. And so what we’re seeing are

[00:31] steps in that direction. I think coming out of the accord, some of the things that that the companies committed to yesterday was to increase their own evaluations of their models, but then also to have independent evaluators test the models. I think it’s important in terms of rebuilding confidence from the public, but as well as providing safety for governments to have independent views into what the models are capable of and what the risks associated with each model are. And this isn’t just for the frontier models. This is the open

[01:02] weights models. This is all the models that exist. >> Mhm. Francis, I’m curious, what’s better for your business? And maybe you just answered that. If there’s no regulation coming out of Washington, does that mean more growth cuz companies need your testing before models get out the door or the government will need your testing because there’s no regulation to to control the release of these models? >> So what we do as a business is one, we provide data to the model companies to help develop their models.

[01:32] So as we continue to see more models develop, the demand for data continues to go up and as the models get more sophisticated, there’s the more demand for data. We also work with governments and companies to deploy agentic workflows and put guardrails around those workflows to enable them to do more more cheaply and work across models and across clouds. So we do that and then the third is we provide evaluations for both governments and enterprises to evaluate, you know, what the models can do. So, you know, from our perspective, you know, we are about providing the

[02:04] reliability layer for AI, and whether the governments do it or companies do it, you know, that’s that’s our business, and we expect that business to be continue to be more important for companies as you deploy more AI in your organizations. >> Well, so for all of the data you’ve collected, all of the evaluations you’ve conducted, do you see merit in the arguments that some of these companies themselves are making about the need to pace the technology? Is it developing and advancing to such an extent that it does pose a grave threat to the public? >> From from our perspective, you know,

[02:36] what we believe is that we need sort of an evidence-based strategy here, which means instead of basing our our strategy, our regulatory strategy, or our even the pace at which we develop models on on hopes and fears, we really need to get a clear understanding of what the models are capable of, what the risks are, and then use that to guide what mitigations we take. So, we need to understand is there a part of the models that are getting ahead of our ability to mitigate against them, and then take appropriate actions. >> And is there Are we there yet?

[03:08] >> We need the visibility first is what we’re pitching for. We say, “Look, we need comprehensive testing of these models to understand their capabilities and then their risks across multiple domains, cyber, biology, radiology, and and that’s what we need first to understand what are the actual risks that these models bring, and then act on it.” But without visibility, we’re sort of, you know, moving around in the dark trying to understand what it is we’re actually trying to mitigate against. >> Francis, we’re seeing some remarkable headlines across the terminal on behalf of the Wall Street Journal

[03:40] here from the Wall Street Journal about that gathering Kaylee mentioned today at the White House, which was a who’s who of AI including Dario Amodei, the first one to write the essay that got the whole debate reinvigorated most recently. Amodei was confronted the journal reports by other AI executives by his comments at the White House questioning exactly what it was he said. Even Jensen Huang questioning why he was so extreme in public about the potential dangers of AI.

[04:12] Did Dario Amodei go too far based on what you’ve seen? >> Look, here’s what we’re seeing. We’re seeing very smart people have very different opinions on this topic. And And they’re both valid to be honest. One group is saying the benefits that AI can bring are so important in terms of advancing our understanding of disease, you know, helping combat climate change that we have a moral obligation to move as quickly as possible. 10 million people a year die of cancer. If we can help develop, you know, cures and understand the disease better, we need to move as quickly as possible,

[04:44] responsibly. The other side is saying, “Look, it’s very risky and so we need to move more slowly until we can mitigate the risks.” And the reality is, you know, the truth is somewhere in between. We need to actually understand the risks that are posed. And until we do those assessments and say, “This is the actual risk proposed that that that the models can can and can bring.” And And then we mitigate them. But we can’t mitigate something if we don’t fully know what the risk is. Trying to slow things down without fully understanding why is also not the right thing to do as is going too quickly if

[05:17] we know that there’s a risk. So, again, our approach is let’s have an evidence-based discussion, which is let’s understand what the models can do, what the risk is, and therefore what the right the right mitigation is because we all want to move as quickly as we can, as responsibly as we can. >> How much of your assessment has focused on open weight models like what China is uh focusing on? And do you see them posing greater risks like we are talking about? I just wonder what you what your comparison is of the two different

[05:48] systems. >> Yeah, I I actually think that’s a really important point and I think open weights models haven’t been enough in the discussion. A lot of the conversation today has been around, you know, assessing frontier models or pacing the frontier. But I think we’re missing a the big point, which is a lot of people are using open weights models and we need to understand the capabilities of those models and the risk that those models pose too. So, a comprehensive strategy here has to cover all models to say, it’s not just about testing the frontier models, it’s about testing all

[06:19] the models and understanding the risks that are posing. The risks could be across a number of fronts. It could be cyber risk, it could be but it could also be the biases that are built into the model and and how their decisions are made. You know, we’ve published some evaluations that show that in a clinical environment, for example, just evaluating models on the accuracy of a diagnosis isn’t enough because some models can get there by skipping a bunch of steps and guessing the answer. And so, when you’re evaluating, you know, a clinical model, for example, you look at accuracy but you look at a whole bunch

[06:50] of other facts including did they follow all the steps to get to the right answer cuz if they didn’t, that’s not good enough. And so, whether it’s a frontier model or an open weights model, you need to run those evaluations and I don’t think that’s part of the conversation enough.