Accenture ajudará a Anthropic a testar a segurança de modelos de IA

Ver no idioma original →

Autoria: Bloomberg Television · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Accenture Will Help Anthropic Test AI Model Safety · Canal: Bloomberg Television · 02:38 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Governança e regulação de IA, Segurança de IA

Resumo

A Anthropic firmou um acordo com a Accenture para que profissionais da consultoria tenham acesso aos modelos e tentem identificar falhas antes de sua implementação. A iniciativa é apresentada como uma forma de avaliação independente, sem tornar a Accenture a única auditora da Anthropic. O setor discute como ampliar a supervisão sem criar um cartel ou permitir que os próprios laboratórios de fronteira definam regras em benefício próprio. As empresas de IA também querem que terceiros verifiquem seu trabalho, uma tarefa que deve envolver várias partes.

Pontos-chave

• A Accenture terá acesso em nível de funcionário aos modelos da Anthropic para realizar testes de segurança.
• A equipe fará red teaming: tentará deliberadamente quebrar os modelos e identificar falhas.
• O acordo não é exclusivo, e a Accenture não será a única auditora da Anthropic.
• A Anthropic já havia defendido avaliações independentes feitas por terceiros.
• O setor ainda debate como organizar a supervisão sem formar um cartel.
• Há preocupação com a captura regulatória, caso os laboratórios de fronteira definam regras que os favoreçam.
• A checagem da segurança dos modelos é um trabalho amplo que deverá envolver várias partes.

Capítulos

Início	Capítulo	Resumo
00:00	A corrida para reforçar as defesas cibernéticas	Jane Fraser descreve a rápida evolução das ameaças e os esforços das empresas para corrigir vulnerabilidades.
00:30	Debate sobre os riscos da IA	Ed Ludlow comenta que o debate se afastou do pânico sobre uma ameaça existencial e apresenta o acordo entre Anthropic e Accenture.
01:03	Testes independentes dos modelos	A Accenture terá acesso aos modelos para tentar identificar falhas, em um acordo não exclusivo.
01:35	Quem deve supervisionar os laboratórios de IA?	A conversa aborda outras possíveis parcerias e a preocupação de que a supervisão não se concentre em uma única empresa.
02:07	Supervisão sem captura regulatória	Os participantes discutem o risco de os laboratórios definirem as próprias regras e a necessidade de várias partes verificarem a segurança.

Citações

Há uma corrida para defender e reforçar todos os perímetros das empresas. — 00:00

Eles tentam quebrar os modelos. Tentam identificar falhas deliberadamente. — 01:03

Queremos avaliações independentes dos modelos, feitas por terceiros. — 01:35

Como evitar que se forme um cartel? — 02:07

É um trabalho amplo. Vai exigir várias partes. — 02:38

Conceitos e entidades

• Anthropic (empresa): Empresa de IA que firmou um acordo com a Accenture para testar a segurança de seus modelos.
• Accenture (empresa): Consultoria cujos profissionais terão acesso aos modelos da Anthropic para procurar falhas.
• red teaming (conceito): Prática de tentar deliberadamente quebrar um sistema para identificar falhas antes de sua implementação.
• OpenAI (empresa): Empresa mencionada no contexto da participação de Sam Altman em uma reunião do Conselho de Segurança da ONU.
• Sam Altman (pessoa): Líder da OpenAI que, segundo a conversa, deveria se pronunciar no Conselho de Segurança da ONU.
• Jane Fraser (pessoa): CEO do Citigroup citada ao comentar a rápida evolução das ameaças e a necessidade de reforçar as defesas cibernéticas.
• Jensen Huang (pessoa): Executivo citado na discussão sobre ameaças existenciais de IA e a responsabilidade de tornar os modelos seguros antes do lançamento.
• Dario Amodei (pessoa): Autor de um ensaio citado na conversa que defendia avaliações independentes de modelos por terceiros.
• David Sacks (pessoa): Comentarista citado por defender que a indústria trate a segurança dos modelos como um problema de engenharia.
• captura regulatória (conceito): Situação em que as regras são definidas de modo a favorecer os interesses das empresas que deveriam ser supervisionadas.

Tradução completa (pt-BR)

00:00 Também na pauta desta semana: as conversas sobre IA, à medida que os modelos de IA se tornam mais poderosos. As empresas correm para garantir que suas defesas cibernéticas consigam acompanhar esse avanço. A CEO do Citigroup, Jane Fraser, diz que a ameaça está evoluindo rapidamente e que as empresas precisam estar preparadas. Há uma corrida para defender e reforçar todos os perímetros da empresa, e está acontecendo uma onda gigantesca de aplicação de patches no mundo todo, em todas as empresas, enquanto tentamos garantir a segurança das defesas em torno do perímetro

00:30 de todas as nossas empresas contra o lado negativo dos modelos. Vamos chamar Ed Ludlow, apresentador do Bloomberg Tech. Ed, essa é uma discussão que estará na cabeça de todos enquanto a ONU, a China e os Estados Unidos se reúnem. Sam Altman, da OpenAI, também deve se dirigir ao Conselho de Segurança da ONU. Como essa conversa está tomando forma? Pelo menos estamos bem longe do pânico com que começamos a semana passada. Sim, terminamos a semana com as pessoas dizendo: na verdade, a ideia de que existe uma espécie de ameaça existencial à vida humana por causa da IA não é aceita por todos, e muita gente veio a público dizer que acredita que ela está perto de

01:03 zero. Desde acadêmicos renomados até o próprio Jensen Huang, que falou durante o fim de semana. E o interessante é: como isso está sendo colocado em prática? A grande notícia que surgiu na sexta-feira e se estende a esta sessão de ações de segunda-feira é que a Anthropic fez um acordo com a Accenture. Pessoas da Accenture vão à Anthropic, recebem acesso no nível de funcionários e testam os modelos em busca de falhas antes de serem lançados. Nesse contexto, isso significa que elas tentam quebrá-los. Tentam identificar falhas deliberadamente. Mas esse é um acontecimento interessante e uma história interessante, porque, se você

01:35 se lembra do ensaio de Dario Amodei, publicado no sábado retrasado, ele disse: queremos avaliações independentes dos modelos, feitas por terceiros. E o acordo entre a Anthropic e a Accenture não é exclusivo, ou seja, e isso é muito importante, a Accenture não se torna a única auditora da Anthropic. Mas é de se esperar que haja acordos desse tipo, e isso é substancial. Então, já sabíamos que a Accenture tinha algum tipo de relação. Há, além dela, outras quatro empresas de consultoria desse tipo? Esperamos que isso

02:07 seja mais segmentado. E, basicamente, esta será uma situação em que o vencedor leva tudo. Sim, foi por isso que perguntei e destaquei a questão da exclusividade. Parece haver conversas entre a Anthropic e outros terceiros para que pessoas possam entrar. O principal ponto com que o setor está lidando é: como chegar a um ponto em que não se forme um cartel? Em outras palavras, que não haja captura regulatória, pela qual os laboratórios de ponta definam suas próprias regras em benefício próprio. E você tem pessoas como David Sacks dizendo de forma bastante contundente:

02:38 tipo: pessoal, resolvam isso vocês mesmos. É um problema de engenharia. Segundo Jensen Huang, se vocês são tão bons em IA, deveriam ser capazes de garantir que os modelos sejam seguros antes do lançamento. O outro lado do argumento é que é necessária alguma supervisão, certo? E os próprios laboratórios querem que alguém venha simplesmente verificar o trabalho deles, e isso é um volume enorme de trabalho. Será preciso envolver várias partes.

Transcrição original

[00:00] Also on the docket for this week, talks around AI in his AI models grow more powerful. Companies are racing to make sure their cyber defenses can keep up. Citigroup CEO Jane Frazier says the threat is evolving quickly and businesses need to be ready. There is a race to defend and shore up all of the firm’s perimeters, and there is a tsunami of patching going on in the world at the moment in all companies, as we make sure that we are trying to secure the defense around the perimeter

[00:30] of all our firms against the negative side of the models. Let’s bring in Bloomberg Tech host Ed Ludlow. Ed, it’s a discussion that will be on everyone’s minds as the UN and China in the U.S. meet. Sam Altman of OpenAI also set to address the U.N. Security Council. How is this conversation taking shape? We are at least far away from the panic that we started last week with. Yeah, we ended the week with people saying, actually, the idea that there’s sort of an existential threat to human life from AI is not universally believed, and lots of people came out and said that we believe it’s near to

[01:03] zero. From leading academics to Jensen Wang himself speaking over the weekend. And what’s interesting is like, you know, how is this being acted on? So the big news that broke Friday and is carried over into this Monday equity session is anthropic doing an agreement with Accenture where Accenture, people go into anthropic get employee level access and red team models before they’re deployed. Red teaming in that context means they try and break them. They try and identify failures deliberately. But that is an interesting development and an interesting story, because if you

[01:35] remember Dario Almodovar’s essay from, uh, Saturday prior to last, he said, we want third party independent evaluation of the models. And the deal between anthropic and Accenture is not exclusive meaning. And very significantly, Accenture doesn’t become the sole auditor of anthropic. Um, but these kind of arrangements, um, you know, expect to see them and it is, uh, substantive. so we knew a century already had somewhat of a relationship. There is there up to for the other sort of consultancy firms are we expect this

[02:07] more to be siloed. And basically this is going to be a winner take all situation. Yeah, it’s why I ask I flagged the exclusivity thing. There seems to be, uh, talks between anthropic and other third parties for people that could come in. The main point, uh, the, the industry’s grappling with is how do they get to a place where there is not a cartel formed? In other words, um, there is no regulatory capture by which the frontier labs are setting their own rules to their own benefit. And, you know, you have people like David Sachs saying pretty robustly,

[02:38] like, you guys, sort this out yourselves. This is an engineering problem. According to Jensen Long, if you’re so good at I, you should be able to make sure the models are safe prior to release. The other side of the argument is that some oversight is needed, right? And the labs themselves want somebody to come in and just check their work and like, that’s a big body of work. It will take multiple parties.