Laboratórios de IA querem desacelerar. A China, não.

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: AI Labs Want to Slow Down. China Isn’t. · Canal: Fahd Mirza · 08:08 · Assistir no YouTube

Tópicos: Governança e regulação de IA, Modelos de IA, Segurança de IA

Resumo

A demissão de um pesquisador da Anthropic e um ensaio de Dario Amodei reacenderam o debate sobre os riscos da IA avançar rápido demais. Sam Altman e Elon Musk também apoiaram a ideia de “dosar o ritmo” do desenvolvimento, após mais de mil funcionários de laboratórios de fronteira defenderem que empresas não conseguem ganhar tempo sozinhas. O vídeo contrapõe esse movimento ao lançamento contínuo de modelos chineses, cuja qualidade estaria se aproximando da dos modelos americanos. No fim, o apresentador pondera que o medo dos pesquisadores pode vir da proximidade com a tecnologia, embora grande parte do público ainda não saiba do que a IA é capaz.

Pontos-chave

Um pesquisador que trabalhou com pré-treinamento na OpenAI e na Anthropic pediu demissão, dizendo que as empresas não estavam agindo com responsabilidade.
Dario Amodei defendeu que o desenvolvimento de IA de fronteira seja conduzido em um ritmo que permita compreender seus efeitos.
Amodei descreveu a possibilidade de autoaperfeiçoamento recursivo: modelos ajudando a construir gerações seguintes de modelos.
Sam Altman disse que a ideia de dosar o ritmo já era discutida dentro da OpenAI, e Elon Musk também concordou com Amodei.
Em julho, 1.386 funcionários de laboratórios de IA assinaram uma declaração dizendo que o mundo pode precisar da opção de desacelerar e que nenhuma empresa consegue ganhar esse tempo sozinha.
Junyang Lin, associado à família de modelos Qwen, criticou a ideia de pedir que a China desacelere enquanto seus modelos tentam alcançar os líderes.
DeepSeek, Qwen, GLM e MiniMax continuaram lançando modelos, enquanto a diferença de qualidade em relação aos modelos americanos de fronteira diminuía.
O vídeo questiona se a defesa de desacelerar é motivada principalmente pela segurança ou pelo receio de que a liderança dos laboratórios americanos esteja diminuindo.
O apresentador sugere que pesquisadores próximos ao desenvolvimento podem sentir medo antes do público em geral, que ainda desconhece muitas capacidades da IA.

Capítulos

Início	Capítulo	Resumo
00:01	Demissão e alerta sobre o ritmo da IA	A saída de um pesquisador e o ensaio de Dario Amodei colocam em foco os riscos do autoaperfeiçoamento recursivo e a proposta de dosar o desenvolvimento.
02:45	Um apelo compartilhado por pesquisadores	O vídeo relembra uma declaração assinada por 1.386 funcionários de laboratórios de fronteira e apresenta a reação de Junyang Lin.
04:27	Modelos chineses continuam avançando	DeepSeek, Qwen, GLM e MiniMax seguem lançando modelos enquanto, segundo o apresentador, a diferença em relação aos modelos americanos diminui.
06:02	O medo de quem está perto da tecnologia	O apresentador considera que a preocupação dos pesquisadores pode ser genuína e observa que muitas pessoas ainda desconhecem as capacidades da IA.

Citações

As máquinas estão começando a ajudar a construir a próxima geração delas mesmas mais rápido do que qualquer um previu. — 00:33

O mundo talvez precise da opção de desacelerar isso, e nenhuma empresa consegue comprar esse tempo sozinha. — 03:18

Quando tentamos acelerar, vocês nos dizem para desacelerar. Então, sejam mais diretos. — 03:54

Façam o que quiserem. Parem de fingir que precisam da permissão de alguém. — 04:27

Quem entre nós está perto o bastante para ter razão, e quem está perto demais para continuar pensando com clareza? — 07:38

Conceitos e entidades

recursive self-improvement (RSI) (conceito): Possibilidade de sistemas de IA ajudarem a desenvolver versões futuras de si mesmos, acelerando o progresso.
pacing (conceito): Ideia de conduzir o desenvolvimento da IA de fronteira em um ritmo que permita acompanhar e compreender seus efeitos.
frontier labs (conceito): Laboratórios que desenvolvem modelos de IA de fronteira e competem por pesquisadores, capacidade computacional e atenção pública.
open-weight models (conceito): Modelos cujos pesos são disponibilizados, em contraste com modelos cujos pesos permanecem fechados.
Anthropic (empresa): Empresa de IA mencionada como autora de um compromisso para dosar o desenvolvimento de modelos de fronteira.
OpenAI (empresa): Empresa de IA cujo CEO, Sam Altman, apoiou a ideia de dosar o ritmo do desenvolvimento.
DeepSeek (empresa): Laboratório chinês citado entre os que continuaram lançando modelos.
Qwen (modelo): Família de modelos associada a Junyang Lin e citada entre os lançamentos chineses.
GLM (modelo): Família de modelos mencionada entre os lançamentos chineses.
MiniMax (empresa): Empresa citada entre as que lançaram modelos durante o período discutido.
Dario Amodei (pessoa): CEO da Anthropic, autor de um ensaio sobre os riscos de acelerar o desenvolvimento de IA.
Sam Altman (pessoa): CEO da OpenAI, que afirmou concordar com a proposta de dosar o ritmo.
Elon Musk (pessoa): Empresário que manifestou apoio à posição de Dario Amodei.
Junyang Lin (pessoa): Pesquisador associado à família de modelos Qwen que criticou pedidos para a China desacelerar.

Tradução completa (pt-BR)

00:01 Quatro frases. Foi só isso que bastou. Pedi demissão da Enthropic hoje. Passei os últimos 3 anos fazendo pesquisa de pré-treinamento na OpenAI e na Enthropic. Nenhuma das empresas está agindo com responsabilidade. Um pesquisador chamado Jacob Coxen publicou isso numa manhã de quarta-feira e, em poucos dias, 170 milhões de pessoas tinham lido. Quatro dias depois, Dario Amodei publicou um link para

00:33 o próprio texto, com 9 mil palavras e um título que soa como um alerta. “Precisamos moderar o ritmo da fronteira” era o título, que também acompanhava o tweet dele. Amodei passou 12 anos dizendo ao mundo que a IA poderia curar a doença que levou seu próprio pai, e ele ainda acredita nisso. Mas, desta vez, disse algo mais direto do que jamais havia dito. As máquinas estão começando a ajudar a construir a próxima geração delas mesmas mais rápido do que qualquer um previu e, se forem deixadas sem controle,

01:05 podem ultrapassar a capacidade de qualquer pessoa de entender o que estão fazendo. Ele chamou isso de autoaperfeiçoamento recursivo e apresentou três medidas para desacelerar esse processo sem interrompê-lo. A primeira, disse ele, a Enthropic adotaria imediatamente, independentemente do que qualquer outra pessoa decidisse fazer. E este é o tweet completo dele. Também vou deixar o link para esta publicação do blog na descrição do vídeo. Eu sou Fahad Midsa e dou as boas-vindas a vocês ao canal. Recentemente, também comecei esta newsletter gratuita

01:38 semanal sobre IA, na qual vocês podem se inscrever em fadmmitza.substack.com. Bem, a história que começou com a demissão de Jacob e que talvez tenha levado Dario a publicar esse tweet não terminou aí. Então, vimos este tweet menos de uma hora depois. Sam Altman respondeu que concordava completamente com Dario sobre moderar o ritmo. Ele disse que essa conversa já estava acontecendo dentro da OpenAI havia semanas.

02:10 Eles assumiriam o mesmo compromisso. Logo depois, Elon Musk, um homem que passou anos em guerra com os dois e, para ser sincero, faz isso todos os dias de um jeito bem desagradável, publicou três palavras sob o mesmo ensaio: “Dario tem razão”. E isso continua, continua e continua. Dá para ver que, se voltarmos a 2023, nada disso faz sentido. Naquele ano, esses três homens não conseguiram concordar em assinar a mesma carta sobre segurança. Musk assinou uma

02:45 em março. A OpenAI não quis nem saber. Altman e Amodei assinaram outra, em maio, sem Musk. Duas cartas, um ano. Nem uma vez os três nomes apareceram no mesmo lugar. Agora, num fim de semana qualquer, os três se alinharam em questão de horas. Então, o que está acontecendo? Bem, acredito que muita coisa esteja acontecendo. Mas, antes disso, leiam isto. E nem foi com Coxen que tudo começou. Quer dizer, preciso dizer que a mídia está apresentando as coisas como se tivesse começado com ele. Mas a questão é que

03:18 lá em julho, 1.386 funcionários de todos os laboratórios de ponta já tinham colocado seus nomes numa mesma página. Não eram pessoas de fora, nem ativistas. Eram os cientistas-chefes da OpenAI, da Enthropic e do Google DeepMind, da Meta, além de Ilia, Jared Kaplan, Shane Legg — pessoas que competem entre si todos os dias pelos mesmos pesquisadores, pelos mesmos chips e pelas mesmas manchetes — concordando com uma frase: “O mundo talvez precise da opção de desacelerar isso, e nenhuma empresa sozinha pode comprar esse tempo.” Mas aqui vem

03:54 a verdadeira reviravolta: nem todo mundo ficou impressionado. Um homem que, até este ano, era o rosto do maior projeto de IA open source da China viu tudo acontecer. E, há apenas 29 minutos, publicou este tweet. Aliás, Jev Jianglin, que transformou Qwen numa família de modelos baixada centenas de milhões de vezes, escreveu uma frase: “Quando tentamos acelerar, vocês nos dizem para desacelerar.” E depois foi mais incisivo.

04:27 “Façam o que quiserem. Parem de fingir que precisam da permissão de alguém.” Isso é muito, muito perspicaz e, eu diria, talvez seja o cerne de toda a história. E digo isso porque, enquanto tudo isso acontecia nos Estados Unidos, outra coisa acontecia na China. A DeepSeek continuou lançando modelos. A Qwen continuou lançando modelos. A GLM, a Miniax e os modelos da End Group também, um lançamento atrás do outro, chegando mais rápido do que a maioria das pessoas de fora

05:00 do setor conseguia acompanhar. E cobrimos todos eles aqui no canal, inclusive os laboratórios fechados, como a OpenAI e a Enthropic. Cobrimos todos esses modelos. As sanções tinham cortado o acesso aos chips mais novos. Todos sabemos que os controles de exportação tentaram estrangular o fornecimento de hardware para os laboratórios chineses. Nada disso desacelerou os lançamentos, e a diferença de qualidade que costumava separar esses modelos da fronteira americana continuou diminuindo mês após mês, benchmark após benchmark. Então, quando a

05:31 mesma semana traz tanto uma aliança de segurança sem precedentes entre a Anthropic, a OpenAI e Elon Musk quanto uma nova onda de modelos chineses open-weight competitivos, lançados bem naquele momento, a pergunta surge naturalmente: isso é mesmo uma questão de ganhar tempo para a pesquisa de alinhamento ou tem a ver com o fato de que, pela primeira vez, a dianteira que esses laboratórios consideraram garantida por anos está realmente diminuindo, e pedir para moderar o ritmo é muito mais fácil

06:02 quando você teme que alguém esteja prestes a alcançá-lo. Então, digam o que pensam. Mas quero terminar este vídeo dizendo algumas palavras sobre esse tipo de demissão, para além de todas essas teorias da conspiração, táticas e tudo mais. Talvez seja mais simples do que isso. Talvez, quando você passa 3 anos dentro da sala onde esses modelos são de fato construídos, vendo os números avançarem mais rápido do que seus próprios modelos do mundo conseguem acompanhar, algo dentro de você comece a ceder. Jacob Coxson era

06:35 alguém da área de pré-treinamento, não uma pessoa de políticas públicas nem alguém de fora com uma agenda. Quer dizer, é o que eu acredito. Ele estava perto o bastante do trabalho para ver as mudanças semana a semana. E talvez essa proximidade tenha sido exatamente o que o abalou. As pessoas que estão construindo essa tecnologia também são as mais expostas a ela e as mais propensas a serem as primeiras a sentir medo de verdade, quer o resto de nós venha ou não a ver o que elas viram. >> [limpa a garganta] >> E, pela minha humilde experiência, eu diria que não sou pesquisador nem tenho doutorado em aprendizado de máquina,

07:05 mas acompanho esses modelos desde o primeiro dia, há mais de 4 anos, eu diria, desde que o primeiro chat ou algo do tipo foi lançado. Mesmo agora, quando saio e converso com as pessoas aqui em Sydney ou com outras pessoas pela internet, vocês não vão acreditar: a maioria ainda não sabe do que a IA é capaz. E essa é a verdade. Então, vivemos na nossa bolha de modelos e ferramentas todos os dias, mas existe um mundo fora dela, e é aí que a

07:38 história termina: não com uma resposta, mas com uma pergunta sobre quem entre nós está perto o bastante para estar certo e quem está simplesmente perto demais para ainda conseguir pensar com clareza. E é por isso que este canal existe: tentamos trazer essas coisas à tona para que possamos discuti-las juntos e, então, garantir que essa tecnologia seja usada para o bem de todos. É isso. Digam nos comentários o que vocês pensam. Estou muito, muito curioso para saber suas

08:08 opiniões. E, mais uma vez, por favor, inscrevam-se nesta newsletter, porque isso ajuda. E, se quiserem apoiar o canal, tornem-se membros. Obrigado por tudo que vocês

Transcrição original

[00:01] Four sentences. That’s all it took. I resigned from Enthropic today. I spent the last 3 years doing pre-training research at both OpenAI and Enthropic. Neither company is acting responsibly. A researcher named Jacob Coxen posted that on a Wednesday morning and inside a few days 170 million people had read it. 4 days later, Dario Amodell posted a link of

[00:33] his own 9,000 words, a title that reads like a warning. We must pace the frontier that also accompanied by his tweet. Amodai has spent 12 years telling the world AI could cure the disease that took his own father and he still believes that. But this time he said something plainer than he ever had. The machines are starting to help build the next generation of themselves faster than anyone predicted and left alone

[01:05] that could outrun anyone’s ability to understand what’s its doing. He called it recursive self-improvement and he laid out three steps to slow it down without stopping it. The first one he said enthropic would do immediately regardless of what anyone else chose to do. And this is his full tweet. I will also drop the link to this blog post in video description. This is Fahad Midsa and I welcome you to the channel. I recently also have started this free

[01:38] weekly AI newsletter which you can subscribe at fadmmitza.substack.com. Well, the story which started with Jacob’s resignation and which maybe likely prompted Dario to come up with this tweet didn’t end there. Then we saw this tweet within the hour. Sam Alman replied he agreed with Dario completely pacing. He said had already been a live conversation inside OpenAI for weeks.

[02:10] They would match the commitment. Right after that, Elon Musk, a man who has spent years at war with both of them, and to be honest, do it in a very bad taste every day, posted three words under the same essay, Dario is right. And then this thing goes on and on and on. You can see that if you go back to 2023 and none of this makes sense. That year these three men could not agree to sign the same safety letter. Musk signed one

[02:45] in March. Open AI wouldn’t touch it. Altman and Amodai signed a different one in May without Musk. Two letters, one year. Never once all three names in the same place. Now on a random weekend, all three lined up within hours of each other. So what is happening? Well, I believe lot of things are happening. But before that have a read through this. And Coxen wasn’t even where it started. I would I must say I mean media is making it like that. But the thing is

[03:18] that back in July 1386 employees ac across the frontier labs had already put their names on one page. Not outsiders not activists. the chief scientist of OpenAI of Enthropic of Google Deep Mind of Meta um Ilia Jared Kaplan Shane Lag people who compete with each other every day for the same researcher the same chips the same headlines agreeing on one sentence the world may need the option to slow this down and no single company can buy that time alone but here comes

[03:54] the real twist not everyone Everyone was impressed. A man who was until this year the face of China’s biggest open source AI project saw the whole thing unfold. And just 29 minutes ago. Um he came up with this tweet. And by the way he uh Jen Jianglin who built Quen into a model family downloaded hundreds of millions of time wrote one line that when we try to accelerate you tell us to slow down then sharper.

[04:27] You can do whatever you want. Stop pretending you need anyone’s permission. So this is so so um I would say insightful and maybe the crux of the whole story. And the reason why I say that that while all of this was happening on American timeline, something else was happening on Chinese ones. Deepseek kept shipping. Quen kept shipping. GLM, Miniax, and end group models, one release after another, arriving faster than most people outside

[05:00] the industry could track them. And we have covered them all on the channel, including the closed labs like OpenAI Enthropic. All of the models we have covered. Sanctions had cut off the newest ship. We all know that export controls had tried to choke the pipeline in the Chinese lab at the hardware level. None of it slowed the releases down and the gap in quality that used to separate these models from the American frontier kept shrinking month after month benchmark over benchmark. So when the

[05:31] same week produces both an unpreced un unprecedented safety alliance between anthropic and open AI and Elon Musk and a fresh wave of competitive Chinese openweight models landing right on top of it. The question writes itself is this really about buying time for alignment research or is it about the fact that for the first time the lead um you know these labs have taken for granted for years is actually closing and pacing is a much easier thing to ask

[06:02] for once you are worried about being caught. So look, let me know what do you think. But I just want to finish this video by saying few lines on these sort of resignations that beyond this all conspiracy theory and tactic and all this. It might be simpler than that. Maybe when you spend 3 years inside the room where these models are actually built, watching numbers move faster than your own models of the world can keep up with, something in you starts to bend. Jacob Coxson was

[06:35] not a policy person or an outsider with an agenda. I mean, I believe so. Um, he was pre-training staff, close enough to the work to watch change week to week. And that closeness may be exactly what broke him. The people building this technology are also the people most exposed to it and the ones most likely to be the first to feel real fear, whether or not the rest of us ever see what they saw. >> [clears throat] >> And I would tell you from my humble experience, I’m not a researcher or

[07:05] machine learning PhD, but I have been covering these models from day one more than 4 years I would say when the first chat or something like that launched. Even now when I go out and talk with people here in Sydney or elsewhere online, you won’t believe that most of the people are still unaware of what you know AI can do. And that’s the truth. So we are living in our bubble of models tools every day but there is a world outside of it and that is where the

[07:38] story ends not with an answer with a question about who among us is close enough to be right and who is simply too close to still be thinking straight and that is why this channel exist where we try to bring these things in open so that we could discuss it together and then we could um ensure that this technology would be used for the betterment of everyone. That’s it. Let me know what do you think in the comments. Um very very keen to know your

[08:08] thoughts. Also again please subscribe to this newsletter as that helps and if you want to help out the channel please become a member. Thank you for all the