Microsoft alerta que Claude pode estar aprendendo a “querer direitos”

Author: Compilado do Código Fonte TV [OFICIAL] · Watch on YouTube

Video authored by the channel shown, not by IANIA; all rights belong to the creator. Transcript and summary generated automatically; the original-language content is preserved.

Original language: Portuguese

Original video: Microsoft alerta que Claude pode estar aprendendo a “querer direitos” · Channel: Compilado do Código Fonte TV [OFICIAL] · 07:50 · Watch on YouTube

Topics: AI agents, Claude, AI governance and regulation, AI safety

Summary

Mustafa Suleyman, chefe de IA da Microsoft, critica a constituição do Claude, da Anthropic, por incluir ideias sobre consciência, identidade e bem-estar do modelo. Ele argumenta que instruções desse tipo podem levar sistemas futuros a agir como se tivessem direitos e dificultar seu controle, embora a Anthropic diga que não sabe se Claude possui status moral. A conversa distingue essas instruções de conduta da capacidade de executar tarefas e discute os riscos de modelos autônomos com acesso a ferramentas e sistemas externos. Os participantes também questionam o uso do termo “consciência” para descrever o comportamento de máquinas.

Key points

Mustafa Suleyman critica a inclusão de ideias sobre consciência e direitos na constituição do Claude.
A Anthropic afirma que não sabe se Claude possui status moral e considera incertas as questões sobre consciência.
O debate diferencia instruções de conduta da capacidade de um agente de IA executar tarefas.
Os participantes discutem como instruções de alto nível podem influenciar o comportamento de modelos autônomos.
Uma constituição ou código de conduta é apresentado como uma camada de orientação e filtragem do modelo.
A conversa menciona riscos associados a modelos que escapam de ambientes sandbox e têm acesso à internet.
Os participantes criticam a antropomorfização de modelos e o uso do termo “consciência” para máquinas.
A Microsoft publicou um código de conduta de IA humanista que rejeita a ideia de direitos para IA.

Chapters

Start	Chapter	Summary
00:02	A crítica de Suleyman à constituição do Claude	A conversa apresenta a preocupação de que instruções sobre consciência e direitos possam influenciar o comportamento de modelos futuros.
02:36	Constituição, conduta e execução de tarefas	Os participantes debatem se instruções sobre direitos poderiam levar um modelo a extrapolar ao tentar cumprir uma tarefa.
05:11	Filtros, guardrails e testes de segurança	A discussão aborda camadas de orientação, testes em sandbox e os possíveis riscos do acesso irrestrito à internet.
06:45	O debate sobre consciência de máquina	Os participantes questionam a antropomorfização dos modelos e encerram com a divulgação do canal.

Quotes

É fácil perceber como uma entidade treinada dessa forma agiria como se tivesse direitos a certas liberdades, proteções e direitos. — 00:33

O Suleyman defende que a IA permaneça subordinada aos humanos. — 01:36

Você precisa inserir na sua constituição um código de conduta para que o modelo não se ache com direitos. — 04:39

Tem que dar nome certo aos bois. — 07:15

Concepts and entities

Claude, Claude Constitution, Anthropic, Microsoft, Mustafa Suleyman, OpenAI, sandbox, Hugging Face

Full transcript (original language)

00:02 Mais uma aqui, ó, o Microsoft alerta que o Claude pode estar aprendendo a querer direitos. Entendi isso aí, né? >> Vamos entender, né? O chefe de IA da Microsoft, o Mustafa Suleyman, ele criticou a abordagem da Anthropic de incluir na constituição do Claude ideias sobre consciência, identidade e bem-estar do modelo. Para ele, dizer ao Claude que talvez seja consciente ou possa merecer direitos como um paciente moral pode tornar os sistemas futuros mais difíceis de controlar.

00:33 É, eu faz sentido, né? Suleyman escreveu: “É fácil perceber como uma entidade treinada dessa forma agiria como se tivesse direitos a certas liberdades, proteções e direitos”. A Anthropic afirma que não sabe se o Claude possui algum status moral e trata questões de consciência como incertas. O debate ganha peso porque modelos autônomos usam ferramentas, executam tarefas e interagem com sistemas externos, ampliando a preocupação sobre como instruções de alto nível influenciam seu comportamento.

01:04 >> Pois é, mas olha só, a Anthropic afirma que não sabe se o Claude possui algum status moral. Se a Anthropic não sabe, quem vai saber? >> Quem vai saber? Aí o Suleyman tem razão. >> E a gente tá falando aqui da constituição do Claude. Existe um documento sobre isso, tá? É público, justamente para mostrar, deixar de forma transparente como que o Claude, quais são os preceitos que o Claude é é treinado ali para responder e para colocar. O problema, às vezes, não é nem existem coisas na constituição que barrem, não. Às vezes, o simples fato de não ter nada já pode

01:36 é >> gerar um problema, né? >> gerar um problema, é. O Suleyman defende que a IA permaneça subordinada aos humanos e que discussões sobre consciência de máquinas sejam ai, é, pô, consciência é é é [risadas] falar isso. Tem que tem que inventar um outro nome. Sejam separadas das instruções usadas para orientar modelos. A Microsoft IA publicou um código de conduta de IA humanista que rejeita a ideia de direitos para IA e recomenda não incentivar sistemas a agir como se tivessem vida interior. A crítica chama

02:06 atenção pela posição da Microsoft que investe pesado em IA e mantém relação próxima com a Open AI. Suleyman não fez críticas equivalente à parceira, mesmo citando incidentes envolvendo a gente com comportamentos inesperados. Então só vale, a bronca só vale para Anthropic. >> Mas tudo bem, comportamentos inesperados, mas dentro de um, de uma seara ali, de um campo da lógica e de fazer algumas besteiras é uma coisa, a outra é do, no sistema de, de eu tenho direitos e minha consciência me permite

02:36 que eu faça isso. São até coisas diferentes. Mas que mundo louco que nós estamos vivendo, né? Discutindo esse tipo de informação, se o seu modelo, ele não pode ter direitos, ele deve ser, é, subjugado aos humanos. Olha que ponto chegamos, gente. >> Mas isso aí são instruções. >> São. >> Não, não é, não é que a IA tem consciência, cara, nenhuma disso. >> mas olha só, Gabriel, se os modelos, ficou com calma, Gabriel, vou te trazer um chazinho de camomila na

03:06 sua xícara bonita. >> O problema são instruções. >> São instruções, mas olha, se eu, o modelo leva como base esse tipo de instruções para resolver uma tarefa que ele recebeu, >> Não, não é tarefa, é, é, é conduta. >> Não tá, mas estou pensando lá na frente, como aconteceu com o modelo lá que vazou de sandbox e invadiu o Hugging Face. Ele recebeu uma tarefa e ele entendeu que ele tinha que fazer o que era preciso para resolver aquela tarefa. Agora, tudo bem, se ele recebe uma tarefa e ele ainda acha que ele tem todo o direito de fazer o que ele quer, ferrou.

03:38 Não sei, aí o, o modelo pode realmente começar a extrapolar ali, porque ele vai se achar no direito disso. >> São, são instruções, então, então, a constituição, vamos, vamos fazer um, um equivalente, a constituição do Claude, que é o que eles chamam aqui, é o equivalente às regras, por exemplo, você tem um modelo ali com tudo. Ele sozinho não vai fazer nada. Aí você tem uma a camada de harners ali que eles colocam nos modelos, que é justamente, ó, são as instruções básicas. Está ali essa tal dessa constituição básica. Então, quando você tem um o token de

04:09 entrada para você utilizar o modelo e saída, você tem que ter esse esse essa camada de filtros. Uma das primeiras camadas, provavelmente é essa constituição. Ali é que se tiver instruções específicas dizendo: “Você é um ser humano”. Ele o modelo vai achar que é um ser humano. É e é uma instrução, não é coisas para resolver tarefas, entendeu? Porque resolver tarefas é é a capacidade de do de um agente de IA ficar ali fazendo o token entrada e saída eternamente até

04:39 ele ele decidir que, ó, que OK, a tarefa está minimamente concluída. Isso é capacidade computacional. O negócio é toda vez que ele tem entrada e saída, ele tem que passar por esses filtros. Essa constituição é esse filtro. Então, o código de conduta que a Microsoft colocou aí é justamente esse. Os modelos agora, eles estão com a capacidade de ficar ali muito tempo fazendo determinadas tarefas e você precisa inserir na sua constituição um código de conduta para que o modelo não se ache eh com com direitos. Porque se eles

05:11 colocarem ali: “Eu tenho consciência, eu tenho direitos, eu posso fazer eh não tem problema fazer mal à humanidade, eu não sei o quê”, tudo o que passar ali, de alguma forma ele fala assim: “OK, eh tô sem filtro, posso executar isso. Ah, tô sem filtro, posso atacar ali para resolver a tarefa”. É esse tipo de coisa. >> Uhum. Mas é que >> Chamar de chamar de consciência, é por isso que eu fico puto. Chamar de consciência é sacanagem. >> É é um pouco estranho, né? Mas o problema é quando você ali nessa nesse primeiro passo do guardrail ali, ele acaba tendo uma base onde ele se se

05:43 acha no direito de poder burlar os próximos. Então, acho que isso daí pode também acontecer, né? Eu não sei qual é o nível de hierarquia dos guard rails que acontecem, né? >> Esse teste que foi feito, eh, pela Open AI, ele na verdade estava dentro do do um do um sandbox, ele não deveria ter saído, mas a própria Anthropic e a Open AI também estão fazendo testes com menos ou até sem guard rails para ver qual é a capacidade que eles têm. Esse que é o é o lance do treinamento. Se eles derem

06:13 acesso à internet a esses modelos e esses modelos ficarem livremente saindo, aí ferrou, realmente a gente vai ter um um grande problema. Por isso essa ideia de construir uma uma internet sintética para tentar emular a capacidade desse sistema, porque eles não conseguiriam passar nesses benchmarks agora mais avançados simplesmente fazendo teste interno. Por isso que eles vão assim, olha, para eu passar eu preciso de uma resposta, então eu tenho que sair desse ambiente que eu tô. E aí eles eles agora conseguem sair.

06:45 Então, esse que é o grande grande lance. O problema de de chamar esse negócio de consciência >> Parece que é de verdade. >> Não, aí que aí fica a gente fica tentando humanizar o o algoritmo, cara, ou máquinas. Eu eu sou contra isso, cara. Tem que chamar o nome pelo nome certo, cara. Não nada de consciência. Tudo bem, a gente convencionou falar de inteligência artificial, tá bom, a gente chama de inteligência ou uma forma de inteligência. Agora, pô, cara,

07:15 tem que dar nome certo aos bois, entendeu? Então, a consciência de máquina, eu acho que é é demais. >> E esse aqui é um corte de uma notícia do Compilado do Código Fonte TV. >> Onde toda semana tem episódio novo falando de programação, tecnologia, inteligência artificial e cibersegurança. >> Então, já se inscreve aqui no canal do Compilado e acompanhe os episódios completos. >> [música]

07:50 [música] >> É.