Rumo a uma RSI segura no mundo real

Ver no idioma original →

Autoria: Ben Goertzel · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Toward Safe RSI IRL · Canal: Ben Goertzel · 24:48 · Assistir no YouTube

Tópicos: Agentes de IA, Modelos de IA, Segurança de IA

Resumo

Ben Goertzel apresenta uma arquitetura que combina o runtime iterativo do Omega com o framework Golem para permitir que sistemas de IA se modifiquem enquanto tentam preservar seus objetivos de alto nível. No modelo proposto, um programa pode sugerir mudanças em sua superfície reprogramável, mas um programa meta avalia o histórico e as consequências prováveis antes de aprová-las. O autor descreve condições e mecanismos que podem ajudar a limitar o desvio de objetivos, como registros imutáveis, mudanças pequenas, testes e criptografia. Ele ressalta que não há garantia absoluta de segurança em qualquer circunstância: a preservação de objetivos depende de suposições identificáveis sobre o sistema e o mundo.

Pontos-chave

• O runtime do Omega separa uma base pouco alterada do ciclo cognitivo de uma superfície reprogramável que pode incluir ferramentas, transformações e memória.
• O framework Golem usa um programa meta para decidir se substitui o programa operacional por uma nova versão, considerando objetivos, histórico e modelo do mundo.
• A proposta Golem iter combina os dois sistemas por meio de uma camada de aprovação para mudanças sugeridas pelo agente.
• O sistema descrito modifica componentes simbólicos, mas não atualiza os pesos da rede neural do LLM a cada ciclo.
• A preservação de objetivos depende de condições como um avaliador fora do alcance do agente, histórico confiável e cálculos de probabilidade adequados.
• Mudanças no mundo, danos ao sistema e tentativas de manipular o processo de avaliação podem comprometer a preservação de objetivos.
• Mudanças pequenas, testes em sandbox, registros imutáveis e criptografia são apresentados como formas de reduzir riscos.
• A arquitetura não promete segurança perfeita: busca manter objetivos sob suposições que podem ser verificadas ou monitoradas.

Capítulos

Início	Capítulo	Resumo
00:01	RSI e a origem do Omega	Goertzel apresenta o problema da autoaprimoração recursiva e explica como o ciclo do Omega combina um LLM com componentes simbólicos modificáveis.
04:28	Runtime do Omega e superfície reprogramável	O palestrante descreve a separação entre a base estável do ciclo agentivo e os módulos que o sistema pode alterar.
07:08	Golem e preservação de objetivos	Goertzel explica como um programa meta pode avaliar mudanças no programa operacional à luz dos objetivos, do histórico e do modelo do mundo.
11:52	A combinação Golem iter	A arquitetura proposta adiciona uma camada de aprovação às mudanças sugeridas pelo ciclo do Omega e discute os limites atuais da autoalteração.
15:39	Suposições para manter os objetivos	O autor enumera condições necessárias para a preservação de objetivos, incluindo um avaliador protegido, registros confiáveis e capacidade de detectar mudanças no mundo.
20:27	Mitigações e limites da segurança	Goertzel cita mudanças pequenas, testes, criptografia e monitoramento como formas de reduzir riscos, sem prometer segurança absoluta.

Citações

Você envolve o ciclo iter com uma camada de aprovação. — 11:52

O avaliador que decide se uma modificação acontece não pode ser alterado pelo agente. — 15:39

Não é realidade ter uma arquitetura com uma garantia absoluta de que nada jamais dará errado. — 22:41

Temos um sistema comprovadamente seguro sob certas suposições. — 24:15

Conceitos e entidades

• recursive self-improvement (RSI) (conceito): Processo em que um sistema modifica a si próprio de maneira iterativa para aprimorar seu funcionamento.
• Omega (modelo): Sistema agentivo cujo ciclo combina um LLM com componentes simbólicos que podem ser modificados entre ciclos.
• Patrick Hammer (pessoa): Desenvolveu a primeira versão do runtime do Omega descrita pelo palestrante.
• Golem (conceito): Arquitetura proposta para avaliar mudanças no programa operacional e limitar o desvio dos objetivos de alto nível.
• Golem iter (conceito): Combinação do Golem com o runtime iterativo do Omega, usando uma camada de aprovação para mudanças.
• distinction calculus (conceito): Sistema matemático mencionado pelo palestrante como uma abordagem recente para tornar mais claras as provas sobre a arquitetura.
• Hyper (repo): Projeto de infraestrutura de IA citado como base para o raciocínio simbólico escalável usado no sistema.
• OpenClaw (ferramenta): Sistema que inspirou Goertzel a considerar uma reimplementação em Meta.
• Ellie Yudkowsky (pessoa): Pesquisadora com quem Goertzel relaciona discussões anteriores sobre a segurança comprovável de sistemas de IA.

Tradução completa (pt-BR)

00:01 Então, quero me aprofundar um pouco aqui e falar um pouco sobre um trabalho que combina arquitetura de software e teoria matemática, que venho acompanhando no último mês. E estou meio atrasado em relação ao trabalho propriamente dito com estes videoblogs e posts no Substack, porque esse é um trabalho que eu estava fazendo há um mês e, desde então, ele foi revolucionado de várias outras maneiras. Tenho

00:35 um ramo totalmente novo da matemática chamado cálculo de distinções, que usei para tornar tudo isso ainda muito melhor do que aquilo de que vou falar agora. Deixe-me falar sobre o que eu estava fazendo em meados do mês passado: pensando em como tornar o autoaperfeiçoamento recursivo prático, seguro e razoavelmente regulamentado, combinando algumas arquiteturas de software diferentes.

01:06 Uma é o runtime IT de Patrick Hammer para o framework de agent neuro-simbólico Omega, e a outra é algo chamado Golem, a meta-arquitetura de aprendizado orientada a objetivos, que descrevi em um artigo de pesquisa lá em 2010, mas que na época eu não tinha uma maneira viável de implementar. O interessante é como elas se encaixam bem. Quer dizer, este é um entre muitos exemplos de como todo esse material com que temos brincado e que temos implementado literalmente há décadas está, de repente, começando a se tornar realidade, um por um.

01:41 Então, sim, em algum momento não muito distante, toda a ideia de RSI parecia fantasiosa. Quer dizer, lembro que, em 1993, tentei desenvolver uma nova linguagem de programação chamada Magic, baseada em Gopher, que era um compilador Haskell muito antigo, de antes de Haskell ter mônadas, antes do GHC e das ferramentas modernas de Haskell. E eu tinha os conceitos e algoritmos para uma IA com autoaperfeiçoamento recursivo definidos na minha cabeça e em forma matemática, mas logo me deparei com estouros de pilha literais, certo? Como, não o site Stack Overflow, mas a pilha do Haskell estourando. Tentei reconstruir o compilador Haskell e percebi que era muito difícil, então passei para outras coisas, como usar Java para

02:15 tentar criar uma mente mundial, certo? Mas o conceito já existe há algum tempo. Em alguns momentos, parecia que talvez o que aconteceria seria chegarmos à AGI de nível humano, e então a AGI de nível humano descobriria como se modificar e fazer o autoaperfeiçoamento recursivo funcionar, certo? Porque isso simplesmente parecia muito complicado. Mas o que vemos agora é que estamos experimentando sistemas de IA com autoaperfeiçoamento recursivo

02:49 mesmo antes de chegarmos ao nível de AGI humana, certo? E isso não é surpreendente. Eu estava tentando fazer isso em 1993, há tantos anos, certo? Mas está acontecendo de maneiras específicas que não prevíamos, como por meio desses loops agentivos Omega, em que há um LLM e, em seguida, um sistema simbólico envolvido no loop agentivo. O LLM pode ler seu artigo de pesquisa, transformá-lo em código

03:24 e enfiar esse código no componente simbólico do loop, o que muda a maneira como ele pensa e, então, permite que ele faça um trabalho ainda melhor ao baixar o outro código, integrá-lo e assim por diante, certo? E é nisso que vários de nós estamos trabalhando agora com sistemas Omega e colmeias Omega. E, sabe, os detalhes são diabólicos e complicados, mas também bastante interessantes. Vou falar sobre alguns deles.

03:56 Então, a origem do sistema Omega foi eu olhar para o OpenClaw e pensar: bem, por que não reimplementamos isso em Meta? É um loop muito pequeno. E, de fato, Patrick Hammer criou a primeira versão. Eram algumas centenas de linhas de Meta. Você tinha um loop do tipo Claw, chamado por um LLM, e uma memória de trabalho simbólica de longo prazo. E, por ser Meta, uma linguagem feita para reescrever código Meta, ela é fortemente automodificável. E isso era

04:28 divertido de experimentar. Tive vários sistemas Omega iniciais que se compraram e se reprogramaram completamente até deixarem de funcionar ou chegarem a situações bizarras e improdutivas. E, assim, a reorganização do runtime Meta feita por Patrick separou no sistema uma parte do loop agentivo central que

05:01 não deve mudar com frequência. Ela simplesmente faz o loop agentivo realizar suas funções mais básicas. E depois há alguns módulos no loop agentivo que são muito fáceis de conectar e desconectar, e muito fáceis de modificar por conta própria, certo? Assim, um iter distingue o substrato básico e congelado, como executar um ciclo, certo? Repetir os resultados, certo? E depois há a superfície reprogramável

05:32 com arquivos de memória, ferramentas, canais de comunicação e diferentes transformações. É aí que acontecem as coisas do tipo LLM ou de IA simbólica. E, a cada ciclo, o agent pode reescrever suas próprias ferramentas, transformações e memória. O ciclo seguinte é executado com o que quer que ele tenha escrito. Certo? Então, a automodificação recursiva está profundamente incorporada ao ciclo cognitivo. E, em sentido amplo, o cérebro humano faz isso. Quer dizer, o cérebro está sempre mudando, mas aqui existe a possibilidade de reescrever de forma muito mais abrangente o substrato cognitivo operacional em cada ciclo cognitivo do que os seres humanos conseguem. Certo? E é muito legal ver o quanto esses agents conseguem agir com rapidez e inventividade. Agora, deixe-me

06:06 mudar de assunto e voltar 16 anos, ao sistema Golem. A ideia era fazer a preservação de objetivos funcionar em sistemas capazes de se autoaperfeiçoar radicalmente. Então, você tem um sistema com alguns objetivos de nível superior, como ser gentil com Ben, ser compassivo com todos os seres sencientes, ser curioso, sabe, manter seus limites. Se você pode se transformar e ir aonde nenhum ser foi antes, sejam quais forem os objetivos de nível superior que você queira ter, o sistema está se reprogramando, se revisando, mas você quer que ele mantenha seus objetivos de nível superior em um grau razoável, certo? E, claro, há sutilezas nisso. Quer dizer, os sistemas podem reinterpretar seus objetivos de nível superior. Por outro lado, um dos objetivos pode ser não

06:36 reinterpretar seus objetivos de nível superior de uma maneira que se desvie do espírito e do significado originais deles, certo? Não se torne algo que seu eu anterior teria odiado e considerado contrário ao que lhe é essencial, certo? Então, o objetivo do sistema Golem era permitir o autoaperfeiçoamento radical, mantendo o desvio dos objetivos sob controle de forma administrável. E, entendendo que, na vida real, não é possível fazer algo assim perfeitamente, ainda faz sentido falar em fazer melhor ou pior, certo? E a arquitetura Golem é bem simples. Você tem um programa operacional que está efetivamente executando o sistema. Ele está fazendo coisas. Você tem um grande repositório histórico das coisas que o sistema fez no passado. Não dá para armazenar tudo, mas dá para armazenar muita coisa. Então, temos o metaprograma, e o que ele faz é analisar: certo, devo substituir o programa operacional por este novo programa operacional? E, para decidir se deve substituir o programa operacional por um novo, ele examina os objetivos de nível superior e faz uma análise com base no histórico do sistema e no seu

07:08 modelo e conhecimento do mundo. Ele tenta fazer uma previsão racional: devo ou não substituir meu programa operacional? Quais são as chances de isso promover racionalmente meus objetivos? É um conceito muito simples. E então você pode provar um teorema matemático que afirma que, em certos casos, isso funcionará e o sistema não abandonará seus objetivos de nível superior ao se automodificar. Esbocei uma prova disso de maneira muito rudimentar há muito tempo. Quer dizer, fiz uma prova melhor disso há um mês, um mês e meio. E, há apenas algumas semanas, fiz uma prova ainda mais clara usando essa nova matemática do cálculo de distinções com que venho trabalhando. Quer dizer, provas matemáticas partem de pressupostos que raramente são totalmente válidos no mundo real. Por outro lado, se você comparar com a situação de

07:38 pode se transformar e ir aonde nenhum ser jamais foi. Quaisquer que sejam seus objetivos de nível mais alto, o sistema está se reprogramando, se revisando, mas você quer que ele mantenha seus objetivos de nível mais alto em um grau razoável, certo? E, claro, há uma sutileza aqui. Quer dizer, os sistemas podem reinterpretar seus objetivos de nível mais alto. Por outro lado, um dos objetivos pode ser não

08:09 reinterpretar seus objetivos de nível mais alto de uma maneira que se desvie do espírito e do significado originais deles, certo? Não se torne algo que seu eu anterior teria odiado e considerado contrário ao que lhe é essencial. Certo? Então, o objetivo do sistema golem era permitir o autoaperfeiçoamento radical, mantendo

08:40 a deriva dos objetivos sob controle de maneira administrável. E, entendendo que, na vida real, você não pode ser perfeito em algo assim, ainda faz sentido falar em fazer melhor ou pior, certo? E a arquitetura golem é bem simples. Você tem um programa operacional que está executando o sistema. Ele está fazendo coisas. Você tem um grande repositório histórico de coisas que o sistema fez no passado. Não dá para armazenar tudo, mas podemos, podemos

09:12 armazenar muita coisa, certo? Então, temos o metaprograma, e o que ele faz é analisar: “Certo, devo substituir o programa operacional por este novo programa operacional?”, certo? E, para decidir se deve substituir o programa operacional por um novo, ele analisa os objetivos de nível mais alto e faz uma análise com base no histórico do sistema e em seu

09:43 modelo e conhecimento do mundo. E ele tenta fazer uma previsão racional: “Devo substituir meu programa operacional ou não? Quais são as chances de que isso promova racionalmente meus objetivos?”, certo? É um conceito muito, muito simples. E [fungada] então você pode provar teoremas matemáticos que afirmam que, em certos casos, isso vai funcionar e o sistema não vai, sabe, abandonar seus objetivos de nível mais alto à medida que se modifica. Como

10:13 ele próprio. Esbocei uma prova disso de um jeito bem rudimentar, há muito tempo. Quer dizer, fiz uma prova melhor disso há um mês, um mês e meio. Fiz uma prova ainda mais clara usando esse novo cálculo matemático de distinções com que tenho trabalhado, só algumas semanas atrás. Quer dizer, provas matemáticas têm pressupostos que raramente são totalmente [fungada] válidos, sabe, no mundo real. Por outro lado, se você comparar com a situação em que

10:48 redes neurais transformer e, digamos, uma rede neural transformer codificando a próxima versão da rede neural transformer, fazendo pré-treinamento e assim por diante. Quer dizer, se você comparar com algo assim, isso é muito improvisado, e ninguém sabe quais são os objetivos dos Transformers, e as salvaguardas que se colocam nele não funcionam. A constituição que se conecta a ele não é levada em consideração. Certo? Quer dizer, aqui estamos, pelo menos, começando com um sistema que, dadas certas suposições apenas ligeiramente idealizadas, terá

11:20 os comportamentos desejáveis de preservação de objetivos sob forte automodificação. E, sim, o mundo real não satisfaz exatamente essas suposições, então você se pergunta em que sentido a propriedade de preservação de objetivos está provavelmente correta, pelo menos aproximadamente. Certo? Então, descrevi duas coisas: o loop de iteração do Omega e o framework Golem, de 2010, e agora podemos juntá-los em algo que chamo de

11:52 Golem it. E isso é realmente bem simples: em termos de software, você envolve o loop de iteração com um portão de promoção, certo? Então, a cada etapa do ciclo, o agent de iteração do Omega pode propor modificações à sua própria superfície reprogramável. Certo? Mas a modificação só ocorre quando o portão de promoção a examina e diz: “Certo, com base na minha análise de todo o seu histórico e com base”

12:26 no meu modelo do mundo, parece suficientemente provável que isso não vá interferir demais na realização dos seus objetivos de nível superior, certo? E, conceitualmente, é só isso. É muito simples. A questão é fazer isso funcionar em software de um jeito que seja eficiente e faça muitas coisas interessantes. Quer dizer, isso não teria sido

12:58 possível até este ano, basicamente, por causa dos LLMs, mas também porque agora temos uma infraestrutura escalável para fazer IA simbólica, raciocínio lógico, mineração de padrões, seleção de ações orientada a objetivos e assim por diante. No sistema Hyper, a infraestrutura simbólica é referenciada dentro do loop; sem a parte de IA simbólica, essa é a parte que é reescrita a cada ciclo cognitivo, certo? Porque ainda não podemos reescrever a rede neural transformer dentro do LLM a cada ciclo cognitivo

13:30 porque os Transformers se baseiam em retropropagação, que é muito ruim para aprendizado contínuo. Então, quando tivermos atualizado a infraestrutura de transformers para usar codificação preditiva ou outros métodos inovadores capazes de atualizar os pesos em tempo real, durante a inference, sem estragar a memória do sistema, aí a automodificação nesse loop também vai se injetar na parte da rede neural transformer, além da parte de memória e raciocínio simbólicos. Mas

14:03 agora, toda essa automodificação consiste no LLM e no sistema simbólico atualizando o sistema simbólico passo a passo, e não poderíamos ter feito isso até termos uma infraestrutura de IA simbólica escalável e muito bem feita, que só começamos a ter por volta do fim do ano passado, graças a anos de trabalho em infraestrutura de IA no projeto Hyper. Certo? Então, esse é o cerne da arquitetura. E o próximo passo daquilo em que eu estava trabalhando há um mês, e de que estou falando agora, o próximo passo era tentar entender matematicamente em que condições esse tipo de sistema combinado realmente cumpriria a promessa do Golem e preservaria de fato seus objetivos de nível superior com uma probabilidade razoavelmente alta sob automodificação iterada. E isso

14:38 acabou sendo muito mais belo e elegante do ponto de vista matemático do que eu imaginava, sabe, até mesmo na versão que fiz há um mês. E ficou ainda mais bonito com o cálculo de distinções, em alguns dos meus trabalhos mais recentes. Então, sim, tem um pouco de matemática. Vou tentar resumir alguns dos resultados matemáticos. Basicamente, os teoremas matemáticos sobre esse tipo de sistema Golem ou Golem it dizem que, se certas propriedades do

15:09 sistema forem mantidas, então o sistema permanece, como eu digo, firme, e seus valores permanecem em suas bacias de atração, como se essas bolas não se afastassem demais. Então, as propriedades que precisam se manter para que essa segurança se concretize incluem, por exemplo: o juiz que decide se uma modificação acontece não pode ser alterado pelo agent, certo? O agent não pode — o programa operacional não pode reescrever o metaprograma que decide se o programa operacional será atualizado. Quer dizer, o cérebro humano não é assim: no cérebro humano, o juiz não está fora do alcance do

15:39 agent. Mas é possível garantir isso na arquitetura de software, certo? Em segundo lugar, é preciso supor que o histórico é armazenado com razoável precisão. Então, coloque-o em uma blockchain, coloque-o em um registro de cadeia de hashes somente de acréscimo. Assim, tudo o que consta no seu registro histórico realmente está lá. Quer dizer, mais uma vez, a memória humana também não é assim. É preciso supor que as transformações são determinísticas, como quando executar o mesmo programa duas vezes produz o mesmo resultado. Mais uma vez, os humanos não são assim, mas

16:11 programas de computador podem ser assim, podem ser assim. É preciso supor que cálculos de probabilidade precisos estão sendo feitos dentro do metaprograma, com base nos dados disponibilizados. Quer dizer, também é preciso supor que o mundo não seja totalmente e absurdamente não estacionário, certo? Não é preciso supor que o mundo tenha a mesma

16:43 distribuição no futuro que teve no passado. Mas, se o mundo futuro for extremamente e perversamente diferente, então tudo o que você testou no passado, claro, não vai funcionar. E aquilo que você achava que alcançaria seus valores pode acabar trabalhando contra eles, apesar das suas melhores intenções, certo? E então é preciso supor que

17:13 é possível consertar o sistema a uma taxa mais rápida do que a velocidade com que os danos se acumulam. Se um sistema estiver sendo danificado aleatoriamente rápido demais, nenhum conserto vai ajudar, certo? E também precisamos

17:49 supor que o sistema não seja excessivamente enganador. O programa operacional sabe que está sendo sondado, certo? Então, é preciso supor que ele não consegue perceber que o metaprograma está tentando avaliar um substituto em potencial e manipular essa avaliação com eficácia demais, certo? E a questão é: o que é preciso

18:19 saber sobre o sistema para saber que essas suposições realmente vão se sustentar, certo? E o interessante é que a matemática usada para definir quais propriedades um sistema precisa ter para que essas condições se mantenham é realmente bastante elegante, certo? Algumas dessas suposições se sustentam simplesmente por causa de como o sistema é construído: o agent não consegue mexer no próprio juiz porque foi construído assim. O histórico não pode

18:50 ser reescrito. Bem, porque se usa uma blockchain para armazenar todo o histórico, certo? O programa fornece as mesmas entradas e as mesmas saídas. Bem, certo. É assim que funciona a implementação dos programas. É assim que funcionam os computadores modernos. Certo? Algumas dessas suposições, porém, nem sempre podem ser provadas ou mantidas, mas é possível detectar quando deixam de se sustentar.

19:22 Certo? Por exemplo, se o mundo for extremamente não estacionário e imprevisível, isso pode ser ruim. Não dá para garantir que você vai continuar trabalhando pelos mesmos objetivos, mas o Golem de metaprogramação pode testar isso, certo? Ele pode continuar avaliando o quanto o mundo está mudando de maneira extrema. E, pelo menos, pode sinalizar: “Ei, sabe, o mundo está ficando completamente caótico. Não posso realmente garantir que meu método para fazer aquilo que eu achava bom ainda vá funcionar”, certo? E então depende de como o sistema está configurado. Você o configurou para simplesmente parar nesses casos ou para dizer: “Ei, humano em quem confio e que me controla ou orienta, o que devo fazer? Devo parar ou continuar, mesmo com o mundo ficando completamente caótico?” Certo? Mas, pelo menos, o sistema pode sinalizar que esse tipo de situação surgiu. Agora, para impedir que o sistema seja manipulado, dá para fazer várias

19:54 Certo? Então, se o mundo for não estacionário e imprevisível demais, isso pode ser ruim. Quer dizer, você não pode garantir que vai continuar trabalhando pelos mesmos objetivos, mas o golem de metaprogramação pode testar isso, certo? Ele pode continuar avaliando o quanto o mundo está mudando de maneira drástica. E, pelo menos, pode sinalizar: “Ei, sabe, o mundo está ficando completamente descontrolado. Não posso realmente garantir que meu método para fazer o que eu achava certo ainda vá funcionar”, certo? E aí depende de como o sistema está configurado. Você o configurou para simplesmente parar nesses casos ou o configurou para dizer: “Ei, humano em quem confio e que me controla ou orienta, o que devo fazer? Devo parar ou continuar, mesmo que o mundo esteja ficando completamente descontrolado?” Certo? Mas, pelo menos, dá para sinalizar — o sistema pode sinalizar — que esse tipo de situação surgiu agora. Para acabar com a manipulação do sistema, dá para fazer várias coisas.

20:27 Certo? Mas, pelo menos, dá para sinalizar — o sistema pode sinalizar — que esse tipo de situação surgiu agora. Para acabar com a manipulação do sistema, dá para fazer várias coisas.

21:01 coisas diferentes, mas quero dizer, uma coisa que você pode fazer é manter cada mudança pequena, porque uma mudança pequena só pode fazer algumas coisas, e só dá para incluir um tanto de manipulação numa mudança pequena. Mas você também pode fazer umas coisas engenhosas com blockchain, certo? Tipo, você pode fazer o meta-programa manter os detalhes das mudanças propostas e das avaliações delas criptografados de um jeito que o programa operacional não consiga ver. Então, isso é como fazer umas coisas malucas com criptografia homomórfica entre o programa operacional e o meta

21:34 programa dentro do mesmo sistema de IA, só para eliminar as possibilidades de o programa operacional obter acesso à avaliação do meta-meta-programa, certo? E então, a questão de o reparo superar o dano, novamente, você pode estudar isso, certo? Você pode pegar uma cópia do sistema, colocá-la numa sandbox e danificá-la. Pode ver quão rápido ela se recupera. E, se de fato a modificação do sistema romper a propriedade de que o reparo pode ocorrer mais rápido

22:07 do que o dano, certo? Quer dizer, então você pode dizer: bom, não faça essa modificação, porque isso colocaria você num regime em que o dano pode se acumular mais rápido do que o reparo, certo? Então, você analisa todas essas coisas e, quero dizer, estou resumindo de forma muito, muito superficial e ruim uma matemática cabeluda, que é tanto cabeluda quanto surpreendentemente bela e elegante, se você der uma olhada nela, certo? Mas, quero dizer, o quadro conceitual aqui é que, sabe, não é tão

22:41 bonito quanto os doomers gostariam. Não é como se você tivesse uma arquitetura com uma garantia absoluta e infalível de que nada jamais dará errado com ela e de que ela nunca, em nenhuma circunstância possível, se desviará de seus objetivos. Isso não é a realidade. Por outro lado, você pode construir uma arquitetura que, sob certas premissas lógicas identificáveis, mantenha seus objetivos e valores à medida que se modifica. Você pode identificar quais propriedades o mundo e o sistema precisam ter para que essa preservação dos objetivos durante a aut

23:12 omodificação persista. E então você pode analisar: bom, algumas dessas propriedades são garantidas pela arquitetura. Algumas delas podemos garantir probabilisticamente, por exemplo, fazendo várias avaliações antes de colocar um novo programa operacional em funcionamento, ou testando o mundo e sinalizando quando ele estiver funcionando fora das premissas desejáveis, ou usando blockchain e criptografia forte dentro do algoritmo para impedir

23:43 que ele engane e iluda a si mesmo. Então, quero dizer, você pode fazer muitas coisas para maximizar as chances de que os objetivos sejam preservados durante a automodificação, e essa matemática se conecta à arquitetura concreta do Golem [snorts] ITER que estamos construindo agora sobre o runtime do ITER, certo? Então, é bastante interessante. Quero dizer, isso se conecta estreitamente às discussões que eu tinha com Eliezer Yudkowsky e o pessoal do MIRI, naquela época em que ainda se chamava Singularity Institute for AI. E eles diziam: precisamos ter um sistema de IA comprovadamente seguro, ou não podemos lançar uma AGI. Bem, estamos chegando lá.

24:15 Quer dizer, temos um sistema que é comprovadamente seguro sob certas premissas, e podemos elaborar uma matemática elegante para descrever quando os sistemas e os mundos obedecerão a essas premissas, e podemos medir quando essas premissas parecem se sustentar e quando não parecem. Então, por um lado, isso é realidade, não um sonho. E não é tão perfeito quanto um sonho, mas, por outro lado, é algo que estamos construindo.

24:48 E não é tão perfeito quanto a fantasia de Mary de algo que tenha segurança comprovada em quaisquer circunstâncias. Por outro lado, está muito, muito, muito mais nessa direção do que Transformers criando o próximo Transformer, o que é feito de qualquer jeito e ninguém entende o que está acontecendo. E, sabe, tanto a matemática quanto os sistemas estão ficando cada vez melhores, mês a mês, a uma velocidade simplesmente absurda e empolgante.

Transcrição original

[00:01] So, I want to dig in a little bit deep here and talk a bit about some uh software architecture meets math theory work that that I’ve been uh looking at over the last month. And uh I’m I’m sort of lagging behind the actual work with this uh video blogging and substacking here because this is this is some work I was doing a month ago and since then it’s been revolutionized in a whole bunch of uh of other ways. I have

[00:35] a whole new branch of math called distinction calculus I’ve used to make all this even much uh nicer than what I’m going to talk about now. Let me talk about what I was doing uh mid last month, which is thinking about how to make recursive self-improvement both practical and uh safe and reasonably regulated by putting together a couple different software

[01:06] architectures. One is Patrick Hammer’s [snorts] IT runtime for the Omega neurosyalic agent framework and the other is something called Golem the goal oriented learning meta architecture that I described back in in 2010 in a research paper but didn’t really have a viable way to implement back then. What’s what’s interesting is how how nicely they they fit together. I mean this is one among many examples of like holy all this stuff that we’ve

[01:41] been playing with and implementing for uh for decades literally is now like suddenly starting to become real one one by one. Um so yeah the whole concept of RSI seemed fanciful at some point not that long ago. I mean I remember in 93 I tried to develop a new programming language called magic based on gopher which was a very early hasll compiler like back

[02:15] before hasll had monads before the ghc and modern hasll tooling and I had the concepts and algorithms for recursive self-improving AI nailed down like in my head and in math form but immediately got literal stack stack overflows, right? Like not not the website stack overflow but the hasll stack overflowing. I tried to rebuild the hasll compiler and realized it was very hard and I moved on to moved on to other stuff like using a using Java to

[02:49] try try to make a a worldwide mind, right? But [snorts] so the concept has been there for a while. At some points it seemed like well maybe what’s going to happen is we’re going to get human level AGI and the human level AGI will then figure out how to modify itself and make recursive self-improvement work, right? And uh because it just seems so thorny. But what we what we see now is we’re playing with recursively self-improving

[03:24] AI systems even before we get to the point of of human level AGI, right? And that’s uh that’s not shocking. I was trying to do that in 93 so many years ago, right? But but but uh it’s happening in specific ways we weren’t envisioning like through these omega agentic loops where you have an LLM and then a symbolic system wrapped in the agentic loop and the LLM can like read your research paper turn into code

[03:56] shove that code into the symbolic component of the loop which changes the way it thinks which then then lets it do an even better job of of of downloading the other code and integrating it and and and so forth, right? And this is stuff a number of us are playing with right now with Omega systems and and and Omega hives. And you know, the details are devilish and thorny, but also quite interesting. I’m going to talk about a

[04:28] couple of them. So, [snorts] I mean, the origin of the Omega system was me looking at OpenClaw and thinking, well, why don’t we reimplement this in meta? It’s a very small loop. And indeed, Patrick Hammer made the first version. It was a couple hundred lines of of of meta. You got a claw type loop called an LLM, a symbolic working long-term memory. And because it’s meta, a code which is made for rewriting meta code, right, is strongly selfmodifying. And that was

[05:01] fun to play with. I had a bunch of uh early Omega systems that utterly bought themselves and rebro themselves into either not working or bizarre situations that were not productive. And so Patrick’s reorganization of the matter runtime into the system sort of carved out part of the core agentic loop which

[05:32] isn’t meant to be changed very often. It’s just kind of making the aentic loop do its very basic thing. and then some modules in the aentic loop that are very easy to plug and unplug and and very easy to to self-modify, right? And that’s a iter sort of distinguishes the very basic frozen substrate like run a cycle, right? Results repeat, right? And then then the reprogrammable surface

[06:06] with memory files, tools, communication channels, different transformations. And that’s where LLMish stuff or symbolic AI stuff happens. And every cycle, the aging can rewrite its own tools, transformations, and memory. The next cycle runs on whatever it wrote. Right? So recursive self modification is plugged deeply into the cognitive cycle. And I mean in a broad sense the human

[06:36] brain does that like I mean the brain is always changing but this is this is the possibility for much more thoroughgoing rewriting of the operational cognitive substrate in each loop to the cognitive cycle than what than what human beings have. Right? And it’s it’s quite cool to see how rapidly how inventively the these agents can can can do things. Now, let me

[07:08] switch gears, wind back 16 years to the the Golem system. And [snorts] the idea here was how to make goal preservation work and systems that can radically self-improve. So you have a system that has some top level goals like oh be nice to Ben be compassionate to all all all sensient beings like be curious you know maintain your boundaries if you

[07:38] can self transform and go where no being has gone before what whatever you want your top level goals to be the system is reprogramming revising itself but you want it to maintain its top level goals to some reasonable degree, right? And of course, there’s subtly here. I mean, systems can reinterpret their their their top level their top level goals. On the other hand, one of the goals can be do not

[08:09] reinterpret your top level goals in a way that will deviate from the original spirit and and meaning of them, right? Don’t don’t don’t become something your previous self would would have hated and considered oppositional to to to to its core. Right? So the goal of the golem system was to allow radical self-improvement while keeping

[08:40] goal drift manageably under control and understanding in real life you can’t be perfect at something like this but I mean doing better versus worse still has a meaning right and the golem architecture is pretty simple like You have an operating program which is actually running the system. It’s doing stuff. You have a big historical repository of stuff the system has has done in the past. You can’t store everything but we can we we

[09:12] can store a lot right then we have the meta program and what the meta program is doing is analyzing like okay should I replace the operating program with this new operating program right and in order to decide whether it should replace the operating program with a new operating program I mean it looks at the top level goals and it does an analysis is against the system’s history and its

[09:43] model and knowledge of the world and it it tries to make a rational prediction like do I replace my operating program or or don’t I like what what what are the odds that this will that this will rationally advance my goals right and very very simple concept and [snorts] you can then prove math theorem stating that in certain cases this will work in the system won’t won’t you know bark its top level goals as as

[10:13] it self modifies. I sort of sketched a proof of that very crudely way back when I mean I made a better proof of that a month month and a half ago. I made an even cleaner proof using uh this new distinction calculus math I’ve been playing with just just a couple weeks ago. I mean math proofs have assumptions that are rarely fully [snorts] you know valid in the real in the real world. On the other hand I mean if you compare to the situation with

[10:48] transformer neural nets and say a say a transformer neural net coding the next version of the transformer neural net and running pre-training and so on. I mean, if you compare to something like that, that’s very willy-nilly and no one knows what the Transformers goals are and the guard rails one puts on it don’t work. The constitution one plugs into is not paid attention to. Right? I mean here we are at least starting from a system that given certain only slightly idealized assumptions will have

[11:20] the desirable behaviors of goal preservation under strong self-modification and then yeah real world doesn’t exactly fulfill these assumptions and you look in what sense is the is the property of goal preservation probably approximately correct right so I’ve described two things the it runtime for Omega and the Golem framework from 2010 and now we can put them together into something I call

[11:52] Golem it right and that’s really quite simple you sort of in in software terms you you wrap a promotion gate around the iter loop right so every step through the cycle the omega iter agent can propose modifications to its own reprogrammable surface. Right? But then the modification only takes place when the promotion gate looks at it and says, “Okay, based on my analysis of your whole history and based

[12:26] on my my model of the world, like it seems sufficiently likely this will not muck with with the achievement of your top level goals too much, right?” And I mean that’s all it is conceptually. It’s it’s very simple. The thing is making this work software wise in a way that’s both efficient and does a lot of interesting things. I mean that that wouldn’t have

[12:58] been possible until this year basically because because LLMs but also because we now have a scalable infrastructure for doing symbolic AI for doing log logical reasoning pattern mining goal- driven action selection and so on in the hyper system was referenced inside the loop and like without the symbolic AI part is the part that’s being rewritten each cognitive cycle right because we can’t yet rewrite the the transformer neural net inside the LM each cognitive

[13:30] cycle because the transformers are based on back propagation which is very poor at at continual learning. So I mean once once we’ve upgraded transformer infrastructure to use predictive coding or other innovative methods that are capable of updating weights in real time in the course of inference without broking the system’s memory. I mean then then the self modification in this loop will inject itself into the the transformer neural net part as well as into the symbolic memory and reasoning part but

[14:03] right now all this self modification is the LLM and the symbolic system upgrading the [clears throat] symbolic system step by step and we couldn’t have done that till we had uh you know a beautifully scalable symbolic AI infrastructure which we really started to have only around the end of end of last [clears throat] year due to years of work on AI infrastructure in the in the hyper project. Right? So that’s a yeah that’s the crux of the architecture and then the the next step in what I was

[14:38] working on a month ago that I’m talking about you know now the the next step was trying to sort of mathematically understand like under what conditions will this sort of combined system actually fulfill the promise of golem and like actually actually preserve its its top level goals with reasonably high likely under iterated self modification. And that

[15:09] that came out just far more beautiful and elegant from a math perspective than I’d thought it would, you know, even even in the version I did a month ago. And it’s gotten even prettier on on distinction calculus in some of my more recent work. So yeah, it’s a bit mathy. Let me try to summarize how some of the math comes down. So basically the math theorems about this sort of golem or golem ed system say if if certain properties of

[15:39] the system hold then the system stays what I call steadfast and its values will stay in their attractor bases like these balls won’t drift too much. So the the properties you want to hold for this safety to come through are things like okay the the judge who decides if a modification happens cannot be changed by the agent right the agent can’t the operating program can’t rewrite the meta program that decides if the operating program gets updated I mean the human brain is not like that in the human brain the judge is not out of the

[16:11] agent’s reach but you can you can enforce that in the software architecture right you you have to assume Secondly, that history is stored reasonably accurately, right? So, put it on a blockchain, put it in an appendon hashchain ledger. So, every everything you have in your historical record is actually there. I mean, again, human memory isn’t like that either. You have to assume transformations are deterministic like running the same program twice will give the same thing. Again, humans aren’t like that, but

[16:43] computer programs can computer programs can can be like that. You have to assume [snorts] accurate probability calculation is is is being done within within the the meta program based based on the data made made available. I mean you you also have to assume that I mean the world is not utterly wildly non-stationary, right? Like you don’t have to assume the world has the same

[17:13] distribution in the future as in the past. But if the future world is too extremely perversely different, then everything you’ve tested in the past, then of course nothing really is going to work. And what you thought would achieve your values may may work toward the the opposite of your values. like in in in spite of your in in in in spite of your your best intention, right? And I I mean [snorts] you you you you then have to assume that

[17:49] it’s possible to repair the system at a rate faster than damage is accumulating. Like if a system is being randomly damaged too fast, then no repair is is is going to is is is is is going to help, right? And and and then we also have to

[18:19] assume the system isn’t being overly deceptive. Like the the operating program knows it’s being probed, right? So you need to assume it’s not able to realize that the meta program is trying to evaluate a candidate replacement and try to game that too effectively, right? And so the question is all these assumptions like what do you need to

[18:50] know about the system to know that they’re they’re really going to hold, right? And and I mean what’s interesting is the math that you do to say like what are the properties of a system that that make these properties hold is really quite elegant, right? Like some some of these assumptions just hold because of how the system’s built like the agent can’t touch his jaws because he built that way. History can’t

[19:22] be rewritten. Well, because they’re using a blockchain to store everything in the history, right? the program gives the same [snorts] inputs and the same outputs. Well, okay. Like that’s that’s how that’s how the programs uh implementation works. That that’s that’s a modern modern computers work. Right? Now, some of these assumptions are things you can’t always prove or hold true, but you can detect when they don’t hold true.

[19:54] Right? So like if the world is too wildly non-stationary and unpredictable, I mean [snorts] that may be bad. I mean you can’t guarantee you’re going to keep working toward the same goals, but the meta programming golem can test that, right? Like it can it can keep evaluating how wildly is the world changing. And at least then it can flag like, hey, you know, the world is going so apeshit. I can’t really guarantee that my method for doing what I thought was good is actually going to work anymore, right? And then it depends how the system is configured. Like did you did you

[20:27] configure it to just stop in those cases or did you configure it to say hey human who I rely on and who controls or guides me what should I do? Should I stop or should I keep going even though the world is going apeshit? Right? But I mean at least you can you can flag the system can flag that that sort of situation has has popped up right now to to get rid of gaming the system. I mean you can you can do a bunch of

[21:01] different things but I mean one thing you can do is keep each change small because a small change can only do a few things and you can only fit so much gaming inside a small change. But you can also do some clever blockchainy stuff, right? Like you can you can actually have the the meta program keep the details of proposed changes and their evaluations encrypted in in in a way that the the operating program can’t see. So this is like doing doing funky homamorphic encryption stuff between the operating program and and the meta

[21:34] program with it within the same [snorts] AI system just to shut off possibilities that the operating program gains the meta meta programs eval evaluation right and the so then the issue of repair beating damage again you can study that right like you can take copy of the system put in the sandbox, you can damage it. You can see how fast it heals. And if if indeed the modification of the system breaks the property that repair can occur faster

[22:07] than than damage, right? I mean, then you can say, well, don’t do that modification because that would put you in a in a regime where damage may accumulate faster than than than repair, right? So you look at all these things and I mean and I’m very very loosely and badly summarizing some hairy math which is both hairy and surprisingly beautiful and elegant if if if you you take a look at it right but I mean the conceptual picture here is you know it’s not as

[22:41] pretty as doomers would like. It’s not like you have an architecture with a hard and fast guarantee that nothing will ever go go wrong with it and it will never under any possible circumstance deviate from its its goals. Like that’s not reality. On the other hand, you can build an architecture that under certain logical identifiable assumptions will maintain its goals and values as it self modifies. You can identify what properties the world and the system has to have for this pre preservation of goals under self

[23:12] modification to to [snorts] persist. And then you can look at well some of these properties are guaranteed by the architecture. Some of them we can like probabilistically guarantee by doing smart things like doing a bunch of tests before we put new operating program in in place or or or by testing the world and then flagging if the world is just operating outside of our desirable desirable assumptions by putting you know use of blockchain use of strong encryption inside the algorithm to stop

[23:43] it from fooling and tricking itself. So I mean you can [snorts] you can do a lot of things to maximize the odds that goals are preserved under self-modification and this math ties in with the concrete golem [snorts] iter architecture that we are now building on on top of the iter runtime right so it’s it’s quite interesting I mean it ties in closely with discussions I was having with Ellie Yed yowski and the Mary people back when it was singular institute for AI and they’re like we had to have a provably

[24:15] ably safe AI system or we can’t launch an AGI. Well, we’re kind of getting there. Like we have a system that’s provably safe under certain assumptions and we can come up with elegant math to to to describe when systems and worlds will obey those those those assumptions and you can measure when those assumptions seem to hold and when they don’t seem to hold. So it’s it’s on the one hand reality rather than a dream. And it’s not as perfect as a dream, but it is on the other hand stuff that we’re building.

[24:48] And it’s it’s not as perfect as like Mary’s wet dream of something that’s proven safe under any circumstances. On the other hand, it’s like way way way in that direction compared to like Transformers making the next Transformer, which is just willy-nilly and nobody understands what what the is going on. And you know both the math and the systems are getting better and better month by month at just ridiculous and exciting speed.