Loophole: agentes adversariais para testar sua moralidade — Brendan Rappazzo, Morgan Stanley

Autoria: AI Engineer · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Loophole: Adversarial Agents To Stress Test Your Morality — Brendan Rappazzo, Morgan Stanley · Canal: AI Engineer · 16:34 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Governança e regulação de IA, Privacidade e proteção de dados

Resumo

Brendan Rappazzo apresenta Loophole, um projeto open source que transforma princípios morais escritos em linguagem natural em um código legal e usa agentes adversariais para encontrar brechas e excessos. A ideia surgiu da dificuldade de decidir, caso a caso, como princípios pessoais — como o uso de dados de DNA — deveriam ser aplicados. O projeto também explora usos práticos, como elaborar system prompts, comparar contratos e simular votos de legisladores. Em demonstrações com o Senado dos EUA e personas por estado, o sistema testa projetos de lei e sugere alterações para aumentar o apoio sem contrariar os princípios definidos.

Pontos-chave

A pessoa descreve seus princípios morais, e um agent os transforma em um código legal detalhado.
Agentes adversariais procuram brechas — situações imorais, mas permitidas — e excessos — situações morais, mas proibidas.
Um agent julgador pode corrigir automaticamente o código ou encaminhar contradições e ambiguidades à pessoa usuária.
O projeto permite explorar como dados de DNA poderiam ser usados em situações específicas, em vez de aceitar ou rejeitar todos os usos de forma geral.
Uma extensão busca gerar system prompts para chatbots e testar se eles falam sobre temas proibidos ou recusam temas permitidos.
Outra aplicação compara princípios pessoais com termos de serviço ou contratos, destacando divergências antes de um acordo.
O simulador do Senado usa informações públicas e histórico de votos para estimar como senadores votariam em projetos de lei.
O sistema pode sugerir mudanças na redação de um projeto para buscar mais votos sem alterar seus princípios centrais.
Uma demonstração com personas da Nvidia estima o alinhamento de projetos de lei com a população de cada estado.

Capítulos

Início	Capítulo	Resumo
00:12	A ideia do Loophole e sua origem	O palestrante apresenta o jogo e explica como a dificuldade de definir usos aceitáveis de dados de DNA inspirou o projeto.
03:55	Como o jogo testa princípios morais	Um agent redige um código legal, agentes adversariais procuram brechas e excessos, e um agent julgador corrige ou consulta a pessoa usuária.
07:53	Aplicações em chatbots e contratos	O projeto é adaptado para criar system prompts e comparar princípios pessoais com termos de serviço e contratos.
10:37	Possíveis usos na governança	O palestrante explora como testar projetos de lei em relação aos princípios de eleitores e legisladores.
12:17	Simulação do Senado e otimização de projetos	O sistema estima votos de senadores e sugere alterações na redação de projetos para ampliar o apoio.
15:30	Conclusões e convite para experimentar	O palestrante resume o valor do jogo para testar princípios morais e convida o público a experimentar e contribuir com o projeto.

Citações

Você especifica sua moralidade; um agent a codifica em um sistema legal, e dois agentes adversariais tentam encontrar contradições. — 00:12

Um agent tenta encontrar brechas no seu sistema: algo imoral, mas legal. — 04:28

É uma forma divertida de testar seus princípios morais e ver se há contradições interessantes. — 07:22

Talvez isso possa ajudar legisladores a testar projetos e pensar em leis melhores para as pessoas do distrito. — 16:00

Conceitos e entidades

Loophole (repo): Projeto open source que converte princípios morais em códigos legais e os testa com agentes adversariais.
Morgan Stanley (empresa): Empresa em que o palestrante trabalha como pesquisador de aprendizado de máquina; ele esclarece que o projeto não tem relação com a empresa.
Brendan Rappazzo (pessoa): Palestrante apresentado no título, que explica a origem e as aplicações do projeto Loophole.
Claude (modelo): Modelo usado para analisar informações públicas sobre senadores e simular seus votos em projetos de lei.
NVIDIA (empresa): Empresa cujo conjunto de dados USA personas foi usado para criar simulações de opiniões por estado.
agentes adversariais (conceito): Agentes que procuram brechas e excessos em um código elaborado a partir de princípios morais.
geração sintética de jurisprudência (conceito): Criação de casos hipotéticos para explorar como um código legal traduz princípios morais em situações específicas.
simulador do Senado dos EUA (ferramenta): Aplicação que estima votos de senadores em projetos de lei e permite testar mudanças em sua redação.
USA personas (modelo): Conjunto de dados da Nvidia usado para representar personas por estado em testes de alinhamento de projetos de lei.

Tradução completa (pt-BR)

00:12 Vou falar sobre meu projeto Loophole. Na verdade, sou pesquisador de aprendizado de máquina na Morgan Stanley, mas isso não tem nada a ver com a Morgan Stanley. É só um projeto open source que venho desenvolvendo por diversão. Para dar uma ideia geral desde o início, é basicamente um jogo que você pode jogar, construído sobre essa estrutura de agent adversarial. Você especifica seus princípios morais, um agent os codifica em um sistema jurídico e, então, esses dois agents adversariais tentam encontrar contradições nos seus princípios. E

00:45 ultimamente venho desenvolvendo diferentes extensões. Mas queria começar, sabe, pela história da origem e por como tive essa ideia. Tudo começou, sabe, há muito tempo. Eu tinha enviado meu DNA para a 23andMe fazer um teste de ancestralidade. E, mais recentemente, eu continuava ouvindo falar sobre como amostras de DNA podem ser usadas, é claro, para ajudar a solucionar crimes, em investigações forenses e casos arquivados. E eu estava pensando em como eu

01:16 tinha meio que optado por não participar de nada, porque tinha medo dessa espécie de ladeira escorregadia e de como meu DNA seria usado. Mas há certos casos com os quais eu ficaria bem. E isso é meio interessante. Eu pensava: sabe, se alguém pudesse me apresentar os casos um por um — “vamos usar seu DNA para solucionar, ou ajudar a solucionar, este caso arquivado ou este assassinato” —, eu poderia dizer sim ou não. E sei onde estão os limites e as nuances dos meus princípios morais. Mas

01:49 sabe, é claro que enumerar tudo isso caso a caso é cognitivamente inviável. Não há uma boa maneira de fazer isso atualmente. Então comecei a pensar de forma mais ampla que há muitas analogias com o sistema jurídico como um todo. Uma maneira de pensar no que é um sistema jurídico na nossa sociedade é que ele é, na verdade, uma forma de tentarmos codificar nossas próprias crenças morais. E acho que, de maneira parecida, encontrar as verdadeiras nuances dos nossos princípios morais e definir como a lei deveria ser é uma tarefa de

02:22 tradução realmente difícil. E acho que muitas vezes acabamos sendo genéricos demais, porque encontrar essas nuances é muito difícil. Se tentarmos fazer uma tradução perfeita, isso pode levar a casos-limite estranhos ou a modos de falha esquisitos. E também acho que, entre nós, nas nossas relações políticas, muitas vezes as divergências giram mais em torno de valores fundamentais com os quais, na verdade, não discordamos, em vez de explorarmos os pontos realmente sutis

02:54 dos nossos princípios morais. E acho que, seguindo esse exemplo mais amplo do sistema jurídico, no sistema de common law inglês é por isso que nos apoiamos tanto na jurisprudência: sabemos que encontrar essas nuances e esses limites sutis é difícil, então dependemos de juízes competentes para interpretar e aplicar a lei corretamente. E, é claro, até questões podem chegar à Suprema Corte, e podemos decidir

03:25 se uma lei é válida ou não. Então, essa era mais ou menos a ideia: será que dá para pegar seus princípios morais e fazer esse tipo de geração sintética de jurisprudência? Fazer isso manualmente é uma tarefa avassaladora, mas parece que a nova geração de LLMs finalmente é inteligente o suficiente para fazer esse tipo de raciocínio moral de alto nível. E esse foi o ponto de partida do jogo. Quero mostrar a vocês a versão inicial

03:55 do jogo, a configuração, como funciona e também falar sobre alguns dos diferentes caminhos que venho explorando com base neste projeto open source, porque acho que ele pode seguir por direções interessantes. Em linhas gerais, o jogo funciona assim: você especifica seus princípios morais em linguagem natural. Tudo acontece mais ou menos como em um jogo baseado em terminal. Você pode especificar seus princípios morais em geral ou sobre um assunto específico, e então um agent pega esses princípios e redige um sistema jurídico muito detalhado e codificado legalmente

04:28 legal. Depois, o jogo funciona em um ciclo: um agent recebe a instrução de tentar encontrar brechas no seu sistema — algo que é imoral, mas legal —, enquanto outro recebe um prompt para encontrar excessos, ou seja, coisas que são de fato morais, mas ilegais segundo o seu sistema. Um agent avaliador analisa seus princípios morais, o código jurídico produzido e esses exemplos sintéticos de jurisprudência, e primeiro verifica se consegue corrigir automaticamente. Por exemplo, talvez o rascunho original do seu código jurídico

04:59 tenha sido uma tradução imperfeita e não haja realmente uma contradição, então ele pode simplesmente fazer essa atualização automaticamente. Ou talvez haja uma especificação insuficiente dos seus princípios morais ou algum tipo de contradição entre eles. Nesse caso, o sistema apresenta a questão a você, usuário, para que julgue e tome uma decisão. >> Ainda está aparecendo para você? Para mim, sumiu.

05:47 Certo. Então, se você se interessar pelo jogo, espero que experimente. Está tudo no GitHub. Mas eu queria mostrar alguns exemplos. Tem bastante texto, então a ideia é mais mostrar o formato da entrada e da saída. É assim que você forneceria sua entrada. Voltando ao exemplo do DNA, você poderia especificar alguns princípios morais. E o sistema jurídico codificado, só para mostrar o formato, tem preâmbulo, artigos, seções — bem no estilo jurídico,

06:17 tentando escrevê-lo em linguagem jurídica precisa. Em seguida, são sugeridos diferentes casos sintéticos de jurisprudência. Neste caso, ele fala de uma brecha que encontrou: uma seguradora treinou um modelo de aprendizado de máquina preditivo não com o seu DNA, mas com dados derivados dele. E o sistema diz que isso é, na verdade, imoral, mas atualmente legal segundo suas regras. Neste caso, ele descobriu que podia fazer essa correção automática, e então você

06:51 recebe uma espécie de diferença no estilo do Git, mostrando o sistema jurídico original e as alterações necessárias para garantir que ele estivesse de acordo com seus princípios morais. Este é um exemplo de excesso e, neste caso, o sistema concluiu que não podia fazer a correção automática. O exemplo fala de alguém que envia seu DNA para uma pesquisa genética, mas o pesquisador descobre que essa pessoa tem uma doença genética rara, porém tratável. Mas, segundo seus princípios morais, isso não deveria ser permitido: que eles pudessem

07:22 informar a doença à pessoa que enviou a amostra. Então, o sistema apresentou a questão a mim, o usuário, para que eu tomasse uma decisão. E, de maneira semelhante, quando você toma a decisão, recebe esse sistema jurídico atualizado. É só um jogo divertido. Publiquei no Twitter e compartilhei o projeto como open source no GitHub. Para mim, pelo menos, foi de longe a publicação que mais viralizou. E isso me fez pensar: acho que muita gente simplesmente disse que era divertido poder colocar seus princípios morais à prova e ver se havia contradições interessantes.

07:53 Mas também me fez pensar: será que há algo mais aqui? Será que isso poderia ter implicações mais práticas ou de maior alcance? Vou falar sobre três caminhos diferentes que estou explorando. O primeiro sai da área jurídica e é mais prático: pensar em uma maneira automática de criar constituições para chatbots ou, na verdade, para agents em geral. Digamos que você seja uma empresa e queira ter um agent ou chatbot que

08:28 Voltado ao cliente, você quer que ele siga uma espécie de código moral, mas também tenha coisas sobre as quais falará e não falará. Em um dos caminhos, formulei isso de modo que você escreva suas morais de forma semelhante. Você escreve sobre o que o chatbot deve ou não deve falar, e então ele tenta criar esse system prompt codificado. Depois, você tem esses agentes adversariais tentando fazer com que ele fale sobre algo que não deveria ou se recuse a falar sobre algo que deveria. Vejo isso como uma espécie de analogia ou método análogo ao GEA.

09:01 Mas, na verdade, o foco é criar esses system prompts codificados. O segundo caso de uso que me interessa particularmente é pensar nisso como uma forma de fazer contratos mais ad hoc ou descentralizados. Acho que, num caso simples, você poderia especificar como quer que seus dados ou sua privacidade sejam tratados online e passar por esse tipo de jogo adversarial para chegar a um sistema jurídico codificado que defina como quer que seus dados sejam tratados. E se

09:34 você for, digamos, conferir quando a Apple lançar novos termos de serviço ou algo assim, poderá comparar as contradições entre seu sistema jurídico e os termos de serviço da Apple e identificar contradições interessantes ou casos sintéticos em que isso levaria a uma diferença entre suas morais, o que você quer e o que a empresa está fazendo. E, no caso de uma grande empresa, talvez você não consiga realmente mudar nada. Não é uma negociação, mas ao menos pode ter informações melhores sobre

10:07 o contrato que está assinando. Mas também acho que, pensando de forma mais descentralizada, se você estiver tentando fazer contratos sem uma autoridade central para aplicá-los e talvez estiver tentando fazer contratos entre países diferentes, dá para pensar se você pode especificar suas morais e como quer interagir — talvez seja apenas trabalho contratado —, como quer que seu trabalho seja remunerado e as

10:37 diferentes morais relacionadas a isso. A outra parte pode fazer o mesmo. E então vocês dois obtêm esse contrato codificado, submetido a testes de estresse. Depois, podem identificar as discordâncias, se houver, e trazê-las à tona antes de concordar. Assim, podem ter mais confiança no contrato como um todo. E a última coisa, talvez a abordagem mais aspiracional, é pensar em um governo mais inteligente ou mais eficiente. Acho que haveria muitas questões de privacidade

11:10 e questões logísticas, mas, por enquanto, vamos ignorá-las e pensar no quadro geral. Acho que, para os eleitores ou constituintes, essa poderia ser uma forma realmente interessante de, se você definisse suas morais e tivesse esse código jurídico submetido a testes de estresse, comparar seu contrato com qualquer novo projeto de lei ou político que surgisse e identificar os casos em que discordaria, ou pontos interessantes que seriam imorais para você, ou uma contradição. Também

11:44 acho que, na forma como nos relacionamos uns com os outros, isso é algo mais — acho que todos temos muita nuance na maneira como nos sentimos em relação às coisas, e essa é uma forma de chegar a essa nuance em vez de discutir apenas sobre valores, que muitas vezes não são contraditórios. E acho que, talvez de forma um pouco mais prática, para os legisladores, dá para imaginar que, se você quiser propor um projeto de lei, poderia ter uma simulação de todos os outros legisladores de um órgão legislativo e submetê-lo a testes de estresse antes da

12:17 apresentação. O terceiro caminho que venho desenvolvendo neste projeto é que tentei fazer isso para o Senado dos EUA. Primeiro, pedi ao Claude que analisasse todos os senadores atuais dos EUA, examinasse, sabe, todo o histórico de votações e qualquer outra informação pública e construísse o sistema moral de cada um. Depois, passei isso pelo processo do Loophole para obter uma espécie de código jurídico codificado. E, nesse sistema, você pode, sabe,

12:47 pegar qualquer projeto de lei atual que esteja sendo proposto, ou até propor o seu próprio e enviá-lo. E você pode pedir ao Claude que simule como cada senador votaria. Aqui dá para ver, por exemplo, uma divisão de alguns senadores, para que lado estão tendendo e o raciocínio por trás do voto. E acho que é interessante pensar em ver como as pessoas votariam em um projeto de lei proposto, mas isso também se torna — e acho que está de acordo com o tema da conferência — seu próprio

13:20 domínio verificável ou loop, e dá para pensar até em otimizar iterativamente o projeto de lei para alcançar uma supermaioria ou o que for necessário para aprová-lo. Neste caso, por exemplo, com esse projeto de lei do Medicare que eu estava testando, o resultado começou, acho, com uma votação de 50 a 50, e encontrou maneiras de otimizar iterativamente a redação do projeto de lei para que ele fosse aprovado com 52 votos. E acho que este é um exemplo de como ele pode encontrar

13:51 os princípios centrais do projeto de lei e tentar comparar o projeto com o contrato de cada senador para descobrir se há alguma forma de alterar a redação sem violar os princípios centrais ou as morais do projeto, fazendo essas correções automáticas dessa maneira. Ele também pode identificar e ordenar por prioridade as mudanças que precisariam ser feitas para maximizar os votos, e você, como usuário, pode escolher as concessões que está disposto a fazer.

14:23 E a última coisa que venho testando mais recentemente neste caminho é olhar para um quadro ainda maior: será que isso pode levar a um governo ainda mais eficiente, em que cada constituinte de um estado, ou de qualquer que seja o distrito, tenha seu próprio código jurídico, e então você possa enviar qualquer projeto de lei e realmente medir o nível de concordância entre os eleitores reais? Para isso, usei um ótimo conjunto de dados da Nvidia, chamado USA Personas. Peguei 500 personas

14:58 por estado, que supostamente representam bem a população do estado. Fiz o mesmo processo: dei a cada uma uma persona, pedi que elaborasse suas morais e seu contrato jurídico e, depois, peguei qualquer projeto de lei de interesse e comparei com cada estado. Também dá para medir o quanto as pessoas gostam do projeto de lei ou o quanto ele está de acordo com suas morais e, então, otimizar iterativamente o projeto para as pessoas. Para concluir,

15:30 no mínimo, acho que é um jogo bem divertido. Sou suspeito, mas é muito divertido experimentar coisas diferentes que são importantes para você, inserir suas morais e ver se há contradições. Muitas vezes, isso levanta questões realmente interessantes e, depois que você acrescenta essa nuance, o jogo — os agentes — não consegue encontrar mais contradições, e você pode ficar tranquilo sabendo que tem um sistema moral consistente e nuançado. Mas tenho interesse em explorar se

16:00 há aplicações reais aqui, talvez para algum tipo de contrato descentralizado ou melhor, e talvez até para legisladores, como uma forma de submeter seus projetos de lei a testes de estresse e pensar em como escrever leis melhores, que sejam melhores para as pessoas do seu distrito ou representem melhor o que elas querem. Este QR code leva ao simulador do Senado. Então, se tiver interesse, recomendo que experimente. O outro leva ao meu site, onde está o GitHub completo do

16:34 Loophole. E, por favor, experimente e faça um fork; eu adoraria ter outras pessoas contribuindo. Obrigado.

Transcrição original

[00:12] I’ll be talking about my project loophole. And I’m actually a machine learning researcher at Morgan Stanley, but this has nothing to do with Morgan Stanley. This is just a open-source project I’ve been building for fun. And to give sort of the high level flavor to start, it’s really this uh game you can play that’s built on top of this adversarial agent framework. So you specify your morals, one agent codifies that into a legal system and then these two adversarial agents try to find contradictions in your morals. And

[00:45] lately I’ve been building different extensions on top. Um, but I wanted to, you know, start with sort of the origin story and and how I came up with this this idea. And so this really started, you know, a long time ago, I had sent my DNA into 23 and me for uh ancestry testing. Um, and I kept hearing about, you know, more recently how DNA samples can be used, of course, to help solve crimes and all these forensics and cold cases. And I was thinking about how I

[01:16] had sort of opted out of of everything because, you know, I was scared of the kind of slippery slope and and how my DNA would be used. Um, but you know, there there are certain cases that I would be okay with. And it’s sort of interesting. I was thinking like, you know, if someone could present to me case by case, you know, we’ll use your DNA to solve, you know, help solve this cold case or this murder. I could sort of say yes or no. and I know where the the definition of like the and the nuance of my morals are. Um, and but you

[01:49] know, of course, like enumerating all of this case by case is really sort of cognitively prohibitive. Like there’s not a good way to do this currently. And then I was thinking sort of more zoomed out that there’s a lot of analogies to sort of the legal system as a whole. So, you know, one way to think of what a legal system is in our society is really just a way that we are trying to c codify our own moral beliefs. And I think sort of in a similar way like finding the true nuance of our morals and what the law should be as this

[02:22] really hard translation task. And I think often we kind of heir on the side of being too general because you know finding that nuance is really difficult and if you try to have a perfect translation it can we lead to these kind of weird corner cases or or weird failure modes and I even think kind of like peer-to-peer when we’re relating to each other politically a lot of times the disagreements are more kind of fighting over core values which we don’t really disagree on um instead of exploring the really nuanced

[02:54] points of our our morals and I think you know following that kind of broader legal example I think in the you know the English common law system that’s why we sort of lean on case law so heavily because we know that finding this this nuance and these nuance boundaries is difficult and so we kind of rely on smart judging to interpret and apply the law um correctly and you know of course even with like the Supreme Court things can get elevated and we can decide

[03:25] whether a law is valid at all. Um and so that was sort of you know the idea is like can you take your morals and can you do this kind of synthetic case law generation. So you know um this is overwhelming to do by hand but it seems like the new generation of LLMs are finally sort of smart enough to do this kind of highle moral reasoning and so that was sort of the the the starting point for this game. Um, and I just want to take you through sort of the initial

[03:55] release of the game, the setup, how it works, and then also talk about some of the different branches I’ve been building on top of this open source project because I think it could go in some interesting directions. And so at a high level, how the game works is you in natural language and this all happens. It’s sort of like a terminal based game. You specify your morals and it could be uh your general morals or maybe about a specific subject and then there’s one agent that takes those morals and drafts sort of a really rich legally codified

[04:28] legal system and then it just operates in this loop where one agent is instructed to try and find loopholes in your system. So something that is uh immoral but legal and another is uh prompted to find overreach. So things that are actually moral but illegal given your system. And a judging agent looks at the your morals the produced legal code and these sort of synthetic case law examples and first sees can it auto patch. So, like maybe the original

[04:59] draft of your your legal code sort of was an imperfect translation and there’s not really a contradiction and it can just sort of autodo this update. Or maybe it’s really kind of an underspecification of your morals um or some kind of contradiction in your morals and in that case it raises it to you as the user to sort of be the judge and make a determination. Uh >> is it still on for you? It disappeared for me.

[05:47] Okay. Um, so I know that, you know, if you I hope if you’re curious about the game, you’ll play it. It’s all on GitHub. But I just wanted to show some examples. And this is a lot of text. So it’s more about just showing the kind of shape of the the input and output. So this is sort of how you would provide your input. And going back to the DNA example, you might you know specify some number of of moral principles. And then the sort of codified legal system again just kind of looking at the shape has this really like legal ease, you know,

[06:17] preamble articles uh sections really trying to be uh you know write it in precise legal language. And then these the different kind of synthetic case laws get suggested. So in this case it’s talking about this is a loophole it found where an insurance company um trained a predicted machine learning model not on your DNA but on artifacts of the DNA. And so it’s saying you know this is actually immoral but currently legal given your system. And in this case, it’s it found that it could do sort of this auto patching and then you

[06:51] get this sort of like get style difference of of your original legal system and then the the difference it had to make to ensure you know this was consistent with your morals. And then this is a an example of overreach and in this case it found that it couldn’t do the auto patch. It’s talking about, you know, someone submits their DNA for uh genetic research, but the researcher finds they have a rare but treatable genetic disorder. Uh but currently your morals kind of say this shouldn’t be allowed that they could

[07:22] disclose this disease to the the person submitting. And so this was raised to the user to me to kind of make a judgment. And then similarly, when you make the judgment, you get this this patch legal system. And so, you know, it’s just sort of a a fun game and I posted on Twitter and shared it open source on GitHub. And for me at least, it was by far the most viral post I’ve had. And it sort of made me think like I think a lot of people just said it was sort of fun. You could stress test your morals, see if you have any interesting

[07:53] contradictions. But it also made me think, you know, is there maybe something more here? like could this be um you know have more like practical or bigger scope implications and so I’ll just talk about three different branches I’m kind of exploring um the first and sort of leave leaving the legal area and really more practical is thinking about sort of an auto way to make constitutions for chat bots or really you know for agents in general where you know say you’re a company and you want to have a um agent or chatbot that’s

[08:28] customerf facing and you want it to sort of adhere to a moral code but also have things it will and will not talk about. Um I’ve kind of in one branch formulated it so you in a similar way write your morals. You write what the chatbot should and not talk about and then it tries to write this codified system prompt and then you have these kind of adversarial agents trying to get it to either talk about something it shouldn’t or refuse to talk about something it should. And I see it as this sort of analogy or analogous method to GEA um

[09:01] but really aimed at kind of building these codified system prompts. The uh second use case that I’m I’m particularly interested in is thinking of it as a way to sort of do more ad hoc or decentralized contracts. So I think in in a simple case say like you can specify how you want your data or privacy to be handled online and you can go through this sort of adversarial game to get this codified legal system of how you want your your data handled and if

[09:34] you go to you know say Apple releases a new terms of service or something you can run the um contradictions between your legal system and between Apple’s terms of service and like surface any interesting contradictions or like synthetic cases where this would lead to a difference between how you know your morals, what you want and what the company is doing. And you know in the case that it’s a big company, maybe you can’t really change anything. It’s not a negotiation, but you can at least be sort of have better information about

[10:07] the contract you’re signing. But I also think in the case of you know thinking more decentralized like if you’re trying to have contracts without you know some central authority kind of enforcing them and you’re trying to maybe do contracts across different countries. Um, thinking about like if you can specify your morals and how you want to like interface, you know, maybe it’s just like contracted work, how you want your work to be paid for and and and the

[10:37] different morals surrounding that. And the other party can do the same. And then you both get this kind of stress tested codified contract. And then you can kind of find the the disagreements if there are any and surface them before you agree. And then you can kind of be more confident in the the contract as a whole. And the last thing and maybe the kind of more aspirational angle is thinking about smarter government or more efficient government. Um I think there would be a lot of different privacy

[11:10] issues and logistical issues but sort of ignoring those for now and just thinking big picture. I think for voters or constituents, you know, this could be a really interesting way if you you defined your morals, you have this stress- tested legal code, sort of any new bill or politician that comes out, you could kind of run your contract against theirs and surface, you know, what are the the cases you would disagree or or interesting uh points that are kind of immoral to you or or a contradiction. Um, I also

[11:44] think, you know, relating to one another, it’s like a more I think we all have a lot of nuance in the way we feel about things and this is a way to kind of get to that nuance instead of arguing over just values which is, you know, often the values are not in contradiction. And then I think maybe a little more practically for legislators, you could imagine um if you want to propose a bill and you can have like a a simulation of all the other legislators and a and a legislative body, you could sort of stress test it before

[12:17] submission. And so the the third branch I’ve been building on this project is I I tried to do this for the US Senate. And so what I did is I first had Claude go through all current US senators and look at, you know, kind of all their voting history and anything else that was public and build their kind of moral system and then ran it through the loophole process to get a codified sort of legal code. And then on this system, you can, you

[12:47] know, take any current bill that’s being proposed or even propose your own and submit it. And you can have Claude sort of simulate how each senator would vote. And so here you can see like a breakdown of um some senators, which way they’re leaning and sort of their reasoning behind the vote. Um and I think you know it’s sort of interesting just to think about like seeing what you know a proposed piece of legislation how people would vote but also this sort of becomes and I think on theme of the conference its own

[13:20] verifiable domain or loop and you could think about even kind of hill climbing the bill towards um getting like a super majority or whatever you need it to pass. And so in this case, like this this Medicare bill I was testing, you know, it found that I think it originally started at like a 5050 vote and it found ways to hill climb the language of the bill such that it passed with um 52 votes. And I think, you know, this is an example of it can find um

[13:51] like the sort of the core tenants of the bill and it can try to find like run the the bill against each senator’s contract and find is there any way I can change the language such that I don’t violate sort of the core tenants or morals of the bill and kind of do those auto patching that way. And then it can also find um you know kind of rank order the changes that would need to be in place to maximize votes and you as a user can kind of choose the trade-offs that way.

[14:23] And then the last thing I I’ve been trying out more recently with this branch is actually looking at, you know, kind of even bigger picture, like can this lead to an even more efficient of government where you have every sort of constituent in a in a state or whatever the district is sort of have their legal code and then you could just submit any bill and actually measure sort of the agreement between like the the actual voters. And so for this, I took the Nvidia has this really great data set of USA personas. And so I took 500 personas

[14:58] per state and it’s supposed to be sort of well representative of the state’s population. Did the same process of having them given the persona, draft their morals, draft their sort of legal contract, and then take any bill you’re interested in and kind of run it against each state. And you can also, you know, measure how much people like this bill or how much it’s in agreement with their morals and then also do this hill climbing where you kind of optimize the bill for the people. And so just to conclude, you know, at at

[15:30] minimum, I think it’s a pretty fun game. I’m biased, but it’s a lot of fun to just try out different um you know, things you care about, put in your morals, see if there’s any contradictions. you know, often it will raise some really interesting questions and then once you kind of provide that nuance, the game, you know, the the agents won’t be able to find any more contradictions and you can kind of feel good that you have like a a consistent nuanced uh moral system. Um, but I I am interested in, you know, exploring could

[16:00] this be are there kind of real applications here for some kind of like decentralized or better contracts and maybe even for legislators as a way to sort of stress test your bills and even think about how to write um better laws that are, you know, better for the people in your district or more representative of what the people in your district want. Um, and so this QR code is to the the Senate simulator. So I encourage you if you’re interested to play and um the other one is to my website which has the the full GitHub to

[16:34] loophole um and please you know play with it fork it uh I’d love to have other contributors. Thank you.