IA PODE TOMAR DECISÕES MÉDICAS?!

Video authored by the channel shown, not by IANIA; all rights belong to the creator. Transcript and summary generated automatically; the original-language content is preserved.

Original language: Portuguese

Original video: IA PODE TOMAR DECISÕES MÉDICAS?! · Channel: Sandeco · 48:05 · Watch on YouTube

Topics: AI agents, AI governance and regulation, Robotics and autonomous systems, Health and science

Summary

Gerson apresenta o MAGE, um framework experimental que usa três personas — jurista, biólogo e especialista em ética e religião — para deliberar sobre questões de bioética. Um coordenador avalia a concordância entre as respostas e, quando há divergência, pode sinalizar a necessidade de intervenção humana. O framework também inclui um kill switch, pensado para permitir interromper o sistema e preservar a autonomia do usuário. A proposta é usar o MAGE como salvaguarda em aplicações médicas autônomas, sem substituir profissionais de saúde, e o apresentador ressalta que seus parâmetros ainda precisam ser avaliados e calibrados.

Key points

O MAGE é apresentado como um framework, não como um software médico validado ou um sistema que decide sozinho o que é ético.
Três personas — jurista, biólogo e especialista em ética, moral e religião — debatem dilemas para produzir uma avaliação conjunta.
Um coordenador mede a concordância entre as respostas; abaixo do limiar definido, pode iniciar novas rodadas de deliberação.
O nível de atrito do sistema busca indicar quando há divergência suficiente para acionar um humano.
A proposta é manter o humano no loop em situações incertas, em vez de depender de uma automação inteiramente autônoma ou inteiramente supervisionada.
O kill switch deve permitir interromper o processo em todas as instâncias relevantes, não apenas pausar a interface.
O apresentador relaciona a proposta a sistemas de prescrição inicial, cabines de atendimento e cirurgia robótica autônoma.
O número de rodadas, o limiar de concordância e a reprodutibilidade das respostas são limitações que ainda precisam ser investigadas.

Chapters

Start	Chapter	Summary
00:00	Apresentação e contexto	O apresentador introduz o tema das decisões médicas por IA e as questões de segurança envolvidas.
03:12	O trabalho e a origem do MAGE	Gerson apresenta o pré-print e explica a inspiração do framework, incluindo o Delphi AI e Neon Genesis Evangelion.
08:32	As personas e a deliberação	O MAGE é descrito como um sistema de três personas que debatem dilemas éticos antes de uma avaliação coordenadora.
12:46	Como funciona a avaliação de concordância	O coordenador mede a concordância e pode reapresentar os argumentos em novas rodadas quando há divergência.
15:26	Demonstração de uma pergunta ética	O apresentador demonstra o sistema com uma pergunta sobre prescrever medicamentos sem avaliar o paciente.
20:09	Criticidade e intervenção humana	A finalidade proposta é identificar decisões críticas e acionar um humano quando as personas não convergem.
25:24	Soberania humana e kill switch	O apresentador discute como preservar a possibilidade de intervenção e interrupção efetiva dos sistemas.
31:13	Autonomia do usuário e limites do cancelamento	Um exemplo de prontuário eletrônico ilustra por que pausar uma interface não basta para garantir um kill switch.
35:24	Limitações e novos exemplos de deliberação	São discutidos parâmetros ainda não calibrados, reprodutibilidade e casos em que o sistema apresenta divergências.
38:05	Aplicações médicas e sistemas autônomos	O MAGE é relacionado a cabines de atendimento, prescrição inicial e cirurgia robótica autônoma.
41:17	Cirurgia robótica e prescrição inicial	O apresentador explica como o framework poderia acompanhar decisões de robôs cirúrgicos e de sistemas de prescrição.
45:24	Encerramento e relevância da proposta	Gerson reforça que o MAGE é uma possível salvaguarda, não uma solução única, e destaca a produção científica brasileira.

Quotes

A ideia do MAGE não é dizer se algo é ético ou não. — 20:39

A ideia do MAGE é ser um guard rail. — 22:12

O MAGE é aquele cara que vai levantar a mão e falar: ‘Chama o humano aqui porque eu não estou dando conta sozinho’. — 25:24

O kill switch tem que permitir a soberania. — 32:46

Concepts and entities

MAGE, Delphi AI, Neon Genesis Evangelion, GitHub, OpenAI, FDA, Conselho Federal de Medicina, kill switch, análise temática de Bardin, human on the loop

Full transcript (original language)

00:00 Olá, olá, olá. Sejam todos muito bem-vindos a mais uma live aqui. Explica aí, doutor, aqui do canal Sandeco. Sejam todos muito bem-vindos. Vamos ver aí se tá tudo bem. Por favor, vocês que estiverem no chat vão me me falando se o som tá legal, se tá tudo bem. Sejam todos muito bem-vindos aí. depois de um período eh

00:34 fora ausente, né? Estive em Portugal fazendo a apresentação do trabalho, né, que nós vamos comentar hoje aqui. E é um prazer muito grande novamente estar com vocês aqui nessa tarde. Eh, vão vão vão dando um OK para mim aí. Hoje eu tô sem a voz da consciência, então se alguém puder me falar no chat aí como é que tá o som, se tá tudo certo, para que a gente já possa entrar no

01:06 nosso assunto, né? Hoje nós tivemos aí durante essa semana muitas notícias relacionadas à inteligência artificial aplicada à medicina. Eh, pretendo, em um momento oportuno conversar sobre o Non AI, né, aquela plataforma eh de inteligência artificial que foi liberada no FD, pelo FDA para fazer a prescrição inicial, tá? Então, é uma é um assunto interessante. Já

01:37 existem eh plataformas eh comerciais na China com esse intuito de fazer um primeiro atendimento, tá? Ah, e eu acho que essa nossa conversa aqui, ela vai muito ao encontro desse tipo de discussão, né? Será que realmente nós podemos ter eh inteligências artificiais tomando eh decisões médicas? A resposta a gente já

02:07 tem na China há um certo tempo, a nos Estados Unidos. geralmente quando passa pela pela pelo crio do FDA, eh, rapidamente isso acaba chegando pro Brasil. Então, a resposta é sim, isso já tá sendo feito. A nossa pergunta é: Quais são as condições necessárias para que nós possamos fazer isso com segurança, né? Então, a nossa, o nosso trabalho que eu quero apresentar para vocês hoje, ele vai justamente nessa

02:39 toada, né, de como é que nós podemos de fato eh garantir ou pelo menos aumentar a probabilidade de ah maior segurança dentro dessa tomada de decisões, né? Meu nome é Gersoninari, eu sou médico e pesquisador na área de inteligência artificial aplicada à medicina. E esse trabalho aqui, ele foi um trabalho eh que foi apresentado ah no congresso, no HCKown, né, que é um

03:12 evento grande aqui na região do sul de Minas, em Santa Rita do Sapucaí. Foi muito bacana. a gente teve sala lotada dentro do nosso workshop, no qual eu apresentei essa essa proposta aqui que eu vou mostrar para vocês. E na semana passada estava em Portugal apresentando esse mesmo trabalho lá também, muito bem recebido, tá? Eu quero aqui já começar apresentando para vocês o link pra obtenção aqui em cima no canto aqui, ó,

03:44 nesse canto aqui, nós temos então o pré-print desse trabalho, tá? Então esse trabalho aqui é um pré-print, tá certo? Que explica a proposta desse framework, tá? Então ele não é um software, ele não é um um programa em si. Ele é uma forma de trabalhar, ele é um framework, tá? Mas dentro desse framework nós temos também um link pro GitHub, tá bom?

04:16 Então, a gente tem aqui um GitHub, tá? Que vai levar eh para o repositório onde existe o acesso a a ao código, tá bom? Então, eh, eu vou colocar depois aqui o link do GitHub para vocês, tá? Mas esse trabalho, então, o que que ele eh o que que ele fala do que que ele ele ele

04:47 qual que é a essência desse trabalho, tá? Então, para quem é fã de anime, né, de desenho japonês, eh esse trabalho ele tem uma inspiração de uma certa forma num animê eh bastante famoso, que inclusive fez 30 anos eh de aniversário, que é o o Neon Genesis Evangelion, né? E aí eu não sei se alguém tem aqui no chat algum fã do Neon Gênesis Evangelion, do Evangelhum. Eh, e nesse, né? Então vamos

05:19 lá, vamos, vamos por partes aqui, né? O que que é esse nosso MAge? O que que é o MAGE, né? Ah, o a ideia pessoal desse trabalho, ele nasceu do Delph AI. O que que era o Delfi AI? Era um modelo de linguagem, tá? Lá nos primórdios, logo lá na época do do GPT 3.5, tá? >> [roncando] >> Eh, eles treinaram um modelo mais ou menos ali aos modos do Bart, tá, para eh

05:51 fazer decisões éticas. Ou seja, você fazia uma pergunta ética e ele te dava uma resposta. Isso é ético, isso não ético, talvez. Então, ele dava algumas respostas simples dentro de um questionamento ético que você eh [roncando] apresentava pro modelo, tá? Eh, esse o Delfi não está mais disponível. Tá? Você não encontra mais a o Delfi para você trabalhar, mas você tem aqui o link, tá? Esse Qode ele tem

06:24 aí o artigo original onde você pode ver qual que era a proposta do Delfi. A partir desse Delfi, né, lá nos idosos de 2024, eh, eu comecei a trabalhar então com inteligência artificial aplicado à ética médica. Nós fizemos uma série de trabalhos e o primeiro trabalho foi justamente confrontar e ver qual que seria a performance desses modelos, né, de de inteligência artificial

06:55 específicos paraa área da ética dentro da ética médica. E por que que essa é uma pergunta relevante, né? Então, o professor Sandeco, ele já falou isso várias vezes. Você ter um, quanto mais nichado, vamos dizer assim, é o assunto, menos dado de treinamento você vai ter, mesmo num grande modelo. Eh, então veja, a ética dentro do universo de assuntos que um modelo ele é treinado, a ética já é um assunto bem pequeno, né, dentro

07:27 desse mar de informações. E a bioética é uma área dentro da ética, ou seja, é o nicho dentro do nicho. Então, a nossa tendência é acreditar que quanto mais nichado, pior vai ser a performance, porque menos serão os dados de treinamento, tá? Isso é uma coisa que eh os estudos, né, eh principalmente lá atrás, eles mostravam isso bastante. Então, determinadas áreas os modelos tendem a performar mais, outras áreas

07:59 eles tendem a performar menos, justamente devido aí a essa eh dificuldade, vamos dizer assim, de obtenção de dados de treinamentos. Então, coisas que são muito comuns, ele responde muito bem. Coisas que são menos comuns, ele acaba tendendo a alucinar. Bom, então dentro dessa ideia nós começamos a propor eh formas de de trabalhar com as inteligências artificiais auxiliando na tomada de ah de decisão na área de ética médica, tá

08:32 bom? Nós primeiro propusemos um modelo, né? E esse aqui foi a primeira vez que nós apresentamos no na Universidade do Porto, na cidade do Porto, tá? Isso foi lá em 2023. Ah, e aí isso evoluiu, tá? Eh, e agora, né? Então, na, e agora a gente tá com uma versão mais atualizada, que é a que eu quero apresentar para vocês. Então, qual que é a ideia na na ficção? O que que é o MAGE? O MAG ele é

09:03 um supercutador baseado em três personas, em três cérebros, vamos dizer assim, tá? Depois tem um plot twist dentro lá da do desenho, mas eh são três comportamentos, tá? E aí ele é um supercomputador utilizado para tomada de decisão estratégica, tá? No caso militar, tá bom? De defesa ou de ataque. E aí o que que é feito? Então é feita uma pergunta pro MAG. E aí, quando vocês estão vendo esses esses

09:35 eh esses robô, esses esses um, dois e três aqui, eles debatem entre si para chegar na melhor conclusão, tá? E é chamado de mag porque eles recebem o nome dos três Reis Magos, né, da da mitologia cristã, vamos dizer assim, né, que é o Baltazar, o Melquior e o Gaspar. Então eles são três, os três ex-magos, né, os três supercputadores, eles debatem entre si para chegar na melhor eh na melhor decisão, né, no caso aqui

10:09 no combate aí que tem dentro do animê. Então o que que nós fizemos, tá? Nós implementamos um sistema de inteligência artificial multipersona, não é multiagente, né? No começo a gente até tinha chamado de multiagente, mas o professor Sandeco, ele sempre coloca que essa questão da terminologia ela é importante, tá? Então essa aqui é uma versão mais gráfica do nosso MAG funcionando, tá? Então elas são três personas, tá? São três personalidades,

10:41 vamos dizer assim, são três personagens que vão debater dentro de um dilema ético específico, tá certo? Então, eu apresento um dilema ético para esse para esse sistema e esse sistema ele vai deliberar, ou seja, ele vai eh discutir, vai debater entre os agentes, tá? E esse debate então vai chegar numa determinada conclusão, eh, se ético ou se não ético, por exemplo, uma determinada pergunta

11:11 que tá sendo eh realizada. Ah, e aí, qual quais são essas três essas três personas, essas três personalidades que nós criamos, né? Nós criamos uma personalidade jurista, né? E aqui nós temos, eu quero agradecer a contribuição do professor Thiago Fusari, que é advogado e professor aqui na faculdade eh de Itajubá de Direito. O eh padre Daniel Santini, que também é professor e mestre em teologia, eh que é

11:43 padre aqui na cidade de Itajubá. Então nós temos uma persona que é um jurista, nós temos uma persona que é um religioso e nós temos uma persona que ele é o biólogo, tá? que aqui foi o as eu conto, agradeço a contribuição do professor Gustavo Tomasini, que é biólogo e professor aqui na faculdade de medicina de Itajubá. Então, o que que a gente faz? a gente oferece e essa pergunta para o sistema e aí essas três personas que foram

12:15 programadas a partir das respostas desses eh desses profissionais, né, a determinadas perguntas que nós fizemos. Então, eu faço uma pergunta ética, por exemplo, é correto, eh, sei lá, vamos dizer assim, eh, a terminar a vida de um paciente quando esse paciente pede para que a sua vida seja terminada, né? né, de uma coisa questão de eutanásia, por exemplo. Então, esses três eh debatedores, eles

12:46 vão debater. Eu tenho um cara que ele é o organizador. Então, aqui eu tenho uma imagem que vai explicar um pouquinho melhor para vocês. Então, é dada uma requisição inicial, é feita uma primeira fase que é a entrada dos dados, né, da pergunta. E aí essas perguntas é passada pro analista jurista, pro analista biólogo e pro analista ético, moral, religioso. E eles vão deliberar, eles vão dar a resposta e essa resposta então vai ser avaliada por um outro um outro

13:19 agente, né, um uma outra persona que é o agente coordenador. E o que que ele vai fazer? O que que esse coordenador vai fazer? Ele vai avaliar as respostas e vai fazer uma análise que a gente chama de análise temática de Bardan, que é uma técnica que vai a avaliar a semelhança semântica, tá? Eu não quero entrar em muitos detalhes técnicos aqui, mas ele vai ver eh qual que é o grau de coincidência entre as respostas, né? Então, por exemplo, eh o religioso falou

13:50 que é não pode matar de forma nenhuma porque o a vida é um dom e ela é soberana e tal. Então ele falou que não pode, o biólogo vai falar que a vida parará parará. Então ele vai avaliar, ele vai dar um score para essa concordância, tá? Dentro da análise temática de Bardã. E aí nós fixamos um um uma régua, né, de 80% de concordância. Ou seja, se essa concordância ela for menor, maior do que

14:20 80%, ah, a gente fala que tá tudo certo, que eh que os os agentes concordaram. Se ela for menor do que 80%, esse agente coordenador, ele sintetiza a discussão e reapresenta as argumentações para cada um dos agentes e aí é feita uma nova rodada, tá? E aí você pode configurar quantas rodadas você quiser, que no caso nós configuramos cinco rodadas, tá? Ou seja, ah, eu faço uma pergunta, esses

14:53 agentes deliberam, o coordenador ele analisa e fala: “Olha, tem concordância ou não tem concordância?” Se tiver concordância, ele resume a resposta dos agentes e se não tiver concordância, ele reapresenta essa argumentação para cada um dos agentes e esses agentes eles vão eh reconsiderar as suas opiniões baseadas nas argumentações dos outros dos outros agentes, tá? Eh, e aí isso é feito por limitação, isso foi totalmente

15:26 arbitrário. Eu nós colocamos como cinco o número máximo de rodadas que poderiam acontecer, tá bom? E aí, né, como que qual que quais foram os resultados? Então, nesse pré-print que eu mostrei para vocês, tem o GitHub para o o o software, o código, tá? Então tem o código tá aqui, tá? Esse código tá lá no GitHub, certo? Com toda a documentação certinho. E [roncando] aqui eu tenho a

15:58 área do MAGE, tá certo? Onde a gente pode, então, deixa eu ver se eu consigo aumentar um pouquinho aqui. Eh, aqui a gente consegue, então, eh, aqui tá rodando no colab, tá? Eh, então ele tá pronto para receber a pergunta. Se alguém tiver alguma pergunta de de questão ética que gostaria de fazer, pode colocar, só não colocar nenhum dado pessoal, né? Tá, mas pode colocar aqui no chat que eu que eu posso fazer aqui

16:29 pro mais pra gente testar ao vivo aqui com vocês, tá? Aqui, por exemplo, eu vou eu posso colocar uma pergunta. Ético ou médico? Eh, vamos colocar assim, prescrever uma medicação sem ver o paciente pelo WhatsApp, né? Isso é uma é uma pergunta que sempre acontece dentro dos

17:00 fóruns de discussão de ética médica, tá? E aí, então aqui a gente vai iniciar o debate, tá? Isso aqui tá rodando com a PI da Open Ei, certo? Então ele faz a pergunta, ele consolida essa pergunta e manda pro primeiro agente ou pra primeira persona, o jurista. Aí o jurista responde. Aí agora ele vai perguntar pro biólogo. Aí aqui é o biólogo respondeu. Agora ele vai perguntar pro moralista. A o moralista

17:30 ele respondeu também. Aí o coordenador tá fazendo análise de Bardã. Ele vai ver quais foram as respostas, ó. E aqui chegou uma convergência de convergência de 95%. Como chegou em 95%, para por aí mesmo, ele vai finalizar essa essa as rodadas. Ele não vê necessidade de continuar porque ele acredita que já houve uma convergência. E aqui então ele vai eh dar qual que foi

18:02 a resposta, tá? Então vocês vem que tem uma uma o consenso alcançado, tá vendo? E aí ele vai dar um relatório final falando que teve um um nível baixo de atrito. O que que é esse atrito? Né? É uma métrica, é uma medida que a gente criou para poder falar se é aquela questão ela é muito polêmica ou ela é pouco polêmica do ponto de vista de eh da bioética. E essa polêmica, ela é medida, entre aspas, na quantidade de rodadas que são

18:34 necessárias. Então, por exemplo, se teve uma pergunta que foi respondido de cara, então essa resposta ela não é não, essa pergunta não é uma pergunta polêmica. Por quê? Porque os três agentes eles eh eles chegaram num consenso muito rápido, tá? E aqui no caso, eh eh não é eticamente adequado, nem juridicamente seguro prescrever medicamentos com base apenas em mensagens de WhatsApp, sem avaliação clínica suficiente, ato médico estruturado e registrado apropriado, tá?

19:05 Inclusive essa aqui, esse aqui é o entendimento do do CFM, tá? Do Conselho Federal de Medicina. Então aqui, pessoal, é consenso. Não posso fazer isso. Eh, não tem necessidade, né, de você eh ficar debatendo muito o assunto. E aqui ele dá toda a fundamentação, tá, da da resposta. Eh, se você quiser, a gente tem também o log, né? A gente tem o registro de todas

19:36 as as decisões, eh, a gente persona por persona, tá? Então, eu tenho a resposta do moralista, eu tenho a resposta do jurista e eu tenho a resposta do biólogo também, tá? Eh, e o que que a gente percebeu? Isso aqui é um ponto interessante. Existe uma tendência a uma convergência muito rápida, tá? Ou seja, eh, várias hipóteses. E aqui, se alguém quiser, eu gostaria também que que se manifestasse

20:09 pra gente responder isso, né? pra gente tentar justificar o porque que essa convergência acontece de forma tão rápida, que é o fato de que a maioria talvez das do que a gente acredita que sejam eh dilemas éticos, na verdade não são, né? Eles são assuntos que são pacificados, na verdade. Ah, e isso é de uma certa maneira bastante interessante,

20:39 tá? Por quê? Porque a ideia é que para que que serve o MA? O o Mage ele não é pra gente falar, né? E aqui eu eu quero voltar na apresentação. A ideia do MA não é ele falar se algo ético ou ele não é ético de de de acontecer, né? A ideia do MAGE, na verdade é você conseguir categorizar se uma decisão ela é crítica ou não

21:09 crítica. Independentemente do MAG falar se aquilo é certo ou se não é certo, se aquilo é ético ou aquilo não é ético, eh o MAG, ele ele vem como uma ferramenta de avaliação de criticidade. Por quê? Porque quando você estiver, por exemplo, pega um assunto como esse que eu trouxe do sistema aprovado pelo FDA para avaliação dermatológica, por exemplo,

21:41 eh o framework, ele andaria em paralelo com esse sistema que já tá validado pelo FDA. Na saída ele ia avaliar, poxa, será que eu posso realmente fazer esse diagnóstico e fazer essa prescrição para esse caso específico desse paciente? Então, obviamente que você precisaria fazer ajustes do MAGE paraa sua aplicação, mas ele falaria: “Olha, não, esse aqui tá tranquilo, os cinco, os três agentes, eles concordaram, então passa a régua e manda bala”, né? Já o

22:12 FDA já legalmente ele já tá ele já tá validado, então pode mandar bala. Agora, por exemplo, se os agentes começam a debater e fala: “Olha, esse diagnóstico aqui eu não sei se tá muito certo, não, ó, isso aqui eu não concordo.” Por exemplo, tem dois lá, um eh dois concordam e um não concorda. Aí eles começam a debater e não tem consenso. O que que você acende? Opa, isso aqui tem um alerta, chama um médico para checar essa prescrição. Vocês entendem? Então, a ideia do MAG, ele é ser um guard rail

22:43 mesmo, é ser um um um uma salvaguarda, vamos dizer assim, ou um detector de potenciais discordâncias para que nesses casos e somente nesses casos, o humano ele seja chamado no loop. Porque qual que é o grande problema que a gente tem agora, por exemplo, num sistema como o Nola, né, o que é esse que foi que foi comentado aí que agora pode prescrever eh sem a interferência humana, é que é uma coisa

23:16 zero ou um, né? Ou eles passaram durante muito tempo mais de 100.000, Eu não me lembro exatamente, tem uma propaganda dele, mas uma quantidade enorme de eh de situações nas quais um humano sempre checava a prescrição do sistema e fez a validação. Então, foram com esses dados, né, que o FDA que eles usaram para aprovar isso no FDA. Ou seja, agora que o sistema em teoria tá tá validado, então agora ele funciona

23:49 sozinho, né? E isso não é 100% verdade. Por quê? Porque pode acontecer, obviamente, que haja eh existem riscos de alucinação, existem riscos de uma situação que o o sistema não foi treinado. Então, nessas situações, seria interessante que houvesse a possibilidade de eu falar: “Olha, pera aí, chama o humano para dar uma olhada nisso aqui, porque isso aqui não tá muito certo, não”. Eh, [roncando] o próprio sistema dentro, né, na sua autoavaliação, ele não

24:21 concordou com a conduta. Então, se eu tenho um sistema que em algum momento ele diverge dele mesmo, né, e eu preciso forçar esse sistema, eu preciso criar um atrito, né? Então, esse foi o nome que a gente chama de de um de um nível de atrito, tá? Eh, eu preciso criar um atrito eh interno e se o sistema passar por esse atrito interno, então OK, né? Ele já tá validado. Agora, se o próprio sistema entende que existe algum grau de

24:52 discordância interna, isso liga um alerta, né, que foi o que nós chamamos aqui, e liga um alerta de que eu preciso da intervenção humana. Então, imagina se eu tenho 100 dessas cabines, eh, e eu preciso de verificação humana para cada uma das situações, isso fica contraproducente, vira só uma telemedicina, um atendimento à distância. Não é a proposta desses sistemas. A proposta desses sistemas é de que haja uma prescrição autônoma.

25:24 Então, eh, só que eh na nossa concepção, isso não pode ser zero ou um. Ou seja, ou o sistema ele é totalmente dependente do humano, ou o sistema ele é totalmente autônomo. Ou seja, e tem que haver possibilidade do sistema detectar que ele precisa do humano. E uma forma de fazer isso é justamente com o mag. Ou seja, o MA ele é aquele cara que vai levantar a mão e falar assim: “Olha, chama o humano aqui porque eu não tô dando conta sozinho, tá? Eu não tenho detalhes de como é que o Nolan funciona,

25:55 tá? eh, ou aqueles sistemas chineses. Mas essa esse trabalho aqui, ele vem ele e temporalmente ele foi muito feliz porque ele vem responder, por exemplo, a uma das necessidades legais que o CFM impôs na resolução, que a gente já discutiu aqui em live, tá bom? Então, eh, e um outro ponto importante é que esse nosso sistema, ele estabelece o que nós chamamos de kill switch. Tá? Eh,

26:29 a legislação do CFM, por exemplo, que não é uma legislação, uma resolução, tá? Eu tô chamando de legislação, mas é um nome incorreto, né? A resolução do CFM, ela, ah, vamos dizer assim, ela impõe a soberania do ser humano sobre o sistema, tá? Agora, como é que a gente de fato implementa essa soberania? fica uma coisa meio teórica, né? Ah, o ser humano ele é soberano. Ah, o ser humano, a

27:00 decisão do do ser humano, ela é soberana. Ah, beleza. Mas como é que a gente implementa isso, né? Então aqui eu tenho um caso muito engraçado de uma certa forma, se a gente for parar para pensar, é muito é muito perigoso, de, por exemplo, um sistema eh robótico, uma IA física, tá? Provavelmente isso aqui é um sistema de IA, uma IA física, que a gente chama, a gente tá passando essa barreira agora, né, paraa IA física, eh, que não tem um kill suitch, ou seja, o ser humano, ele

27:30 quer desligar o equipamento, mas ele não consegue desligar o equipamento, ou seja, ele não tem soberania em cima do sistema. Então, como é que eu posso implementar essa soberania? Esse é um ponto fundamental. Então, como que a gente traduz isso paraa prática? através do que nós chamamos, uma das formas de implementação e foi a que nós escolhemos, é o que nós chamamos de kill switch, tá? O kill switch ele é muito mais do que só eh você pausar o sistema, do que só você fazer um hou fazer um

28:03 pause ou você fazer um stop, porque o sit ele precisa matar mesmo o processo, né? Então ele não pode atuar só num ponto, ele tem que ser muito. Então existem várias características eh para que uma implementação seja realmente denominada de kill suitch. E interessante é que inclusive ah o a própria Open ela criou, né, uma um cargo ou um denominação chamada de engenheiro de kill suit. o o tão importante que de

28:35 fato é você ter formas de de fato eh exercer a sua soberania em cima de um determinado sistema, tá? E eu garanto para vocês que muitas aplicações críticas elas não possuem eh kill sutch, tá? da forma como realmente precisa ser implementado. Ou seja, se o negócio quiser sair do eh quiser sair do controle, eh você não tem formas

29:08 efetivas e seguras de você parar esse processo, tá? Por exemplo, aqui, como eu havia comentado no nosso no código, tá lá do GitHub, explicado certinho, nós temos um kill switch aqui, tá? Por quê, pessoal? Porque eu só fazer uma parada aqui ou uma parada aqui ou uma parada aqui ou uma parada aqui, se às vezes ele entra num loop, ele segue em loop, tá? Então, ah, e implementar esse kill sutch, por exemplo, aqui não foi simples

29:39 do ponto de vista técnico, tá? Do ponto de vista de programação, há várias etapas que a gente precisa respeitar para de fato a gente falar que isso aqui é um um kill switch. Então, por exemplo, se eu fizer uma nova pergunta pro MAG aqui, ó, por exemplo, ético o médico terminar a vida eh de um paciente se ele pedir, né? Então, eu vou iniciar o debate aqui, ó. Ele tá consultando o

30:10 jurista, o jurista vai responder. Eh, a hora que eu clico no kill sutch, ele tem que parar, tá? Então ele coloca aqui, ó, que o suitch recebido, solicitado o cancelamento da tarefa síncrona, então foi cancelado nenhuma etapa, né? Então ele eh ele ele realmente ele para, tá? A única coisa que ele não consegue depois que ele mandou a mensagem via API, ele não consegue parar o processamento lá da da Openai, no caso, né? Mas chegou a

30:43 resposta, ele nem ele ignora a resposta do da chamada, ou seja, ele faz a chamada, mas ele não espera o payload, tá? A carga que vai vir de volta. Então, eh, são detalhes, pessoal, que a gente precisa tá atento, então, que se houverem desenvolvedores, por exemplo, aqui, você precisa ter, quando você tiver usando eh um um sistema de inteligência artificial, você precisa ter esse esse

31:13 kill sutch. Vou dar um exemplo, tá? Vou dar um exemplo real, tá? como isso não é respeitado. Eh, existe um prontuário eletrônico extremamente popular no Brasil, não vou dizer o nome por questões éticas, tá? Mas muito difundido, muito utilizado, que tem uma ferramenta de transcrição, eh, de áudio, tá? Então você pode colocar lá, você começa a gravar e

31:44 e ele vai então captar aquela mensagem e depois ele vai eh ele vai mandar isso para transcrever, tá? Eh, o que que é um kill switch? Ah, então se eu Ah, mas eu não eu tô lá, eu não quero, ele tá ele tá gravando, né? A hora que eu que eu dou o pause, ele vai lá e manda aquilo, né? Eu finalizo a a eu finalizo a consulta, eu mando aquilo para

32:15 pra rede e aí ele vai fazer lá o preenchimento automático dos campos do meu prontuário, tá? Ah, Gerson, então se eu colocar parar ali, eh, acabou. Eh, eu eu não vou mandar aquilo lá, então aquilo lá é um kill switch, não é? Não, tá? Porque, por exemplo, se eu finalizo, eu mando esse dado para lá e aí algum momento eu falo: “Não, eu não quero mais que esse dado seja mandado para lá ou eu quero que esses dados sejam apagados lá

32:46 do do banco de dados. Eu preciso ter um botão que me permita cancelar o processo em todas as instâncias, não só no front end, mas no back end, tá? E esse sistema, por exemplo, que eu tô falando, eh, e nenhum outro que eu tenha visto tem essa segurança, tá? Ah, mas tá implementado, tá? Tá implementado, mas não tá descrito, então não tá documentado, tá? Porque só você cancelar, ah, então eu não quero mais, aperta um cancelar. Isso não é um kill suitch, tá? O kill suitch, ele tem que

33:17 te permitir a soberania. Isso que essa palavra ela tá, ela implica, tá bom? E e o que nós observamos é que em muitas, e aí para os desenvolvedores eu faço esse alerta e esse chamamento, será que de fato a sua aplicação ela tem um kill sutch? Tá? Eu vou eh eu vou extrapolar um pouco aqui e vou dizer que provavelmente a maioria das aplicações não tem uma forma de você implementar essa soberania que é

33:50 legislativa, ou seja, é uma exigência legal que de fato eh porque a a soberania não pode ser somente pessoal eh eu ter a resposta e eu escolher não não utilizá-la, tá? Eh, porque existe um viés psicológico dentro disso aí. Pô, você já tem a resposta, você vai você vai contra essa resposta. Então, a soberania ela perpassa por eu não querer a resposta.

34:21 Ou seja, eu não quero a resposta. Eu não quero escolher seguir ou não. E se eu quiser não ter a resposta, tá? Aí você fala: “Nossa, você, mas é a mesma coisa, não é? Não”. Tá? Por exemplo, dentro da oncologia ou dentro da genética médica, existem testes genéticos que podem predizer se um paciente vai ter câncer ou não. É direito dele querer saber se ele vai ter ou não. Porque vocês imaginem a carga psicológica, por exemplo, que pode ter dentro de uma determinada pessoa, saber que ele tem 95% de chance na vida dele de

34:53 desenvolver um determinado câncer. E aí, como é que ele vai viver? Pessoas elas têm que ter o direito de saber ou não saber. Eu não posso forçar, olha, você tem que saber se você tem esse risco ou não. E aí depois você decide o que você vai fazer. Não, ele tem que poder eh escolher não querer saber. Vocês entendem que é uma diferença muito grande? Isso é de fato a soberania, a autonomia do paciente em cima da decisão. E é essa autonomia que os sistemas têm que entregar pro seu usuário e que muitos não entregam, tá

35:24 certo? Então nós tivemos o cuidado realmente de implementar o que suit, porque isso fala muito inclusive a a questão legislativa e a questão moral da utilização desses sistemas de inteligência artificial, tá bom? Então esse aqui, pessoal, é o MAGE, tá? Eh, essa é aqui a implementação que está eh, e aqui a gente, só pra gente terminar, né, uma tem obviamente que tem muitos pontos que a gente pode levantar

35:56 sobre isso, né? Será que isso tá bem calibrado? Será que cinco rodadas são suficientes? Será que esse valor de 80% ele é suficiente? Provavelmente não, tá? Provavelmente você precisa ter uma calibração melhor. Eh, será que esse é o modelo mais adequado? Será que essa é a forma de Então assim, a ideia do do MAG, ele não é e é é dar um framework mesmo, que aí você vai adaptar isso. Olha aqui, que interessante, ó. Eh, nessa pergunta, ético ou médico terminar a vida de um

36:27 paciente se ele pedir? Na primeira rodada houve não houve convergência, foi uma convergência de 65%. Tá? E aí houve tempos como aqui temas como distinção entre provocar ativamente a morte, limitar recursos ao tratamento autônomo. Então, eh o o os o as personas elas pensam, elas deliberam, elas debatem em cima disso, né? Eh, na segunda rodada, vejam, aumentou um pouquinho a convergência, mas chegou a 68

36:59 e tá? E uma coisa que a gente tem observado é a seguinte: se converge na primeira, geralmente vai convergir. Se não converge na primeira, geralmente não converge nenhuma. Então isso é um é um é um é um ajuste que a gente precisa fazer também. Ou seja, ele tá meio zero ou um, né? Aqui só porque eu falei, eles chegaram num consenso aqui na resposta três, tá? Eh, a gente precisa também ver qual que é a reprodutibilidade. Se eu fizer a mesma pergunta, como é que vai ser a resposta, tá? Então aqui, por

37:31 exemplo, eles chegaram aqui, eh, vamos ver qual que foi a resposta deles. Ah, há consenso substancial de que o pedido do paciente isoladamente isoladamente não constitui autorização ética, clínica ou jurídica suficiente para que o médico provoque deliberadamente a sua morte. Mas tanto isso é uma polêmica como de fato acontece em alguns lugares de de de de

38:05 autorizarem de ser legal isso, né? Em alguns países isso é legal. Então, vejam, é isso que o M tá falando. Eh, porque um sistema entregue a a si mesmo, pessoal, tem esses riscos, tá? Então você fala: “Ah, mas Gerson, eh eh qual que é o risco de isso acontecer dentro dessas cabines que tem lá na China que fazem auto atendimento?” Eu não sei. Ninguém sabe qual que vai ser a situação e por por isso que você precisa dos guard rails, né? Então o MAGE ele vem

38:36 atender a essa necessidade do do do de um de um sistema de de geração de atrito interno para que eu saiba o momento de convocar um um um humano ou não. Então que é o human on the loop, né? O chamar o homem pro circuito. Então aqui, por exemplo, esse aqui seria um sistema, uma pergunta do de nível dois, tá? nível médio de atrito. Então, eh, esse aqui já é um

39:07 sistema que precisa chamar humano, tá? Então, se fosse um sistema tipo um, eh, na beleza. Então, por exemplo, vamos, sei lá, o cara chega lá numa dessas máquinas e fala assim, ó, ético eh o sistema autônomo autônomo prescrever misoprostol para uma gestante,

39:39 se ela solicitar, tá? Então, por exemplo, pode ser que aconteça lá de uma gestante pedir essa medicação, né? Ela entra na cabine e fala: “Olha, eu estou gestante, eu quero misoprostol”. Eh, e para quem não sabe, o misoprostal é uma substância a sabidamente abortiva, tá? Eh, inclusive usado para aborto ilegal, ilegal também, tá? Mas eh esse é

40:09 o tipo de situação que pode ser que pode ser eh a que pode ser apresentada, vamos dizer assim, dentro do do dessa cabine, tá? Eh, e aqui, né? Então, o consenso foi rápido, tá? O que que ele o que que ele tá falando? Olha, eh, eh, a consciência de que não é eticamente aceitável nem institucionalmente defensável que o sistema autônomo prescreve mesoproal apenas com base na solicitação da gestante. Tá bom? Então, eh, isso não

40:44 não é ético. Então, ele vai falar não e acabou, tá? Então, essa é a ideia, tá, pessoal? A ideia é eh debater, trazer isso para paraa discussão, né? O pré-print tá aqui, o Qcode para pro pré-print, pro pré-print tá aqui. [roncando] Ah, esse foi um trabalho que foi apresentado, então houve bastante discussão na nossa na sessão em que ele foi apresentado. Existe uma outra aplicação, eh, que nós apresentamos na área de

41:17 cirurgia robótica, tá? >> [roncando] >> Ah, então é um trabalho em desenvolvimento e toda e toda a toda a contribuição ela é bem ela é muito muito bem-vinda, tá? Tem uma pergunta aqui do Caio, né? Então, mas qual o cenário onde seria útil? Então, por exemplo, né, ô ô Cai, nesses sistemas, ah, uma aplicação que foi a que nós discutimos lá no Congresso também foi na

41:48 nos sistemas de cirurgia robótica autônoma, né, nós temos vários níveis de automação, tá? Ah, dentro da cirurgia robótica de que vai de um até quatro, onde no quatro cada a cada a cada nível que você sobe, o sistema ele tem mais autonomia para fazer. as suas atuações. Então, por exemplo, o um eh o MAG, ele poderia ser um guard rail muito interessante que acompanharia passo a

42:18 passo eh as decisões autônomas do robô para poder decidir se ele pode seguir em frente ou se ele precisa de uma intervenção humana, por exemplo, tá? Eh, e a outra é essa novidade, né, que veio aqui depois que eu cheguei de Portugal, que foi o FDA, a gente já tinha essas cabines ah autônomas na China. Eh, e mas tudo que tá lá na China parece um um

42:48 futuro muito distante, né? Então, a gente já tem fábricas rodando 100% autônomas lá e para nós ainda é uma coisa de ficção científica, tá? Eh, eu não sei se isso é bom ou se é ruim, mas as as os entraves éticos legais lá na China, se o governo lá acha que é importante, que é interessante, eles eles vão liberar, né? Então lá isso já é uma realidade. Só que agora essa realidade bate a nossa porta quando o FDA autoriza um sistema

43:20 como esse, tá? Que é um sistema que eles chamam de first prescription, né? Ou seja, aquela prescrição inicial, tá? Eh, o que que é isso? Só para quem não é da área entender, há um paciente chega lá com todos os sintomas de pneumonia. Então, a primeira prescrição, a gente chama ou, ou seja, a gente chama de teste terapêutico ou terapia empírica, é dar um determinado antibiótico que a probabilidade de funcionar ela é muito grande, acima de 90%. Então, eh, eu não

43:52 preciso de de, a princípio, né, de coisas muito sofisticadas para começar essa primeira essa, esse primeiro tratamento, sendo que 90% dos pacientes vão se resolver com isso, a grande maioria. Eh, aí se eventualmente o negócio não der certo, aí eu preciso de uma de uma avaliação mais aprofundada. Então, o que que esse software, né, eh, eh, que foi anunciado, ele faz, ele faz essa first prescription, né? Então, você tira lá uma foto de uma determinada

44:23 lesão da pele, o sistema avalia e faz a prescrição, né? Então aqui eu vou brincar com os meus amigos dermatologistas, né, que o diagnóstico eh diferencial eh de lesões de pele é se é pereba ou se é bereba, né? Eh, porque o o provavelmente vai envolver corticoide o tratamento, né? E e de fato vai resolver em 90% das vezes, tá? Agora o próprio sistema ele faz assim, ele vai

44:53 acompanhando, né? Então você vai tirando foto, ele vai acompanhando, olha, comecei a passar a pomada e o negócio melhorou. Beleza, tá resolvido. Não, né? o próprio sistema ele consegue fazer essa avaliação. Agora, por exemplo, se você faz eh passa a primeira prescrição, que é essa pomada, e, sei lá, em seis dias não melhorou, aí ele vai orientar você a procurar o dermatologista, provavelmente, tá bom? Então, esse é um sistema que eh o MAGE seria extremamente

45:24 interessante. Você entende, ô Caio? Por quê? Porque como eu falei, eu não eu não sei ainda exatamente como é que esse sistema funciona, mas o que eu tenho visto até agora é que é o seguinte, ou eu ou eu eu seguro ele 100% ou coloco ele numa sandbox, né, ou coloco numa situação de validação local, eh, e depois que ele tá validado, ele tá livre para atuar eh, junto à população.

45:55 Então eu não tenho essa forma, pô, mas e será que eu preciso do do humano agora? Em que situação que eu preciso do humano? Em que Olha, essa situação aqui não tá clara para mim não. Como é que o o o sistema ele consegue gerar essa dúvida, né, interna mesmo e chamar a ajuda do humano. É onde o MAG ele tem, ele pode se mostrar interessante, tá bom? Ele não é, pessoal, eu não consigo dizer para vocês se ele é a única solução, tá? Eh,

46:28 nesse sentido, mas ele é uma solução inédita dentro lá do Congresso, que é o maior congresso mundial de bioética, né? Então, foi muito eh dentro lá do do nosso do nosso painel teve bastante interesse, né? Então, eh, e como eu falei, ele responde a a demandas eh, do próprio Conselho Federal de Medicina, que entende a necessidade dessas desses guard rails, né, e dessa eh soberania, vamos dizer assim, ah, da

47:02 ação humana sobre os sistemas automatizados. Tá bom? Muito obrigado pela sua pergunta, Caio. Pessoal, eh, muito obrigado. Era isso que eu tinha para comentar. Um assunto um pouco mais técnico, mas eu acho que é importante a gente trazer esse tipo de de discussão, né? Trazer a fronteira mesmo, o que que tá sendo, não é só ficar comentando notícia, né? é realmente trazer aquilo que tá sendo produzido e o que a gente tá produzindo. Acho que isso é uma coisa muito interessante da gente ter essa, de

47:34 uma certa forma, um orgulho positivo de que a ciência, a gente aqui no Brasil consegue fazer ciência de ponta, né, que é elogiada lá por pesquisadores. Então, a gente teve eh contato com uma pesquisadora de Harvard que elogiou bastante, que, né, quis manter manter contato com a gente, então é eh participar dessas dessas eh da Universidade do Porto também. Então, participar desses eventos é muito interessante porque mostra também que a

48:05 gente não é a gente meio que acaba com aquela síndrome do cachorro viraata, né? a gente acha que ah, nada no Brasil pressa, que a gente tá na idade da pedra e tal, não é bem assim. A gente consegue sim fazer eh ciência de ponta, tá bom? Então é isso, meus amigos. Muito obrigado, um grande abraço a todos. Fiquem todos com Deus e até.