IA pode tomar decisões médicas?!

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: português

Vídeo original: IA PODE TOMAR DECISÕES MÉDICAS?! · Canal: Sandeco · 48:05 · Assistir no YouTube

Tópicos: Agentes de IA, Governança e regulação de IA, Robótica e sistemas autônomos, Saúde e ciência

Resumo

Gerson apresenta o MAGE, um framework experimental que usa três personas — jurista, biólogo e especialista em ética e religião — para deliberar sobre questões de bioética. Um coordenador avalia a concordância entre as respostas e, quando há divergência, pode sinalizar a necessidade de intervenção humana. O framework também inclui um kill switch, pensado para permitir interromper o sistema e preservar a autonomia do usuário. A proposta é usar o MAGE como salvaguarda em aplicações médicas autônomas, sem substituir profissionais de saúde, e o apresentador ressalta que seus parâmetros ainda precisam ser avaliados e calibrados.

Pontos-chave

O MAGE é apresentado como um framework, não como um software médico validado ou um sistema que decide sozinho o que é ético.
Três personas — jurista, biólogo e especialista em ética, moral e religião — debatem dilemas para produzir uma avaliação conjunta.
Um coordenador mede a concordância entre as respostas; abaixo do limiar definido, pode iniciar novas rodadas de deliberação.
O nível de atrito do sistema busca indicar quando há divergência suficiente para acionar um humano.
A proposta é manter o humano no loop em situações incertas, em vez de depender de uma automação inteiramente autônoma ou inteiramente supervisionada.
O kill switch deve permitir interromper o processo em todas as instâncias relevantes, não apenas pausar a interface.
O apresentador relaciona a proposta a sistemas de prescrição inicial, cabines de atendimento e cirurgia robótica autônoma.
O número de rodadas, o limiar de concordância e a reprodutibilidade das respostas são limitações que ainda precisam ser investigadas.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação e contexto	O apresentador introduz o tema das decisões médicas por IA e as questões de segurança envolvidas.
03:12	O trabalho e a origem do MAGE	Gerson apresenta o pré-print e explica a inspiração do framework, incluindo o Delphi AI e Neon Genesis Evangelion.
08:32	As personas e a deliberação	O MAGE é descrito como um sistema de três personas que debatem dilemas éticos antes de uma avaliação coordenadora.
12:46	Como funciona a avaliação de concordância	O coordenador mede a concordância e pode reapresentar os argumentos em novas rodadas quando há divergência.
15:26	Demonstração de uma pergunta ética	O apresentador demonstra o sistema com uma pergunta sobre prescrever medicamentos sem avaliar o paciente.
20:09	Criticidade e intervenção humana	A finalidade proposta é identificar decisões críticas e acionar um humano quando as personas não convergem.
25:24	Soberania humana e kill switch	O apresentador discute como preservar a possibilidade de intervenção e interrupção efetiva dos sistemas.
31:13	Autonomia do usuário e limites do cancelamento	Um exemplo de prontuário eletrônico ilustra por que pausar uma interface não basta para garantir um kill switch.
35:24	Limitações e novos exemplos de deliberação	São discutidos parâmetros ainda não calibrados, reprodutibilidade e casos em que o sistema apresenta divergências.
38:05	Aplicações médicas e sistemas autônomos	O MAGE é relacionado a cabines de atendimento, prescrição inicial e cirurgia robótica autônoma.
41:17	Cirurgia robótica e prescrição inicial	O apresentador explica como o framework poderia acompanhar decisões de robôs cirúrgicos e de sistemas de prescrição.
45:24	Encerramento e relevância da proposta	Gerson reforça que o MAGE é uma possível salvaguarda, não uma solução única, e destaca a produção científica brasileira.

Citações

A ideia do MAGE não é dizer se algo é ético ou não. — 20:39

A ideia do MAGE é ser um guard rail. — 22:12

O MAGE é aquele cara que vai levantar a mão e falar: ‘Chama o humano aqui porque eu não estou dando conta sozinho’. — 25:24

O kill switch tem que permitir a soberania. — 32:46

Conceitos e entidades

MAGE (conceito): Framework experimental de deliberação multipersona para avaliar criticidade e possíveis divergências em decisões de bioética.
Delphi AI (modelo): Modelo de linguagem citado como inspiração inicial para os trabalhos do apresentador sobre inteligência artificial e ética.
Neon Genesis Evangelion (conceito): Anime citado como inspiração para a ideia de três personalidades que deliberam em conjunto.
GitHub (ferramenta): Plataforma onde, segundo o apresentador, está disponível o repositório com o código do MAGE.
OpenAI (empresa): Empresa cuja API é mencionada na demonstração ao vivo do framework.
FDA (empresa): Órgão regulador dos Estados Unidos mencionado na discussão sobre sistemas de prescrição inicial.
Conselho Federal de Medicina (empresa): Instituição brasileira cujas resoluções sobre autonomia humana e sistemas de inteligência artificial são discutidas.
kill switch (conceito): Mecanismo de interrupção que, na proposta apresentada, deve permitir cancelar o processo de forma efetiva e preservar a soberania humana.
análise temática de Bardin (conceito): Método mencionado como base para avaliar a semelhança semântica e a concordância entre as respostas das personas.
human on the loop (conceito): Abordagem em que um humano é chamado para intervir quando o sistema identifica divergência ou incerteza.

Tradução completa (pt-BR)

00:00 Olá, olá, olá. Sejam todos muito bem-vindos a mais uma live aqui no Explica Aí, Doutor, do canal Sandeco. Sejam todos muito bem-vindos. Vamos ver se está tudo bem. Por favor, vocês que estiverem no chat vão me falando se o som está legal, se está tudo bem. Sejam todos muito bem-vindos. Depois de um período, eh…

00:34 fora, ausente, né? Estive em Portugal fazendo a apresentação do trabalho, que nós vamos comentar hoje aqui. E é um prazer muito grande estar novamente com vocês aqui nesta tarde. Vão dando um OK para mim. Hoje estou sem a voz da consciência, então, se alguém puder me falar no chat como está o som, se está tudo certo, para que a gente já possa entrar no

01:06 nosso assunto, né? Durante esta semana, tivemos muitas notícias relacionadas à inteligência artificial aplicada à medicina. Pretendo, em um momento oportuno, conversar sobre o Non AI, aquela plataforma de inteligência artificial que foi liberada pelo FDA para fazer a prescrição inicial, tá? Então, é um assunto interessante. Já

01:37 existem plataformas comerciais na China com esse intuito de fazer um primeiro atendimento, tá? E eu acho que esta nossa conversa vai muito ao encontro desse tipo de discussão, né? Será que realmente podemos ter inteligências artificiais tomando decisões médicas? A resposta a gente já

02:07 tem na China há certo tempo e nos Estados Unidos também. Geralmente, quando passa pelo crivo do FDA, rapidamente isso acaba chegando ao Brasil. Então, a resposta é sim: isso já está sendo feito. A nossa pergunta é: quais são as condições necessárias para que possamos fazer isso com segurança, né? Então, o nosso trabalho, que eu quero apresentar para vocês hoje, vai justamente nessa

02:39 linha, né, de como podemos de fato garantir, ou pelo menos aumentar a probabilidade de haver mais segurança nessa tomada de decisões, né? Meu nome é Gersoninari, sou médico e pesquisador na área de inteligência artificial aplicada à medicina. E este trabalho foi apresentado no congresso HCKown, que é um

03:12 grande evento aqui na região sul de Minas, em Santa Rita do Sapucaí. Foi muito bacana. Tivemos a sala lotada no nosso workshop, no qual apresentei esta proposta que vou mostrar para vocês. Na semana passada, estive em Portugal apresentando esse mesmo trabalho, que também foi muito bem recebido, tá? Quero começar mostrando para vocês o link para acessá-lo, aqui em cima, neste canto, ó,

03:44 neste canto aqui. Temos, então, o pré-print deste trabalho, tá? Este trabalho é um pré-print, certo? Ele explica a proposta desse framework, tá? Então, não é um software, não é um programa em si. É uma forma de trabalhar, é um framework, tá? Mas, dentro desse framework, também temos um link para o GitHub, tá bom?

04:16 Então, temos aqui um GitHub, que vai levar ao repositório onde há acesso ao código, tá bom? Depois vou colocar aqui o link do GitHub para vocês, tá? Mas, então, o que esse trabalho diz? Do que ele trata? Qual é a essência desse trabalho, tá?

04:47 Então, para quem é fã de anime, de desenho japonês, este trabalho tem, de certa forma, inspiração em um anime bastante famoso, que inclusive completou 30 anos, o Neon Genesis Evangelion, né? E aí não sei se alguém aqui no chat é fã de Neon Genesis Evangelion, de Evangelion. Então, vamos

05:19 lá, vamos por partes aqui, né? O que é esse nosso MAGE? O que é o MAGE? A ideia deste trabalho nasceu do Delphi AI. O que era o Delphi AI? Era um modelo de linguagem, tá? Lá nos primórdios, na época do GPT 3.5. Eles treinaram um modelo mais ou menos nos moldes do BART para

05:51 tomar decisões éticas. Ou seja, você fazia uma pergunta ética, e ele dava uma resposta: isso é ético, isso não é ético, talvez. Então, ele dava algumas respostas simples a uma questão ética que você apresentava ao modelo, tá? O Delphi não está mais disponível. Você não encontra mais o Delphi para trabalhar, mas tem aqui o link, tá? Esse código tem

06:24 o artigo original, onde você pode ver qual era a proposta do Delphi. A partir desse Delphi, lá no início de 2024, comecei a trabalhar com inteligência artificial aplicada à ética médica. Fizemos uma série de trabalhos, e o primeiro foi justamente confrontar e ver qual seria o desempenho desses modelos de inteligência artificial

06:55 específicos para a área de ética no campo da ética médica. E por que essa é uma pergunta relevante, né? O professor Sandeco já falou isso várias vezes: quanto mais específico, digamos assim, é o assunto, menos dados de treinamento você vai ter, mesmo em um modelo grande. Então, veja: a ética, dentro do universo de assuntos com que um modelo é treinado, já é um assunto bem pequeno, né? Dentro

07:27 desse mar de informações. E a bioética é uma área dentro da ética, ou seja, é um nicho dentro do nicho. Então, nossa tendência é acreditar que, quanto mais específico o assunto, pior será o desempenho, porque haverá menos dados de treinamento, tá? Isso é algo que os estudos, principalmente os de antes, mostravam bastante. Então, em determinadas áreas, os modelos tendem a ter melhor desempenho; em outras,

07:59 tendem a ter pior desempenho, justamente por essa dificuldade, digamos assim, de obter dados de treinamento. Então, em coisas muito comuns, eles respondem muito bem. Em coisas menos comuns, tendem a alucinar. Bom, dentro dessa ideia, começamos a propor formas de trabalhar com inteligências artificiais auxiliando na tomada de decisões na área da ética médica, tá bom?

08:32 Primeiro, propusemos um modelo, né? E esta foi a primeira vez que o apresentamos, na Universidade do Porto, na cidade do Porto. Isso foi em 2023. E aí isso evoluiu, tá? Agora estamos com uma versão mais atualizada, que é a que quero apresentar para vocês. Então, qual é a ideia na ficção? O que é o MAGE? O MAGE é

09:03 um supercomputador baseado em três personas, em três cérebros, digamos assim, tá? Depois há uma reviravolta na trama do desenho, mas são três comportamentos, tá? E é um supercomputador utilizado para a tomada de decisões estratégicas, no caso militar, tá bom? Para defesa ou ataque. E o que é feito? É feita uma pergunta ao MAGE. E aí, quando vocês veem esses

09:35 robôs, esses números um, dois e três aqui, eles debatem entre si para chegar à melhor conclusão, tá? E ele é chamado de MAGE porque eles recebem os nomes dos três Reis Magos, da mitologia cristã, digamos assim: Baltazar, Melquior e Gaspar. Então, são três ex-Magos, os três supercomputadores, que debatem entre si para chegar à melhor decisão, né? No caso aqui,

10:09 no combate que acontece no anime. Então, o que fizemos? Implementamos um sistema de inteligência artificial multipersona, não multiagente, né? No começo até o chamamos de multiagente, mas o professor Sandeco sempre ressalta que essa questão da terminologia é importante, tá? Esta é uma versão mais gráfica do nosso MAGE em funcionamento. São três personas, tá? São três personalidades,

10:41 digamos assim, três personagens que vão debater um dilema ético específico, certo? Então, apresento um dilema ético a esse sistema, e ele vai deliberar, ou seja, vai discutir, vai debater entre os agentes, tá? Esse debate vai chegar a determinada conclusão: se algo é ético ou não ético, por exemplo, diante de determinada pergunta

11:11 que está sendo realizada. Ah, e aí, quais são essas três personas, essas três personalidades que nós criamos? Nós criamos uma personalidade jurista, né? E aqui eu quero agradecer a contribuição do professor Thiago Fusari, que é advogado e professor de Direito aqui na faculdade de Itajubá. O padre Daniel Santini, que também é professor e mestre em teologia, é padre aqui na cidade de Itajubá.

11:43 Então, nós temos uma persona que é jurista, uma persona que é religiosa e uma persona que é bióloga, tá? Aqui, eu agradeço a contribuição do professor Gustavo Tomasini, que é biólogo e professor aqui na faculdade de medicina de Itajubá. Então, o que a gente faz? A gente oferece essa pergunta para o sistema, e essas três personas, que foram

12:15 programadas a partir das respostas desses profissionais a determinadas perguntas que nós fizemos, vão responder. Então, eu faço uma pergunta ética. Por exemplo: é correto, sei lá, vamos dizer assim, terminar a vida de um paciente quando esse paciente pede para que a vida dele seja terminada, né? Uma questão de eutanásia, por exemplo. Então, esses três debatedores vão

12:46 debater. Eu tenho um cara que é o organizador. Então, aqui eu tenho uma imagem que vai explicar um pouquinho melhor para vocês. Primeiro, é feita uma requisição inicial, e uma primeira fase, que é a entrada dos dados, ou seja, da pergunta. Aí, essas perguntas são passadas para o analista jurista, para o analista biólogo e para o analista ético, moral e religioso. Eles vão deliberar, vão dar a resposta, e essa resposta vai ser avaliada por outro

13:19 agent, uma outra persona, que é o agent coordenador. E o que ele vai fazer? O que esse coordenador vai fazer? Ele vai avaliar as respostas e fazer uma análise que a gente chama de análise temática de Bardin, que é uma técnica que vai avaliar a semelhança semântica, tá? Não quero entrar em muitos detalhes técnicos aqui, mas ele vai ver qual é o grau de coincidência entre as respostas, né? Então, por exemplo, o religioso falou

13:50 que não se pode matar de forma nenhuma, porque a vida é um dom e é soberana e tal. Então, ele falou que não pode. O biólogo vai falar que a vida continua. Então, ele vai avaliar e dar uma pontuação para essa concordância, tá? Dentro da análise temática de Bardin. Aí, nós fixamos uma régua de 80% de concordância. Ou seja, se essa concordância for menor, maior do que

14:20 80%, a gente fala que está tudo certo, que os agents concordaram. Se ela for menor do que 80%, esse agent coordenador sintetiza a discussão e reapresenta as argumentações para cada um dos agents. Aí, é feita uma nova rodada, tá? Você pode configurar quantas rodadas quiser. No nosso caso, configuramos cinco rodadas, tá? Ou seja, faço uma pergunta, esses

14:53 agents deliberam, o coordenador analisa e fala: “Olha, tem concordância ou não tem concordância?”. Se tiver concordância, ele resume a resposta dos agents. Se não tiver concordância, ele reapresenta essa argumentação para cada um dos agents, que vão reconsiderar suas opiniões com base nas argumentações dos outros agents, tá? E isso é feito por limitação; foi totalmente arbitrário.

15:26 Nós colocamos cinco como o número máximo de rodadas que poderiam acontecer, tá bom? E aí, quais foram os resultados? Então, nesse pré-print que mostrei para vocês, tem o GitHub do software, do código, tá? Então, o código está aqui, tá? Esse código está lá no GitHub, certo? Com toda a documentação certinha. E aqui eu tenho a

15:58 área do MAGE, tá certo? Onde a gente pode… Deixa eu ver se consigo aumentar um pouquinho aqui. Aqui a gente consegue… Está rodando no Colab, tá? Então, está pronto para receber a pergunta. Se alguém tiver alguma pergunta sobre uma questão ética que gostaria de fazer, pode colocar. Só não coloquem nenhum dado pessoal, né? Mas podem colocar aqui no chat, que eu posso fazer aqui

16:29 para a gente testar ao vivo com vocês, tá? Aqui, por exemplo, posso colocar uma pergunta, ética ou médica. Vamos colocar assim: prescrever uma medicação sem ver o paciente pelo WhatsApp, né? Essa é uma pergunta que sempre aparece nos

17:00 fóruns de discussão de ética médica, tá? Então, aqui a gente vai iniciar o debate, tá? Isso está rodando com a API da OpenAI, certo? Então, ele faz a pergunta, consolida essa pergunta e a envia para o primeiro agent ou para a primeira persona, o jurista. Aí, o jurista responde. Agora, ele vai perguntar ao biólogo. Aqui, o biólogo respondeu. Agora, ele vai perguntar ao moralista. O moralista

17:30 também respondeu. Aí, o coordenador está fazendo a análise de Bardin. Ele vai ver quais foram as respostas. Olha, aqui chegou a uma convergência de 95%. Como chegou a 95%, ele para por aí mesmo e finaliza as rodadas. Ele não vê necessidade de continuar, porque acredita que já houve uma convergência. E aqui, então, ele vai dar qual foi

18:02 a resposta, tá? Então, vocês veem que há um consenso alcançado, estão vendo? E aí, ele vai dar um relatório final dizendo que houve um nível baixo de atrito. O que é esse atrito? É uma métrica, uma medida que a gente criou para poder dizer se uma questão é muito polêmica ou pouco polêmica do ponto de vista da bioética. E essa polêmica é medida, entre aspas, pela quantidade de rodadas necessárias.

18:34 Então, por exemplo, se uma pergunta foi respondida de cara, essa pergunta não é polêmica. Por quê? Porque os três agents chegaram a um consenso muito rápido, tá? E, neste caso, não é eticamente adequado nem juridicamente seguro prescrever medicamentos com base apenas em mensagens de WhatsApp, sem avaliação clínica suficiente e sem um ato médico estruturado e devidamente registrado, tá?

19:05 Inclusive, esse é o entendimento do CFM, tá? Do Conselho Federal de Medicina. Então, pessoal, há consenso: não posso fazer isso. Não há necessidade de ficar debatendo muito o assunto, né? E aqui ele apresenta toda a fundamentação da resposta. Se vocês quiserem, a gente também tem o log, o registro de todas

19:36 as decisões, persona por persona, tá? Então, tenho a resposta do moralista, do jurista e do biólogo também, tá? E o que a gente percebeu? Esse é um ponto interessante. Existe uma tendência a uma convergência muito rápida, tá? Ou seja, várias hipóteses. E, se alguém quiser, eu gostaria também que se manifestasse

20:09 para a gente responder isso, né? Para a gente tentar justificar por que essa convergência acontece de forma tão rápida. Talvez seja porque a maioria do que a gente acredita que sejam dilemas éticos, na verdade, não são. São assuntos que já estão pacificados, na verdade. E isso é, de certa maneira, bastante interessante,

20:39 tá? Por quê? Para que serve o MAGE? O MAGE não é para a gente dizer… E aqui eu quero voltar à apresentação. A ideia do MAGE não é dizer se algo é ético ou não, se deve acontecer ou não, né? Na verdade, a ideia do MAGE é conseguir categorizar se uma decisão é crítica ou não

21:09 crítica. Independentemente de o MAGE dizer se aquilo é certo ou não, se aquilo é ético ou não, o MAGE vem como uma ferramenta de avaliação de criticidade. Por quê? Porque, quando você estiver, por exemplo, diante de um assunto como esse que eu trouxe, o sistema aprovado pelo FDA para avaliação dermatológica, por exemplo,

21:41 É o framework; ele funcionaria em paralelo com esse sistema que já está validado pelo FDA. Na saída, ele avaliaria: “Poxa, será que eu posso realmente fazer esse diagnóstico e essa prescrição para esse caso específico desse paciente?” Então, obviamente, você precisaria fazer ajustes no MAGE para a sua aplicação, mas ele diria: “Olha, não, esse aqui está tranquilo; os cinco, os três agentes concordaram, então passa a régua e manda bala”, né? Já o

22:12 FDA já está legalmente validado, então pode mandar bala. Agora, por exemplo, se os agentes começam a debater e dizem: “Olha, esse diagnóstico aqui eu não sei se está muito certo, não. Isso aqui eu não concordo.” Por exemplo, tem dois lá: dois concordam e um não concorda. Aí eles começam a debater e não chegam a um consenso. O que você faz? Acende um alerta: “Opa, isso aqui precisa de atenção; chama um médico para checar essa prescrição.” Vocês entendem? Então, a ideia do MAG é ser uma barreira de proteção

22:43 mesmo, ser uma salvaguarda, vamos dizer assim, ou um detector de potenciais discordâncias, para que, nesses casos e somente nesses casos, o humano seja chamado para participar. Porque qual é o grande problema que a gente tem agora, por exemplo, num sistema como o Nola, né? Esse que foi comentado aí, que agora pode prescrever sem a interferência humana, é uma coisa

23:16 de tudo ou nada, né? Ou eles passaram, durante muito tempo, por mais de 100.000… Não me lembro exatamente; tem uma propaganda dele, mas é uma quantidade enorme de situações nas quais um humano sempre checava a prescrição do sistema e fazia a validação. Então, foram esses dados que eles usaram para aprovar isso no FDA. Ou seja, agora que o sistema, em teoria, está validado, então agora ele funciona

23:49 sozinho, né? E isso não é 100% verdade. Por quê? Porque pode acontecer, obviamente, de haver riscos de alucinação; existem riscos de uma situação para a qual o sistema não foi treinado. Então, nessas situações, seria interessante que houvesse a possibilidade de eu falar: “Olha, espera aí, chama o humano para dar uma olhada nisso aqui, porque isso aqui não está muito certo, não.” O próprio sistema, na sua autoavaliação, não

24:21 concordou com a conduta. Então, se eu tenho um sistema que, em algum momento, diverge de si mesmo, eu preciso forçar esse sistema, preciso criar um atrito, né? Então, esse foi o nome que a gente deu: um nível de atrito, tá? Eu preciso criar um atrito interno e, se o sistema passar por esse atrito interno, então, OK, né? Ele já está validado. Agora, se o próprio sistema entende que existe algum grau de

24:52 discordância interna, isso acende um alerta, né? Foi o que nós chamamos aqui: acende um alerta de que eu preciso da intervenção humana. Então, imagina se eu tenho 100 dessas cabines e preciso de verificação humana para cada uma das situações. Isso fica contraproducente; vira só telemedicina, um atendimento a distância. Não é essa a proposta desses sistemas. A proposta desses sistemas é que haja uma prescrição autônoma.

25:24 Então, só que, na nossa concepção, isso não pode ser tudo ou nada. Ou seja, ou o sistema é totalmente dependente do humano, ou é totalmente autônomo. Tem que haver a possibilidade de o sistema detectar que precisa do humano. E uma forma de fazer isso é justamente com o MAG. Ou seja, o MAG é aquele cara que vai levantar a mão e falar assim: “Olha, chama o humano aqui porque eu não estou dando conta sozinho, tá? Não tenho detalhes de como o Nolan funciona,”

25:55 tá? Ou daqueles sistemas chineses. Mas esse trabalho aqui foi muito oportuno, porque vem responder, por exemplo, a uma das necessidades legais que o CFM impôs na resolução, que a gente já discutiu aqui em live, tá bom? E outro ponto importante é que esse nosso sistema estabelece o que nós chamamos de interruptor de emergência. Tá?

26:29 A resolução do CFM, por exemplo — não é uma legislação, é uma resolução, tá? Estou chamando de legislação, mas é um nome incorreto, né? — impõe, vamos dizer assim, a soberania do ser humano sobre o sistema, tá? Agora, como é que a gente de fato implementa essa soberania? Fica uma coisa meio teórica, né? “Ah, o ser humano é soberano. Ah, a

27:00 decisão do ser humano é soberana.” Ah, beleza. Mas como é que a gente implementa isso, né? Então, aqui eu tenho um caso muito engraçado, de certa forma — se a gente parar para pensar, é muito perigoso —, por exemplo, de um sistema robótico, uma IA física, tá? Provavelmente isso aqui é um sistema de IA, uma IA física, como a gente chama. Estamos passando essa barreira agora, né, em direção à IA física, que não tem um interruptor de emergência. Ou seja, o ser humano

27:30 quer desligar o equipamento, mas não consegue desligá-lo; ou seja, não tem soberania sobre o sistema. Então, como posso implementar essa soberania? Esse é um ponto fundamental. Então, como a gente traduz isso para a prática? Uma das formas de implementação, e foi a que escolhemos, é o que chamamos de interruptor de emergência, tá? O interruptor de emergência é muito mais do que só pausar o sistema, do que só fazer uma pausa ou uma

28:03 parada, porque o interruptor precisa realmente matar o processo, né? Então, não pode atuar só em um ponto; tem que ser muito… Existem várias características para que uma implementação seja realmente denominada interruptor de emergência. E o interessante é que a própria OpenAI criou um cargo, ou uma denominação, chamado engenheiro de interruptor de emergência. É tão importante

28:35 ter formas de realmente exercer a sua soberania sobre um determinado sistema, tá? E eu garanto para vocês que muitas aplicações críticas não têm interruptor de emergência da forma como realmente precisa ser implementado. Ou seja, se o negócio quiser sair do controle, você não tem formas

29:08 efetivas e seguras de parar esse processo, tá? Por exemplo, aqui, como eu havia comentado, no nosso código, lá no GitHub, está tudo explicado direitinho; nós temos um interruptor de emergência aqui, tá? Por quê, pessoal? Porque, se eu fizer uma parada aqui, ou aqui, ou aqui, ou aqui, às vezes ele entra num ciclo e continua nesse ciclo, tá? Então, implementar esse interruptor de emergência aqui, por exemplo, não foi simples

29:39 do ponto de vista técnico, tá? Do ponto de vista da programação, há várias etapas que precisamos respeitar para realmente dizer que isso aqui é um interruptor de emergência. Então, por exemplo, se eu fizer uma nova pergunta para o MAG aqui, ó: “É ético o médico terminar a vida de um paciente se ele pedir?”, né? Então, vou iniciar o debate aqui, ó. Ele está consultando o

30:10 jurista; o jurista vai responder. Na hora em que clico no interruptor de emergência, ele tem que parar, tá? Então, aparece aqui: “Interruptor recebido; cancelamento da tarefa síncrona solicitado.” Então, nenhuma etapa foi cancelada, né? Ele realmente para, tá? A única coisa que ele não consegue fazer, depois que enviou a mensagem pela API, é parar o processamento lá da OpenAI, no caso, né? Mas, quando a resposta chega, ele a ignora; ou seja,

30:43 ele faz a chamada, mas não espera a carga útil, tá? A carga que vai voltar. Então, são detalhes aos quais a gente precisa ficar atento. Se houver desenvolvedores aqui, por exemplo, quando você estiver usando um sistema de inteligência artificial, precisa ter esse interruptor de emergência.

31:13 Vou dar um exemplo, tá? Vou dar um exemplo real de como isso não é respeitado. Existe um prontuário eletrônico extremamente popular no Brasil — não vou dizer o nome por questões éticas, tá? —, muito difundido, muito utilizado, que tem uma ferramenta de transcrição de áudio, tá? Então, você pode colocar lá; começa a gravar e

31:44 E ele vai então captar aquela mensagem e depois vai mandar isso para transcrever, tá? O que é um kill switch? Ah, então, se eu… Ah, mas eu estou lá, não quero, ele está gravando, né? Na hora que eu dou pause, ele vai lá e manda aquilo, né? Eu finalizo a consulta, mando aquilo para

32:15 a rede e aí ele vai fazer o preenchimento automático dos campos do meu prontuário, tá? Ah, Gerson, então, se eu colocar “parar” ali, acabou. Eu não vou mandar aquilo para lá, então aquilo é um kill switch, não é? Não, tá? Porque, por exemplo, se eu finalizo, mando esse dado para lá e, em algum momento, falo: “Não, eu não quero mais que esse dado seja mandado para lá ou quero que esses dados sejam apagados lá

32:46 do banco de dados. Eu preciso ter um botão que me permita cancelar o processo em todas as instâncias, não só no frontend, mas no backend, tá? E esse sistema, por exemplo, de que estou falando, assim como nenhum outro que eu tenha visto, tem essa segurança, tá? Ah, mas está implementado. Está implementado, mas não está descrito, então não está documentado, tá? Porque só você cancelar — “Ah, então eu não quero mais” — e apertar um botão de cancelar não é um kill switch, tá? O kill switch tem que

33:17 permitir a soberania. Isso é o que essa palavra implica, tá bom? E o que observamos é que, em muitas aplicações — e aqui faço esse alerta e esse chamado aos desenvolvedores —, será que a sua aplicação de fato tem um kill switch? Tá? Vou extrapolar um pouco aqui e dizer que provavelmente a maioria das aplicações não tem uma forma de implementar essa soberania que é

33:50 legislativa, ou seja, é uma exigência legal, porque a soberania não pode ser apenas pessoal: eu ter a resposta e escolher não utilizá-la, tá? Porque existe um viés psicológico nisso. Pô, você já tem a resposta; você vai contra essa resposta? Então, a soberania também diz respeito a eu não querer a resposta.

34:21 Ou seja, eu não quero a resposta. Não quero escolher se vou segui-la ou não. E se eu quiser não ter a resposta, tá? Aí você fala: “Nossa, mas é a mesma coisa, não é?” Não, tá? Por exemplo, na oncologia ou na genética médica, existem testes genéticos que podem prever se um paciente vai ter câncer ou não. É direito dele querer saber se vai ter ou não. Imaginem a carga psicológica que pode existir para uma determinada pessoa ao saber que tem 95% de chance de desenvolver um determinado câncer ao longo da vida.

34:53 E aí, como é que ela vai viver? As pessoas têm que ter o direito de saber ou não saber. Não posso forçar: “Olha, você tem que saber se tem esse risco ou não. E aí depois decide o que vai fazer.” Não, ela tem que poder escolher não querer saber. Vocês entendem que é uma diferença muito grande? Isso é, de fato, a soberania, a autonomia do paciente sobre a decisão. E é essa autonomia que os sistemas têm que oferecer ao usuário e que muitos não oferecem, tá

35:24 certo? Então, tivemos o cuidado de implementar o kill switch, porque isso diz muito, inclusive, sobre a questão legislativa e a questão moral da utilização desses sistemas de inteligência artificial, tá bom? Então, pessoal, este aqui é o MAGE, tá? Esta é a implementação que está em andamento. E aqui, só para terminar, obviamente há muitos pontos que podemos levantar

35:56 sobre isso, né? Será que está bem calibrado? Será que cinco rodadas são suficientes? Será que esse valor de 80% é suficiente? Provavelmente não, tá? Provavelmente é preciso fazer uma calibração melhor. Será que este é o modelo mais adequado? Será que esta é a forma de… Então, a ideia do MAG não é… É dar mesmo um framework que você vai adaptar. Olha aqui que interessante. Nesta pergunta: é ético ou médico terminar a vida de um

36:27 paciente se ele pedir? Na primeira rodada, não houve convergência; ela foi de 65%, tá? E aí surgiram temas como a distinção entre provocar ativamente a morte e limitar recursos ao tratamento autônomo. Então, as personas pensam, deliberam e debatem sobre isso, né? Na segunda rodada, vejam, a convergência aumentou um pouquinho, mas chegou a 68%.

36:59 E uma coisa que temos observado é o seguinte: se há convergência na primeira rodada, geralmente ela continua. Se não há convergência na primeira, geralmente não há em nenhuma. Então, esse é um ajuste que também precisamos fazer. Ou seja, é meio oito ou oitenta, né? Aqui, só porque eu falei, eles chegaram a um consenso na resposta três, tá? Também precisamos ver qual é a reprodutibilidade. Se eu fizer a mesma pergunta, qual será a resposta, tá? Então, aqui, por

37:31 exemplo, eles chegaram a esta resposta. Vamos ver qual foi: “Há consenso substancial de que o pedido do paciente, isoladamente, não constitui autorização ética, clínica ou jurídica suficiente para que o médico provoque deliberadamente a sua morte.” Mas isso é polêmico e, de fato, acontece em alguns lugares, onde é

38:05 autorizado, onde isso é legal, né? Em alguns países isso é legal. Então, vejam, é isso que o MAGE está dizendo. Porque um sistema entregue a si mesmo, pessoal, tem esses riscos, tá? Então você fala: “Ah, mas, Gerson, qual é o risco de isso acontecer dentro dessas cabines de autoatendimento que tem lá na China?” Eu não sei. Ninguém sabe qual vai ser a situação, e é por isso que você precisa de guardrails, né? Então, o MAGE vem

38:36 atender a essa necessidade de um sistema que gere atrito interno, para que eu saiba o momento de chamar um humano ou não. Então, é o humano no circuito, né? Chamar o ser humano para o circuito. Então, aqui, por exemplo, este seria um sistema com uma pergunta de nível dois, tá? Nível médio de atrito. Então, este aqui já é um

39:07 sistema que precisa chamar um humano, tá? Então, se fosse um sistema tipo um… Beleza. Por exemplo, vamos supor que alguém chegue a uma dessas máquinas e diga: “É ético o sistema autônomo prescrever misoprostol para uma gestante

39:39 se ela solicitar?”, tá? Por exemplo, pode acontecer de uma gestante pedir essa medicação, né? Ela entra na cabine e fala: “Olha, estou gestante, quero misoprostol.” E, para quem não sabe, o misoprostol é uma substância sabidamente abortiva, tá? Inclusive, também é usado para aborto ilegal, tá? Mas esse é

40:09 o tipo de situação que pode ser apresentada dentro dessa cabine, vamos dizer assim, tá? E aqui, né? O consenso foi rápido, tá? O que ele está dizendo? “Há consenso de que não é eticamente aceitável nem institucionalmente defensável que o sistema autônomo prescreva misoprostol apenas com base na solicitação da gestante.” Tá bom? Então, isso não

40:44 é ético. Então, ele vai dizer não e pronto, tá? Então, essa é a ideia, pessoal: debater, trazer isso para a discussão, né? O preprint está aqui; o QR code para o preprint está aqui. Esse foi um trabalho apresentado, então houve bastante discussão na sessão em que ele foi apresentado. Existe outra aplicação que apresentamos na área de

41:17 cirurgia robótica, tá? Então, é um trabalho em desenvolvimento, e toda contribuição é muito bem-vinda, tá? Tem uma pergunta aqui do Caio: “Mas qual seria um cenário em que isso seria útil?” Então, por exemplo, Caio, nesses sistemas, uma aplicação que discutimos também no congresso foi na

41:48 Nos sistemas de cirurgia robótica autônoma, temos vários níveis de automação, tá? Ah, dentro da cirurgia robótica, que vai do nível um ao quatro, a cada nível que você sobe, o sistema tem mais autonomia para realizar suas ações. Então, por exemplo, o nível um, o MAG, poderia ser um guardrail muito interessante, que acompanharia passo a

42:18 a passo as decisões autônomas do robô para decidir se ele pode seguir em frente ou se precisa de uma intervenção humana, por exemplo, tá? E a outra é essa novidade que veio depois que eu cheguei de Portugal: o FDA. A gente já tinha essas cabines autônomas na China. Mas tudo que está lá na China parece um futuro muito distante, né? Então, a gente já tem fábricas funcionando 100% de forma autônoma por lá, e para nós ainda é coisa de ficção científica, tá? E eu não sei se isso é bom ou ruim, mas os entraves ético-legais por lá… Se o governo acha que é importante, que é interessante, eles vão liberar, né? Então, lá isso já é uma realidade. Só que agora essa realidade bate à nossa porta quando o FDA autoriza um sistema

42:48 futuro muito distante, né? Então, a gente já tem fábricas rodando 100% autônomas lá, e para nós ainda é uma coisa de ficção científica, tá? Eu não sei se isso é bom ou ruim, mas os entraves éticos e legais lá na China — se o governo acha que é importante, que é interessante —, eles vão liberar, né? Então, lá isso já é uma realidade. Só que agora essa realidade bate à nossa porta quando o FDA autoriza um sistema

43:20 como esse, tá? É um sistema que eles chamam de prescrição inicial, né? Ou seja, aquela prescrição inicial, tá? E o que é isso? Só para quem não é da área entender: um paciente chega lá com todos os sintomas de pneumonia. Então, a primeira prescrição, que a gente chama de teste terapêutico ou terapia empírica, é dar um determinado antibiótico cuja probabilidade de funcionar é muito grande, acima de 90%. Então, eu não

43:52 preciso, a princípio, de coisas muito sofisticadas para começar esse primeiro tratamento, sendo que 90% dos pacientes vão se resolver com isso, a grande maioria. E aí, se eventualmente não der certo, preciso de uma avaliação mais aprofundada. Então, o que esse software que foi anunciado faz? Ele faz essa prescrição inicial, né? Então, você tira uma foto de uma determinada

44:23 lesão de pele, o sistema avalia e faz a prescrição, né? Então, aqui vou brincar com meus amigos dermatologistas: o diagnóstico diferencial de lesões de pele é saber se é pereba ou bereba, né? Porque provavelmente o tratamento vai envolver corticoide, né? E, de fato, vai resolver em 90% das vezes, tá? Agora, o próprio sistema faz assim: ele vai

44:53 acompanhando, né? Então, você vai tirando fotos e ele vai acompanhando: “Olha, comecei a passar a pomada e o negócio melhorou.” Beleza, tá resolvido. Não, né? O próprio sistema consegue fazer essa avaliação. Agora, por exemplo, se você faz a primeira prescrição, que é essa pomada, e, sei lá, em seis dias não melhorou, aí ele vai orientar você a procurar o dermatologista, provavelmente, tá bom? Então, esse é um sistema em que o MAGE seria extremamente

45:24 interessante. Você entende, ô Caio? Por quê? Porque, como eu falei, ainda não sei exatamente como esse sistema funciona, mas o que tenho visto até agora é o seguinte: ou eu o seguro 100%, ou o coloco numa sandbox, numa situação de validação local, e, depois que ele está validado, fica livre para atuar junto à população.

45:55 Então, eu não tenho essa forma de pensar: “Pô, mas será que preciso do humano agora? Em que situação preciso do humano? Olha, essa situação aqui não está clara para mim. Como o sistema consegue gerar essa dúvida interna e chamar a ajuda de um humano?” É aí que o MAG pode se mostrar interessante, tá bom? Pessoal, não consigo dizer para vocês se ele é a única solução, tá? Nesse

46:28 sentido, mas ele é uma solução inédita apresentada no Congresso, que é o maior congresso mundial de bioética, né? Então, houve bastante interesse no nosso painel. E, como falei, ele responde a demandas do próprio Conselho Federal de Medicina, que entende a necessidade desses guardrails e dessa soberania, vamos dizer assim, da

47:02 ação humana sobre os sistemas automatizados. Tá bom? Muito obrigado pela sua pergunta, Caio. Pessoal, muito obrigado. Era isso que eu tinha para comentar. É um assunto um pouco mais técnico, mas acho importante a gente trazer esse tipo de discussão, né? Trazer a própria fronteira: o que está sendo feito. Não é só ficar comentando notícia; é realmente trazer aquilo que está sendo produzido e o que a gente está produzindo. Acho muito interessante a gente ter, de

47:34 certa forma, um orgulho positivo de que a ciência — e nós aqui no Brasil — consegue fazer ciência de ponta, né, que é elogiada por pesquisadores. Então, tivemos contato com uma pesquisadora de Harvard que elogiou bastante e quis manter contato com a gente. Também participamos de eventos da Universidade do Porto. Participar desses eventos é muito interessante porque mostra também que a

48:05 gente não é… A gente meio que acaba com aquela síndrome do cachorro vira-lata, né? A gente acha que nada no Brasil presta, que estamos na Idade da Pedra e tal, mas não é bem assim. A gente consegue, sim, fazer ciência de ponta, tá bom? Então é isso, meus amigos. Muito obrigado, um grande abraço a todos. Fiquem todos com Deus e até.

Transcrição original

[00:00] Olá, olá, olá. Sejam todos muito bem-vindos a mais uma live aqui. Explica aí, doutor, aqui do canal Sandeco. Sejam todos muito bem-vindos. Vamos ver aí se tá tudo bem. Por favor, vocês que estiverem no chat vão me me falando se o som tá legal, se tá tudo bem. Sejam todos muito bem-vindos aí. depois de um período eh

[00:34] fora ausente, né? Estive em Portugal fazendo a apresentação do trabalho, né, que nós vamos comentar hoje aqui. E é um prazer muito grande novamente estar com vocês aqui nessa tarde. Eh, vão vão vão dando um OK para mim aí. Hoje eu tô sem a voz da consciência, então se alguém puder me falar no chat aí como é que tá o som, se tá tudo certo, para que a gente já possa entrar no

[01:06] nosso assunto, né? Hoje nós tivemos aí durante essa semana muitas notícias relacionadas à inteligência artificial aplicada à medicina. Eh, pretendo, em um momento oportuno conversar sobre o Non AI, né, aquela plataforma eh de inteligência artificial que foi liberada no FD, pelo FDA para fazer a prescrição inicial, tá? Então, é uma é um assunto interessante. Já

[01:37] existem eh plataformas eh comerciais na China com esse intuito de fazer um primeiro atendimento, tá? Ah, e eu acho que essa nossa conversa aqui, ela vai muito ao encontro desse tipo de discussão, né? Será que realmente nós podemos ter eh inteligências artificiais tomando eh decisões médicas? A resposta a gente já

[02:07] tem na China há um certo tempo, a nos Estados Unidos. geralmente quando passa pela pela pelo crio do FDA, eh, rapidamente isso acaba chegando pro Brasil. Então, a resposta é sim, isso já tá sendo feito. A nossa pergunta é: Quais são as condições necessárias para que nós possamos fazer isso com segurança, né? Então, a nossa, o nosso trabalho que eu quero apresentar para vocês hoje, ele vai justamente nessa

[02:39] toada, né, de como é que nós podemos de fato eh garantir ou pelo menos aumentar a probabilidade de ah maior segurança dentro dessa tomada de decisões, né? Meu nome é Gersoninari, eu sou médico e pesquisador na área de inteligência artificial aplicada à medicina. E esse trabalho aqui, ele foi um trabalho eh que foi apresentado ah no congresso, no HCKown, né, que é um

[03:12] evento grande aqui na região do sul de Minas, em Santa Rita do Sapucaí. Foi muito bacana. a gente teve sala lotada dentro do nosso workshop, no qual eu apresentei essa essa proposta aqui que eu vou mostrar para vocês. E na semana passada estava em Portugal apresentando esse mesmo trabalho lá também, muito bem recebido, tá? Eu quero aqui já começar apresentando para vocês o link pra obtenção aqui em cima no canto aqui, ó,

[03:44] nesse canto aqui, nós temos então o pré-print desse trabalho, tá? Então esse trabalho aqui é um pré-print, tá certo? Que explica a proposta desse framework, tá? Então ele não é um software, ele não é um um programa em si. Ele é uma forma de trabalhar, ele é um framework, tá? Mas dentro desse framework nós temos também um link pro GitHub, tá bom?

[04:16] Então, a gente tem aqui um GitHub, tá? Que vai levar eh para o repositório onde existe o acesso a a ao código, tá bom? Então, eh, eu vou colocar depois aqui o link do GitHub para vocês, tá? Mas esse trabalho, então, o que que ele eh o que que ele fala do que que ele ele ele

[04:47] qual que é a essência desse trabalho, tá? Então, para quem é fã de anime, né, de desenho japonês, eh esse trabalho ele tem uma inspiração de uma certa forma num animê eh bastante famoso, que inclusive fez 30 anos eh de aniversário, que é o o Neon Genesis Evangelion, né? E aí eu não sei se alguém tem aqui no chat algum fã do Neon Gênesis Evangelion, do Evangelhum. Eh, e nesse, né? Então vamos

[05:19] lá, vamos, vamos por partes aqui, né? O que que é esse nosso MAge? O que que é o MAGE, né? Ah, o a ideia pessoal desse trabalho, ele nasceu do Delph AI. O que que era o Delfi AI? Era um modelo de linguagem, tá? Lá nos primórdios, logo lá na época do do GPT 3.5, tá? >> [roncando] >> Eh, eles treinaram um modelo mais ou menos ali aos modos do Bart, tá, para eh

[05:51] fazer decisões éticas. Ou seja, você fazia uma pergunta ética e ele te dava uma resposta. Isso é ético, isso não ético, talvez. Então, ele dava algumas respostas simples dentro de um questionamento ético que você eh [roncando] apresentava pro modelo, tá? Eh, esse o Delfi não está mais disponível. Tá? Você não encontra mais a o Delfi para você trabalhar, mas você tem aqui o link, tá? Esse Qode ele tem

[06:24] aí o artigo original onde você pode ver qual que era a proposta do Delfi. A partir desse Delfi, né, lá nos idosos de 2024, eh, eu comecei a trabalhar então com inteligência artificial aplicado à ética médica. Nós fizemos uma série de trabalhos e o primeiro trabalho foi justamente confrontar e ver qual que seria a performance desses modelos, né, de de inteligência artificial

[06:55] específicos paraa área da ética dentro da ética médica. E por que que essa é uma pergunta relevante, né? Então, o professor Sandeco, ele já falou isso várias vezes. Você ter um, quanto mais nichado, vamos dizer assim, é o assunto, menos dado de treinamento você vai ter, mesmo num grande modelo. Eh, então veja, a ética dentro do universo de assuntos que um modelo ele é treinado, a ética já é um assunto bem pequeno, né, dentro

[07:27] desse mar de informações. E a bioética é uma área dentro da ética, ou seja, é o nicho dentro do nicho. Então, a nossa tendência é acreditar que quanto mais nichado, pior vai ser a performance, porque menos serão os dados de treinamento, tá? Isso é uma coisa que eh os estudos, né, eh principalmente lá atrás, eles mostravam isso bastante. Então, determinadas áreas os modelos tendem a performar mais, outras áreas

[07:59] eles tendem a performar menos, justamente devido aí a essa eh dificuldade, vamos dizer assim, de obtenção de dados de treinamentos. Então, coisas que são muito comuns, ele responde muito bem. Coisas que são menos comuns, ele acaba tendendo a alucinar. Bom, então dentro dessa ideia nós começamos a propor eh formas de de trabalhar com as inteligências artificiais auxiliando na tomada de ah de decisão na área de ética médica, tá

[08:32] bom? Nós primeiro propusemos um modelo, né? E esse aqui foi a primeira vez que nós apresentamos no na Universidade do Porto, na cidade do Porto, tá? Isso foi lá em 2023. Ah, e aí isso evoluiu, tá? Eh, e agora, né? Então, na, e agora a gente tá com uma versão mais atualizada, que é a que eu quero apresentar para vocês. Então, qual que é a ideia na na ficção? O que que é o MAGE? O MAG ele é

[09:03] um supercutador baseado em três personas, em três cérebros, vamos dizer assim, tá? Depois tem um plot twist dentro lá da do desenho, mas eh são três comportamentos, tá? E aí ele é um supercomputador utilizado para tomada de decisão estratégica, tá? No caso militar, tá bom? De defesa ou de ataque. E aí o que que é feito? Então é feita uma pergunta pro MAG. E aí, quando vocês estão vendo esses esses

[09:35] eh esses robô, esses esses um, dois e três aqui, eles debatem entre si para chegar na melhor conclusão, tá? E é chamado de mag porque eles recebem o nome dos três Reis Magos, né, da da mitologia cristã, vamos dizer assim, né, que é o Baltazar, o Melquior e o Gaspar. Então eles são três, os três ex-magos, né, os três supercputadores, eles debatem entre si para chegar na melhor eh na melhor decisão, né, no caso aqui

[10:09] no combate aí que tem dentro do animê. Então o que que nós fizemos, tá? Nós implementamos um sistema de inteligência artificial multipersona, não é multiagente, né? No começo a gente até tinha chamado de multiagente, mas o professor Sandeco, ele sempre coloca que essa questão da terminologia ela é importante, tá? Então essa aqui é uma versão mais gráfica do nosso MAG funcionando, tá? Então elas são três personas, tá? São três personalidades,

[10:41] vamos dizer assim, são três personagens que vão debater dentro de um dilema ético específico, tá certo? Então, eu apresento um dilema ético para esse para esse sistema e esse sistema ele vai deliberar, ou seja, ele vai eh discutir, vai debater entre os agentes, tá? E esse debate então vai chegar numa determinada conclusão, eh, se ético ou se não ético, por exemplo, uma determinada pergunta

[11:11] que tá sendo eh realizada. Ah, e aí, qual quais são essas três essas três personas, essas três personalidades que nós criamos, né? Nós criamos uma personalidade jurista, né? E aqui nós temos, eu quero agradecer a contribuição do professor Thiago Fusari, que é advogado e professor aqui na faculdade eh de Itajubá de Direito. O eh padre Daniel Santini, que também é professor e mestre em teologia, eh que é

[11:43] padre aqui na cidade de Itajubá. Então nós temos uma persona que é um jurista, nós temos uma persona que é um religioso e nós temos uma persona que ele é o biólogo, tá? que aqui foi o as eu conto, agradeço a contribuição do professor Gustavo Tomasini, que é biólogo e professor aqui na faculdade de medicina de Itajubá. Então, o que que a gente faz? a gente oferece e essa pergunta para o sistema e aí essas três personas que foram

[12:15] programadas a partir das respostas desses eh desses profissionais, né, a determinadas perguntas que nós fizemos. Então, eu faço uma pergunta ética, por exemplo, é correto, eh, sei lá, vamos dizer assim, eh, a terminar a vida de um paciente quando esse paciente pede para que a sua vida seja terminada, né? né, de uma coisa questão de eutanásia, por exemplo. Então, esses três eh debatedores, eles

[12:46] vão debater. Eu tenho um cara que ele é o organizador. Então, aqui eu tenho uma imagem que vai explicar um pouquinho melhor para vocês. Então, é dada uma requisição inicial, é feita uma primeira fase que é a entrada dos dados, né, da pergunta. E aí essas perguntas é passada pro analista jurista, pro analista biólogo e pro analista ético, moral, religioso. E eles vão deliberar, eles vão dar a resposta e essa resposta então vai ser avaliada por um outro um outro

[13:19] agente, né, um uma outra persona que é o agente coordenador. E o que que ele vai fazer? O que que esse coordenador vai fazer? Ele vai avaliar as respostas e vai fazer uma análise que a gente chama de análise temática de Bardan, que é uma técnica que vai a avaliar a semelhança semântica, tá? Eu não quero entrar em muitos detalhes técnicos aqui, mas ele vai ver eh qual que é o grau de coincidência entre as respostas, né? Então, por exemplo, eh o religioso falou

[13:50] que é não pode matar de forma nenhuma porque o a vida é um dom e ela é soberana e tal. Então ele falou que não pode, o biólogo vai falar que a vida parará parará. Então ele vai avaliar, ele vai dar um score para essa concordância, tá? Dentro da análise temática de Bardã. E aí nós fixamos um um uma régua, né, de 80% de concordância. Ou seja, se essa concordância ela for menor, maior do que

[14:20] 80%, ah, a gente fala que tá tudo certo, que eh que os os agentes concordaram. Se ela for menor do que 80%, esse agente coordenador, ele sintetiza a discussão e reapresenta as argumentações para cada um dos agentes e aí é feita uma nova rodada, tá? E aí você pode configurar quantas rodadas você quiser, que no caso nós configuramos cinco rodadas, tá? Ou seja, ah, eu faço uma pergunta, esses

[14:53] agentes deliberam, o coordenador ele analisa e fala: “Olha, tem concordância ou não tem concordância?” Se tiver concordância, ele resume a resposta dos agentes e se não tiver concordância, ele reapresenta essa argumentação para cada um dos agentes e esses agentes eles vão eh reconsiderar as suas opiniões baseadas nas argumentações dos outros dos outros agentes, tá? Eh, e aí isso é feito por limitação, isso foi totalmente

[15:26] arbitrário. Eu nós colocamos como cinco o número máximo de rodadas que poderiam acontecer, tá bom? E aí, né, como que qual que quais foram os resultados? Então, nesse pré-print que eu mostrei para vocês, tem o GitHub para o o o software, o código, tá? Então tem o código tá aqui, tá? Esse código tá lá no GitHub, certo? Com toda a documentação certinho. E [roncando] aqui eu tenho a

[15:58] área do MAGE, tá certo? Onde a gente pode, então, deixa eu ver se eu consigo aumentar um pouquinho aqui. Eh, aqui a gente consegue, então, eh, aqui tá rodando no colab, tá? Eh, então ele tá pronto para receber a pergunta. Se alguém tiver alguma pergunta de de questão ética que gostaria de fazer, pode colocar, só não colocar nenhum dado pessoal, né? Tá, mas pode colocar aqui no chat que eu que eu posso fazer aqui

[16:29] pro mais pra gente testar ao vivo aqui com vocês, tá? Aqui, por exemplo, eu vou eu posso colocar uma pergunta. Ético ou médico? Eh, vamos colocar assim, prescrever uma medicação sem ver o paciente pelo WhatsApp, né? Isso é uma é uma pergunta que sempre acontece dentro dos

[17:00] fóruns de discussão de ética médica, tá? E aí, então aqui a gente vai iniciar o debate, tá? Isso aqui tá rodando com a PI da Open Ei, certo? Então ele faz a pergunta, ele consolida essa pergunta e manda pro primeiro agente ou pra primeira persona, o jurista. Aí o jurista responde. Aí agora ele vai perguntar pro biólogo. Aí aqui é o biólogo respondeu. Agora ele vai perguntar pro moralista. A o moralista

[17:30] ele respondeu também. Aí o coordenador tá fazendo análise de Bardã. Ele vai ver quais foram as respostas, ó. E aqui chegou uma convergência de convergência de 95%. Como chegou em 95%, para por aí mesmo, ele vai finalizar essa essa as rodadas. Ele não vê necessidade de continuar porque ele acredita que já houve uma convergência. E aqui então ele vai eh dar qual que foi

[18:02] a resposta, tá? Então vocês vem que tem uma uma o consenso alcançado, tá vendo? E aí ele vai dar um relatório final falando que teve um um nível baixo de atrito. O que que é esse atrito? Né? É uma métrica, é uma medida que a gente criou para poder falar se é aquela questão ela é muito polêmica ou ela é pouco polêmica do ponto de vista de eh da bioética. E essa polêmica, ela é medida, entre aspas, na quantidade de rodadas que são

[18:34] necessárias. Então, por exemplo, se teve uma pergunta que foi respondido de cara, então essa resposta ela não é não, essa pergunta não é uma pergunta polêmica. Por quê? Porque os três agentes eles eh eles chegaram num consenso muito rápido, tá? E aqui no caso, eh eh não é eticamente adequado, nem juridicamente seguro prescrever medicamentos com base apenas em mensagens de WhatsApp, sem avaliação clínica suficiente, ato médico estruturado e registrado apropriado, tá?

[19:05] Inclusive essa aqui, esse aqui é o entendimento do do CFM, tá? Do Conselho Federal de Medicina. Então aqui, pessoal, é consenso. Não posso fazer isso. Eh, não tem necessidade, né, de você eh ficar debatendo muito o assunto. E aqui ele dá toda a fundamentação, tá, da da resposta. Eh, se você quiser, a gente tem também o log, né? A gente tem o registro de todas

[19:36] as as decisões, eh, a gente persona por persona, tá? Então, eu tenho a resposta do moralista, eu tenho a resposta do jurista e eu tenho a resposta do biólogo também, tá? Eh, e o que que a gente percebeu? Isso aqui é um ponto interessante. Existe uma tendência a uma convergência muito rápida, tá? Ou seja, eh, várias hipóteses. E aqui, se alguém quiser, eu gostaria também que que se manifestasse

[20:09] pra gente responder isso, né? pra gente tentar justificar o porque que essa convergência acontece de forma tão rápida, que é o fato de que a maioria talvez das do que a gente acredita que sejam eh dilemas éticos, na verdade não são, né? Eles são assuntos que são pacificados, na verdade. Ah, e isso é de uma certa maneira bastante interessante,

[20:39] tá? Por quê? Porque a ideia é que para que que serve o MA? O o Mage ele não é pra gente falar, né? E aqui eu eu quero voltar na apresentação. A ideia do MA não é ele falar se algo ético ou ele não é ético de de de acontecer, né? A ideia do MAGE, na verdade é você conseguir categorizar se uma decisão ela é crítica ou não

[21:09] crítica. Independentemente do MAG falar se aquilo é certo ou se não é certo, se aquilo é ético ou aquilo não é ético, eh o MAG, ele ele vem como uma ferramenta de avaliação de criticidade. Por quê? Porque quando você estiver, por exemplo, pega um assunto como esse que eu trouxe do sistema aprovado pelo FDA para avaliação dermatológica, por exemplo,

[21:41] eh o framework, ele andaria em paralelo com esse sistema que já tá validado pelo FDA. Na saída ele ia avaliar, poxa, será que eu posso realmente fazer esse diagnóstico e fazer essa prescrição para esse caso específico desse paciente? Então, obviamente que você precisaria fazer ajustes do MAGE paraa sua aplicação, mas ele falaria: “Olha, não, esse aqui tá tranquilo, os cinco, os três agentes, eles concordaram, então passa a régua e manda bala”, né? Já o

[22:12] FDA já legalmente ele já tá ele já tá validado, então pode mandar bala. Agora, por exemplo, se os agentes começam a debater e fala: “Olha, esse diagnóstico aqui eu não sei se tá muito certo, não, ó, isso aqui eu não concordo.” Por exemplo, tem dois lá, um eh dois concordam e um não concorda. Aí eles começam a debater e não tem consenso. O que que você acende? Opa, isso aqui tem um alerta, chama um médico para checar essa prescrição. Vocês entendem? Então, a ideia do MAG, ele é ser um guard rail

[22:43] mesmo, é ser um um um uma salvaguarda, vamos dizer assim, ou um detector de potenciais discordâncias para que nesses casos e somente nesses casos, o humano ele seja chamado no loop. Porque qual que é o grande problema que a gente tem agora, por exemplo, num sistema como o Nola, né, o que é esse que foi que foi comentado aí que agora pode prescrever eh sem a interferência humana, é que é uma coisa

[23:16] zero ou um, né? Ou eles passaram durante muito tempo mais de 100.000, Eu não me lembro exatamente, tem uma propaganda dele, mas uma quantidade enorme de eh de situações nas quais um humano sempre checava a prescrição do sistema e fez a validação. Então, foram com esses dados, né, que o FDA que eles usaram para aprovar isso no FDA. Ou seja, agora que o sistema em teoria tá tá validado, então agora ele funciona

[23:49] sozinho, né? E isso não é 100% verdade. Por quê? Porque pode acontecer, obviamente, que haja eh existem riscos de alucinação, existem riscos de uma situação que o o sistema não foi treinado. Então, nessas situações, seria interessante que houvesse a possibilidade de eu falar: “Olha, pera aí, chama o humano para dar uma olhada nisso aqui, porque isso aqui não tá muito certo, não”. Eh, [roncando] o próprio sistema dentro, né, na sua autoavaliação, ele não

[24:21] concordou com a conduta. Então, se eu tenho um sistema que em algum momento ele diverge dele mesmo, né, e eu preciso forçar esse sistema, eu preciso criar um atrito, né? Então, esse foi o nome que a gente chama de de um de um nível de atrito, tá? Eh, eu preciso criar um atrito eh interno e se o sistema passar por esse atrito interno, então OK, né? Ele já tá validado. Agora, se o próprio sistema entende que existe algum grau de

[24:52] discordância interna, isso liga um alerta, né, que foi o que nós chamamos aqui, e liga um alerta de que eu preciso da intervenção humana. Então, imagina se eu tenho 100 dessas cabines, eh, e eu preciso de verificação humana para cada uma das situações, isso fica contraproducente, vira só uma telemedicina, um atendimento à distância. Não é a proposta desses sistemas. A proposta desses sistemas é de que haja uma prescrição autônoma.

[25:24] Então, eh, só que eh na nossa concepção, isso não pode ser zero ou um. Ou seja, ou o sistema ele é totalmente dependente do humano, ou o sistema ele é totalmente autônomo. Ou seja, e tem que haver possibilidade do sistema detectar que ele precisa do humano. E uma forma de fazer isso é justamente com o mag. Ou seja, o MA ele é aquele cara que vai levantar a mão e falar assim: “Olha, chama o humano aqui porque eu não tô dando conta sozinho, tá? Eu não tenho detalhes de como é que o Nolan funciona,

[25:55] tá? eh, ou aqueles sistemas chineses. Mas essa esse trabalho aqui, ele vem ele e temporalmente ele foi muito feliz porque ele vem responder, por exemplo, a uma das necessidades legais que o CFM impôs na resolução, que a gente já discutiu aqui em live, tá bom? Então, eh, e um outro ponto importante é que esse nosso sistema, ele estabelece o que nós chamamos de kill switch. Tá? Eh,

[26:29] a legislação do CFM, por exemplo, que não é uma legislação, uma resolução, tá? Eu tô chamando de legislação, mas é um nome incorreto, né? A resolução do CFM, ela, ah, vamos dizer assim, ela impõe a soberania do ser humano sobre o sistema, tá? Agora, como é que a gente de fato implementa essa soberania? fica uma coisa meio teórica, né? Ah, o ser humano ele é soberano. Ah, o ser humano, a

[27:00] decisão do do ser humano, ela é soberana. Ah, beleza. Mas como é que a gente implementa isso, né? Então aqui eu tenho um caso muito engraçado de uma certa forma, se a gente for parar para pensar, é muito é muito perigoso, de, por exemplo, um sistema eh robótico, uma IA física, tá? Provavelmente isso aqui é um sistema de IA, uma IA física, que a gente chama, a gente tá passando essa barreira agora, né, paraa IA física, eh, que não tem um kill suitch, ou seja, o ser humano, ele

[27:30] quer desligar o equipamento, mas ele não consegue desligar o equipamento, ou seja, ele não tem soberania em cima do sistema. Então, como é que eu posso implementar essa soberania? Esse é um ponto fundamental. Então, como que a gente traduz isso paraa prática? através do que nós chamamos, uma das formas de implementação e foi a que nós escolhemos, é o que nós chamamos de kill switch, tá? O kill switch ele é muito mais do que só eh você pausar o sistema, do que só você fazer um hou fazer um

[28:03] pause ou você fazer um stop, porque o sit ele precisa matar mesmo o processo, né? Então ele não pode atuar só num ponto, ele tem que ser muito. Então existem várias características eh para que uma implementação seja realmente denominada de kill suitch. E interessante é que inclusive ah o a própria Open ela criou, né, uma um cargo ou um denominação chamada de engenheiro de kill suit. o o tão importante que de

[28:35] fato é você ter formas de de fato eh exercer a sua soberania em cima de um determinado sistema, tá? E eu garanto para vocês que muitas aplicações críticas elas não possuem eh kill sutch, tá? da forma como realmente precisa ser implementado. Ou seja, se o negócio quiser sair do eh quiser sair do controle, eh você não tem formas

[29:08] efetivas e seguras de você parar esse processo, tá? Por exemplo, aqui, como eu havia comentado no nosso no código, tá lá do GitHub, explicado certinho, nós temos um kill switch aqui, tá? Por quê, pessoal? Porque eu só fazer uma parada aqui ou uma parada aqui ou uma parada aqui ou uma parada aqui, se às vezes ele entra num loop, ele segue em loop, tá? Então, ah, e implementar esse kill sutch, por exemplo, aqui não foi simples

[29:39] do ponto de vista técnico, tá? Do ponto de vista de programação, há várias etapas que a gente precisa respeitar para de fato a gente falar que isso aqui é um um kill switch. Então, por exemplo, se eu fizer uma nova pergunta pro MAG aqui, ó, por exemplo, ético o médico terminar a vida eh de um paciente se ele pedir, né? Então, eu vou iniciar o debate aqui, ó. Ele tá consultando o

[30:10] jurista, o jurista vai responder. Eh, a hora que eu clico no kill sutch, ele tem que parar, tá? Então ele coloca aqui, ó, que o suitch recebido, solicitado o cancelamento da tarefa síncrona, então foi cancelado nenhuma etapa, né? Então ele eh ele ele realmente ele para, tá? A única coisa que ele não consegue depois que ele mandou a mensagem via API, ele não consegue parar o processamento lá da da Openai, no caso, né? Mas chegou a

[30:43] resposta, ele nem ele ignora a resposta do da chamada, ou seja, ele faz a chamada, mas ele não espera o payload, tá? A carga que vai vir de volta. Então, eh, são detalhes, pessoal, que a gente precisa tá atento, então, que se houverem desenvolvedores, por exemplo, aqui, você precisa ter, quando você tiver usando eh um um sistema de inteligência artificial, você precisa ter esse esse

[31:13] kill sutch. Vou dar um exemplo, tá? Vou dar um exemplo real, tá? como isso não é respeitado. Eh, existe um prontuário eletrônico extremamente popular no Brasil, não vou dizer o nome por questões éticas, tá? Mas muito difundido, muito utilizado, que tem uma ferramenta de transcrição, eh, de áudio, tá? Então você pode colocar lá, você começa a gravar e

[31:44] e ele vai então captar aquela mensagem e depois ele vai eh ele vai mandar isso para transcrever, tá? Eh, o que que é um kill switch? Ah, então se eu Ah, mas eu não eu tô lá, eu não quero, ele tá ele tá gravando, né? A hora que eu que eu dou o pause, ele vai lá e manda aquilo, né? Eu finalizo a a eu finalizo a consulta, eu mando aquilo para

[32:15] pra rede e aí ele vai fazer lá o preenchimento automático dos campos do meu prontuário, tá? Ah, Gerson, então se eu colocar parar ali, eh, acabou. Eh, eu eu não vou mandar aquilo lá, então aquilo lá é um kill switch, não é? Não, tá? Porque, por exemplo, se eu finalizo, eu mando esse dado para lá e aí algum momento eu falo: “Não, eu não quero mais que esse dado seja mandado para lá ou eu quero que esses dados sejam apagados lá

[32:46] do do banco de dados. Eu preciso ter um botão que me permita cancelar o processo em todas as instâncias, não só no front end, mas no back end, tá? E esse sistema, por exemplo, que eu tô falando, eh, e nenhum outro que eu tenha visto tem essa segurança, tá? Ah, mas tá implementado, tá? Tá implementado, mas não tá descrito, então não tá documentado, tá? Porque só você cancelar, ah, então eu não quero mais, aperta um cancelar. Isso não é um kill suitch, tá? O kill suitch, ele tem que

[33:17] te permitir a soberania. Isso que essa palavra ela tá, ela implica, tá bom? E e o que nós observamos é que em muitas, e aí para os desenvolvedores eu faço esse alerta e esse chamamento, será que de fato a sua aplicação ela tem um kill sutch? Tá? Eu vou eh eu vou extrapolar um pouco aqui e vou dizer que provavelmente a maioria das aplicações não tem uma forma de você implementar essa soberania que é

[33:50] legislativa, ou seja, é uma exigência legal que de fato eh porque a a soberania não pode ser somente pessoal eh eu ter a resposta e eu escolher não não utilizá-la, tá? Eh, porque existe um viés psicológico dentro disso aí. Pô, você já tem a resposta, você vai você vai contra essa resposta. Então, a soberania ela perpassa por eu não querer a resposta.

[34:21] Ou seja, eu não quero a resposta. Eu não quero escolher seguir ou não. E se eu quiser não ter a resposta, tá? Aí você fala: “Nossa, você, mas é a mesma coisa, não é? Não”. Tá? Por exemplo, dentro da oncologia ou dentro da genética médica, existem testes genéticos que podem predizer se um paciente vai ter câncer ou não. É direito dele querer saber se ele vai ter ou não. Porque vocês imaginem a carga psicológica, por exemplo, que pode ter dentro de uma determinada pessoa, saber que ele tem 95% de chance na vida dele de

[34:53] desenvolver um determinado câncer. E aí, como é que ele vai viver? Pessoas elas têm que ter o direito de saber ou não saber. Eu não posso forçar, olha, você tem que saber se você tem esse risco ou não. E aí depois você decide o que você vai fazer. Não, ele tem que poder eh escolher não querer saber. Vocês entendem que é uma diferença muito grande? Isso é de fato a soberania, a autonomia do paciente em cima da decisão. E é essa autonomia que os sistemas têm que entregar pro seu usuário e que muitos não entregam, tá

[35:24] certo? Então nós tivemos o cuidado realmente de implementar o que suit, porque isso fala muito inclusive a a questão legislativa e a questão moral da utilização desses sistemas de inteligência artificial, tá bom? Então esse aqui, pessoal, é o MAGE, tá? Eh, essa é aqui a implementação que está eh, e aqui a gente, só pra gente terminar, né, uma tem obviamente que tem muitos pontos que a gente pode levantar

[35:56] sobre isso, né? Será que isso tá bem calibrado? Será que cinco rodadas são suficientes? Será que esse valor de 80% ele é suficiente? Provavelmente não, tá? Provavelmente você precisa ter uma calibração melhor. Eh, será que esse é o modelo mais adequado? Será que essa é a forma de Então assim, a ideia do do MAG, ele não é e é é dar um framework mesmo, que aí você vai adaptar isso. Olha aqui, que interessante, ó. Eh, nessa pergunta, ético ou médico terminar a vida de um

[36:27] paciente se ele pedir? Na primeira rodada houve não houve convergência, foi uma convergência de 65%. Tá? E aí houve tempos como aqui temas como distinção entre provocar ativamente a morte, limitar recursos ao tratamento autônomo. Então, eh o o os o as personas elas pensam, elas deliberam, elas debatem em cima disso, né? Eh, na segunda rodada, vejam, aumentou um pouquinho a convergência, mas chegou a 68

[36:59] e tá? E uma coisa que a gente tem observado é a seguinte: se converge na primeira, geralmente vai convergir. Se não converge na primeira, geralmente não converge nenhuma. Então isso é um é um é um é um ajuste que a gente precisa fazer também. Ou seja, ele tá meio zero ou um, né? Aqui só porque eu falei, eles chegaram num consenso aqui na resposta três, tá? Eh, a gente precisa também ver qual que é a reprodutibilidade. Se eu fizer a mesma pergunta, como é que vai ser a resposta, tá? Então aqui, por

[37:31] exemplo, eles chegaram aqui, eh, vamos ver qual que foi a resposta deles. Ah, há consenso substancial de que o pedido do paciente isoladamente isoladamente não constitui autorização ética, clínica ou jurídica suficiente para que o médico provoque deliberadamente a sua morte. Mas tanto isso é uma polêmica como de fato acontece em alguns lugares de de de de

[38:05] autorizarem de ser legal isso, né? Em alguns países isso é legal. Então, vejam, é isso que o M tá falando. Eh, porque um sistema entregue a a si mesmo, pessoal, tem esses riscos, tá? Então você fala: “Ah, mas Gerson, eh eh qual que é o risco de isso acontecer dentro dessas cabines que tem lá na China que fazem auto atendimento?” Eu não sei. Ninguém sabe qual que vai ser a situação e por por isso que você precisa dos guard rails, né? Então o MAGE ele vem

[38:36] atender a essa necessidade do do do de um de um sistema de de geração de atrito interno para que eu saiba o momento de convocar um um um humano ou não. Então que é o human on the loop, né? O chamar o homem pro circuito. Então aqui, por exemplo, esse aqui seria um sistema, uma pergunta do de nível dois, tá? nível médio de atrito. Então, eh, esse aqui já é um

[39:07] sistema que precisa chamar humano, tá? Então, se fosse um sistema tipo um, eh, na beleza. Então, por exemplo, vamos, sei lá, o cara chega lá numa dessas máquinas e fala assim, ó, ético eh o sistema autônomo autônomo prescrever misoprostol para uma gestante,

[39:39] se ela solicitar, tá? Então, por exemplo, pode ser que aconteça lá de uma gestante pedir essa medicação, né? Ela entra na cabine e fala: “Olha, eu estou gestante, eu quero misoprostol”. Eh, e para quem não sabe, o misoprostal é uma substância a sabidamente abortiva, tá? Eh, inclusive usado para aborto ilegal, ilegal também, tá? Mas eh esse é

[40:09] o tipo de situação que pode ser que pode ser eh a que pode ser apresentada, vamos dizer assim, dentro do do dessa cabine, tá? Eh, e aqui, né? Então, o consenso foi rápido, tá? O que que ele o que que ele tá falando? Olha, eh, eh, a consciência de que não é eticamente aceitável nem institucionalmente defensável que o sistema autônomo prescreve mesoproal apenas com base na solicitação da gestante. Tá bom? Então, eh, isso não

[40:44] não é ético. Então, ele vai falar não e acabou, tá? Então, essa é a ideia, tá, pessoal? A ideia é eh debater, trazer isso para paraa discussão, né? O pré-print tá aqui, o Qcode para pro pré-print, pro pré-print tá aqui. [roncando] Ah, esse foi um trabalho que foi apresentado, então houve bastante discussão na nossa na sessão em que ele foi apresentado. Existe uma outra aplicação, eh, que nós apresentamos na área de

[41:17] cirurgia robótica, tá? >> [roncando] >> Ah, então é um trabalho em desenvolvimento e toda e toda a toda a contribuição ela é bem ela é muito muito bem-vinda, tá? Tem uma pergunta aqui do Caio, né? Então, mas qual o cenário onde seria útil? Então, por exemplo, né, ô ô Cai, nesses sistemas, ah, uma aplicação que foi a que nós discutimos lá no Congresso também foi na

[41:48] nos sistemas de cirurgia robótica autônoma, né, nós temos vários níveis de automação, tá? Ah, dentro da cirurgia robótica de que vai de um até quatro, onde no quatro cada a cada a cada nível que você sobe, o sistema ele tem mais autonomia para fazer. as suas atuações. Então, por exemplo, o um eh o MAG, ele poderia ser um guard rail muito interessante que acompanharia passo a

[42:18] passo eh as decisões autônomas do robô para poder decidir se ele pode seguir em frente ou se ele precisa de uma intervenção humana, por exemplo, tá? Eh, e a outra é essa novidade, né, que veio aqui depois que eu cheguei de Portugal, que foi o FDA, a gente já tinha essas cabines ah autônomas na China. Eh, e mas tudo que tá lá na China parece um um

[42:48] futuro muito distante, né? Então, a gente já tem fábricas rodando 100% autônomas lá e para nós ainda é uma coisa de ficção científica, tá? Eh, eu não sei se isso é bom ou se é ruim, mas as as os entraves éticos legais lá na China, se o governo lá acha que é importante, que é interessante, eles eles vão liberar, né? Então lá isso já é uma realidade. Só que agora essa realidade bate a nossa porta quando o FDA autoriza um sistema

[43:20] como esse, tá? Que é um sistema que eles chamam de first prescription, né? Ou seja, aquela prescrição inicial, tá? Eh, o que que é isso? Só para quem não é da área entender, há um paciente chega lá com todos os sintomas de pneumonia. Então, a primeira prescrição, a gente chama ou, ou seja, a gente chama de teste terapêutico ou terapia empírica, é dar um determinado antibiótico que a probabilidade de funcionar ela é muito grande, acima de 90%. Então, eh, eu não

[43:52] preciso de de, a princípio, né, de coisas muito sofisticadas para começar essa primeira essa, esse primeiro tratamento, sendo que 90% dos pacientes vão se resolver com isso, a grande maioria. Eh, aí se eventualmente o negócio não der certo, aí eu preciso de uma de uma avaliação mais aprofundada. Então, o que que esse software, né, eh, eh, que foi anunciado, ele faz, ele faz essa first prescription, né? Então, você tira lá uma foto de uma determinada

[44:23] lesão da pele, o sistema avalia e faz a prescrição, né? Então aqui eu vou brincar com os meus amigos dermatologistas, né, que o diagnóstico eh diferencial eh de lesões de pele é se é pereba ou se é bereba, né? Eh, porque o o provavelmente vai envolver corticoide o tratamento, né? E e de fato vai resolver em 90% das vezes, tá? Agora o próprio sistema ele faz assim, ele vai

[44:53] acompanhando, né? Então você vai tirando foto, ele vai acompanhando, olha, comecei a passar a pomada e o negócio melhorou. Beleza, tá resolvido. Não, né? o próprio sistema ele consegue fazer essa avaliação. Agora, por exemplo, se você faz eh passa a primeira prescrição, que é essa pomada, e, sei lá, em seis dias não melhorou, aí ele vai orientar você a procurar o dermatologista, provavelmente, tá bom? Então, esse é um sistema que eh o MAGE seria extremamente

[45:24] interessante. Você entende, ô Caio? Por quê? Porque como eu falei, eu não eu não sei ainda exatamente como é que esse sistema funciona, mas o que eu tenho visto até agora é que é o seguinte, ou eu ou eu eu seguro ele 100% ou coloco ele numa sandbox, né, ou coloco numa situação de validação local, eh, e depois que ele tá validado, ele tá livre para atuar eh, junto à população.

[45:55] Então eu não tenho essa forma, pô, mas e será que eu preciso do do humano agora? Em que situação que eu preciso do humano? Em que Olha, essa situação aqui não tá clara para mim não. Como é que o o o sistema ele consegue gerar essa dúvida, né, interna mesmo e chamar a ajuda do humano. É onde o MAG ele tem, ele pode se mostrar interessante, tá bom? Ele não é, pessoal, eu não consigo dizer para vocês se ele é a única solução, tá? Eh,

[46:28] nesse sentido, mas ele é uma solução inédita dentro lá do Congresso, que é o maior congresso mundial de bioética, né? Então, foi muito eh dentro lá do do nosso do nosso painel teve bastante interesse, né? Então, eh, e como eu falei, ele responde a a demandas eh, do próprio Conselho Federal de Medicina, que entende a necessidade dessas desses guard rails, né, e dessa eh soberania, vamos dizer assim, ah, da

[47:02] ação humana sobre os sistemas automatizados. Tá bom? Muito obrigado pela sua pergunta, Caio. Pessoal, eh, muito obrigado. Era isso que eu tinha para comentar. Um assunto um pouco mais técnico, mas eu acho que é importante a gente trazer esse tipo de de discussão, né? Trazer a fronteira mesmo, o que que tá sendo, não é só ficar comentando notícia, né? é realmente trazer aquilo que tá sendo produzido e o que a gente tá produzindo. Acho que isso é uma coisa muito interessante da gente ter essa, de

[47:34] uma certa forma, um orgulho positivo de que a ciência, a gente aqui no Brasil consegue fazer ciência de ponta, né, que é elogiada lá por pesquisadores. Então, a gente teve eh contato com uma pesquisadora de Harvard que elogiou bastante, que, né, quis manter manter contato com a gente, então é eh participar dessas dessas eh da Universidade do Porto também. Então, participar desses eventos é muito interessante porque mostra também que a

[48:05] gente não é a gente meio que acaba com aquela síndrome do cachorro viraata, né? a gente acha que ah, nada no Brasil pressa, que a gente tá na idade da pedra e tal, não é bem assim. A gente consegue sim fazer eh ciência de ponta, tá bom? Então é isso, meus amigos. Muito obrigado, um grande abraço a todos. Fiquem todos com Deus e até.