O Mito do RAG Clínico: Por Que o GPT e o Gemini Venceram as IAs Hospitalares.

Video authored by the channel shown, not by IANIA; all rights belong to the creator. Transcript and summary generated automatically; the original-language content is preserved.

Original language: Portuguese

Original video: O Mito do RAG Clínico: Por Que o GPT e o Gemini Venceram as IAs Hospitalares. · Channel: Sandeco · 50:11 · Watch on YouTube

Topics: AI evaluation and benchmarks, AI governance and regulation, AI models, RAG, search and information retrieval, Health and science

Summary

Gerson Yosinares apresenta um estudo publicado na Nature Medicine que compara modelos de fronteira de propósito geral com ferramentas clínicas especializadas, como Open Evidence e UpToDate. Nos testes citados, os modelos gerais tiveram desempenho superior, inclusive em consultas clínicas reais avaliadas por médicos, enquanto o Google AI Overview empatou com as ferramentas especializadas. O apresentador discute possíveis razões, como a capacidade de raciocínio dos modelos e a distração causada por conteúdo recuperado pelo RAG, e ressalta que o rótulo de uma solução médica não garante qualidade ou segurança. A conversa conclui que hospitais precisam de validação independente, governança e supervisão, além de mais letramento em IA entre profissionais de saúde.

Key points

O estudo comparou modelos de fronteira, ferramentas clínicas especializadas e o Google AI Overview em testes de conhecimento, alinhamento e consultas clínicas reais.
No benchmark de questões médicas de múltipla escolha, o Gemini 3.1 Pro obteve o maior resultado entre os sistemas apresentados.
No HealthBench, GPT-5.2 superou os demais sistemas avaliados, enquanto Open Evidence e UpToDate ficaram abaixo dos modelos de fronteira.
Na avaliação de 100 consultas clínicas reais, os modelos de fronteira formaram o grupo de melhor desempenho; o Google AI Overview empatou estatisticamente com as ferramentas especializadas.
Os autores avaliaram correção clínica, abrangência, segurança e clareza, com revisões cegas e independentes feitas por médicos.
O apresentador sugere que a recuperação de trechos irrelevantes ou excessivos pode poluir o contexto e prejudicar respostas de sistemas com RAG.
Ferramentas especializadas podem omitir informações importantes ou recusar responder; segurança não deve ser medida apenas pela presença de alucinações.
A compra de uma solução com selo médico não substitui validação independente, testes com dados e fluxos de trabalho locais e governança institucional.
O apresentador considera o letramento em IA um dos principais desafios para profissionais de saúde e defende compreender tanto os riscos quanto as aplicações práticas.
Salvaguardas e validação podem limitar a adoção rápida de tecnologias médicas, mas são necessárias devido ao impacto potencial sobre pacientes.

Chapters

Start	Chapter	Summary
00:00	Abertura e apresentação do tema	Gerson Yosinares apresenta a live e introduz a discussão sobre ferramentas de IA para a saúde.
02:06	A confiança em ferramentas clínicas especializadas	O apresentador questiona a ideia de que soluções médicas especializadas sejam necessariamente superiores aos modelos gerais.
07:37	O que é RAG clínico e como foi feita a comparação	A live explica o RAG e apresenta os modelos e ferramentas incluídos no estudo.
11:21	Resultados dos benchmarks	São descritos os resultados nos testes de questões médicas e de alinhamento com a conduta clínica.
14:14	Avaliação de consultas clínicas reais	O apresentador detalha a metodologia cega, os avaliadores médicos e os critérios usados para avaliar as respostas.
18:00	Desempenho das ferramentas e erros observados	A avaliação separa os modelos de fronteira das ferramentas clínicas e destaca o empate do Google AI Overview com estas últimas.
23:03	Por que o RAG pode prejudicar as respostas	O apresentador propõe que a capacidade de raciocínio e a poluição do contexto podem ajudar a explicar as diferenças observadas.
26:18	Governança, validação e salvaguardas	A discussão enfatiza que ferramentas médicas precisam de validação independente, supervisão e controle de omissões críticas.
31:37	Raciocínio e possíveis caminhos para a IA médica	O apresentador comenta a relação entre raciocínio dos modelos, evidências recuperadas e governança institucional.
35:55	Letramento em IA na saúde	A conversa aborda a baixa familiaridade de profissionais de saúde com IA e exemplos de aplicações administrativas.
41:22	Resistência à adoção e mudanças no trabalho	Os participantes discutem o receio de substituição profissional e as mudanças que a IA pode trazer às rotinas de trabalho.
45:15	Salvaguardas e encerramento	O apresentador defende cautela na adoção médica, explica por que salvaguardas são necessárias e encerra a live.

Quotes

Seria eu acoplar uma base de dados específica previamente selecionada ao prompt. — 08:40

O Google AI Overview gratuito da barra de buscas empatou com o segundo escalão. — 19:03

A IA na saúde não mata apenas pelo que inventa; ela mata também pelo que omite. — 28:54

Eu acho que o desafio se chama letramento. — 38:38

Na medicina, se algo der errado, o impacto pode ser muito maior na vida dos pacientes. — 49:05

Concepts and entities

RAG, Modelos de fronteira, GPT-5.2, Gemini 3.1 Pro, Claude Opus 4.6, Open Evidence, UpToDate Expert, Google AI Overview, Nature Medicine, HealthBench, Real Clinical Queries, Gerson Yosinares, Sandeco

Full transcript (original language)

00:00 Sejam todos muito bem-vindos ao canal Sandeco. Opa, temos um problema aqui de conexão, não sei, deu uma travada aqui. Voz da consciência. Depois você me fala se tá indo ou se não tá. Eh, sejam todos muito bem-vindos a mais uma live Explica aí, Doutor. Eu sou o Gerson Yosinares, sou médico e pesquisador na área de IA e saúdo a todos vocês. Então, nós tivemos um pequeno atraso aqui no início porque,

00:32 eh, a plataforma mudou, mudou tudo de lugar. Eu tô meio perdido ainda, então não se não se não se não se assustem se eu ficar meio perdido aqui que os botões mudaram de lugar. Mas enfim, nós vamos vamos tocando em frente aqui. Perdemos tudo que a gente preparou. Pior que eu entrei ontem à noite, a voz da consciência, entrei ontem à noite para arrumar tudo e sumiu tudo aqui. Mas enfim, tá bom. Eh, vão dando oi pra gente aí, por

01:05 favor, de como é que tá o som, como é que estão as coisas, se vocês conseguem me ouvir bem, já vão dando um olá aí da onde vocês estão enquanto eu vou preparando aqui, deixa eu ver se a gente perdeu. Não, não perdemos, não perdemos não. Tá aqui. Então, muito bem. Vamos lá, né? Hoje o assunto é bastante interessante, né? peguem aí o seu café. Eh, eu não sei aqui depois, voz

01:35 conselha, você fala para mim tá dando umas travadas aqui. Não sei se aí dá também, mas aqui na tela do do da plataforma dá tá dando uns freeze meio esquisito aqui, mas vamos lá, né? Puxem a cadeira, peguem o café de vocês, respirem fundo, porque a transmissão de hoje vai de fato abalar as estruturas de quem compra e consome tecnologia hospitalar. Na prévia dos grupos do

02:06 canal Sandeco, e aí eu já quero fazer o convite, se eventualmente você ainda não faz parte dos grupos, venha pro grupo do WhatsApp. Então, aqui os eh o Qcode para você entrar nos grupos, nos grupos de saúde. Nós temos dois grupos de saúde, tá? Eh, e nos grupos eu coloquei uma enquete perguntando: “Se você tivesse que tomar uma decisão médica, eh, em qual plataforma você confiaria? Na famosa Open Evidence ou no Chat GPT?” E aí num dos grupos que eu vi a última

02:42 vez que eu tava vendo a contagem, o chat GP, o Openevidence estava ganhando de lavada, né? Eh, e o que eu venho trazer é justamente isso, tá, pessoal? Às vezes a eh a intuição pode falhar, tá bom? Durante anos, o mercado bateu na mesma tecla. Cuidado ao usar modelos de linguagem gerais na área da saúde. Vocês precisam contratar ferramentas especializadas com ra proprietário, curados por especialistas e blindadas e geralmente para uma centena de dólares

03:17 de assinatura anual. Foi assim lá com o MED Gemini, com o Palme, era o Palme que chamava, né? Foi assim com o GPT Health que eles anunciaram e a gente fez até uma live disso aqui. Eu falei que eu tava ainda um pouco um pouco eh reticente e de fato, né, nem isso nem ele nem saiu, ele nem foi lançado. Mas, né, na esteira dessas dessas ferramentas a gente tem algumas ferramentas que estão bem famosas, como a própria Open Evidence, né? Para quem é

03:49 da área da saúde, usa LLM, geralmente a gente tem essa essa ferramenta bastante famosa e a up to date, que é a plataforma de atualização médica mais famosa, que não custa barato, também tem o seu agente de ah, por uma por um valor relativamente alto aí, né? Se eu não me engano, dá quase $00 por ano. Então, o que que a gente, né, eh, o que que a gente veio falar aqui? A prestigiosa revista Nature

04:20 Medicine acabou de publicar um estudo, na verdade é uma é um brief Communication, né, uma comunicação breve, mas a gente vai ver aqui bem estruturado de um estudo conduzido pelo time da NUI Langone, tá? Que é uma uma universidade aí onde eles desmontaram essa narrativa, tá? Se alguém pode eventualmente comentar que não prova nada, mas com certeza abre aí um uma grande de uma interrogação, né? A gente

04:52 vai ver esse estudo aqui em detalhes e ele é muito interessante, né? O que que eles fizeram? Eles colocaram as principais ferramentas clínicas do mercado frente à frente com os modelos de fronteira de propósito geral à época, né? Então a gente vai ver que essa essa loucura das dos modelos de inteligência artificiais proprietários tá tão e os open source também, os de peso aberto, eles tá tá tão maluco que qu eles publicaram esse negócio, já nem é mais o

05:25 já nem é mais o o o modelo de fronteira atual, né? Mas eles colocaram frente à frente então essas ferramentas proprietárias, vamos dizer assim, específicas da área medicina e os modelos de fronteira. E adivinem só? As I gerais não apenas venceram, elas atropelaram as ferramentas especializadas em conhecimento, alinhament com com que no que diz eh em relação a conhecimento, alinhamento e prática clínica geral, né? Então eh essa

05:58 é a a o contracenso, né? lá na pesquisa dos grupos, muita gente, praticamente todos falaram que usavam as ferramentas como a Open Evidence. Eu inclusive também fazia isso. E agora esse estudo mostra que, na verdade, essa não é a melhor estratégia. Então vamos dar uma olhadinha nesse estudo, vamos entender um pouquinho melhor o que que tá acontecendo, né, de uma metodologia muito bacana, tá? uma uma metodologia que é difícil de atacar do ponto de vista eh científico e entender porque que a governança hospitalar ela precisa

06:33 acordar agora, porque isso agora tá significando não só maior qualidade de atendimento, mas custo também, né? E é o custo, diminuir custo é o que todo gestor ele quer e mas desde que seja feita com com qualidade, né? Quero aproveitar aqui mais uma vez e cumprimentar a todos que estão chegando aqui na live. Sejam todos muito bem-vindos. Boa tarde aqui pro Fabrício. Fabrício Cruz tá sempre aí com a gente. O Marcos

07:03 também, boa tarde. O som tá OK? Obrigado. Eh, eh, acha que a Open Evidence era a mais usual nessa área? Pois é, eu também, ô Fabrício, eu era eu sou um dos que ainda usa a Open Evidence, mas isso e é esse estudo eu acho que ela, se ele não muda a prática de como a gente usa as inteligências artificiais na área médica, ela pelo menos precisa levantar uma pulga atrás da orelha, né? Então é mais ou menos essa a ideia. Continuem eh dando a opinião de vocês aí e vamos dar uma olhadinha nesse estudo, né? Deixa

07:37 eu, deixa eu compartilhar a minha tela aqui que eu vou mostrar para vocês que que é esse raio desse estudo que eles publicaram, tá? para entender o tamanho do choque aí que a gente tem, né, com esse com esse estudo. Deixa eu trocar aqui, vou deixar ela no cantinho por enquanto. Se vocês quiserem, tá aqui o link para o artigo completo, tá? Então,

08:10 vou deixar aqui, ó, o artigo completo tá aqui nesse link, no canto superior esquerdo da sua tela, tá bom? Eh, vamos contextualizar o hype, né? Então, por que que esse artigo ele traz um impacto importante aí na prática de quem usa essas ferramentas na clínica, né? Eh, a indústria Healthtech vendeu a ideia que o ra clínico, né? Então, o que que é o ra? Então, lá nos nos grupos, eu eu vou

08:40 perder 30 segundos explicando isso aqui, porque nos grupos ainda tem muita gente que tava com dúvida do que que é o ra. A sigla significa retrieval augmented generation. Tá? Que seria o quê? Seria eu acoplar uma base de dados específica previamente selecionada ao prompt. Então, nada mais é do que junto com a minha requisição eu mandar uma série de dados que vão compor, que eu quero que componham a resposta, tá? Na verdade, no fim das contas é isso. Então, como que

09:10 eu faço ra? Por exemplo, eu faço uma pergunta e anexo um PDF. Isso é uma técnica de ra, tá? Que dá para ser feita, por exemplo, no chat GPT. Então esse rag clínico o que que era, né? É acoplar as bases fechadas de dados dos artigos científicos, das melhores evidências, né? Eh, fazer isso associado a um motor de inteligência artificial seria aquela bala de prata, né, que a gente fala para evitar as as alucinações e entregar respostas de qualidade

09:43 superior em comparação com os modelos gerais, tá? E o que que esse artigo fez? Ele colocou na arena de um lado os modelos de fronteira de uso geral, né? Então, no caso da Open eles usaram o GPT 5.2, que era o modelo top na época. Esse artigo, ele foi submetido, aqui, vocês conseguem ver em dezembro do ano passado e foi aceito em abril desse ano. Eles colocaram também o Gemini, o Google Gemini 3.1 Pro e Don Tropical, o Cloud Opus 4.6. Então, de um lado estavam

10:19 esses modelos gerais, que eles chamam de modelo de fronteira, ou seja, são os modelos mais avançados de cada uma dessas dessas empresas. E do outro lado eles colocaram os pesos pesados da medicina, que é os que é o Open Evidence, que é uma plataforma gratuita, entre aspas, e o Upto Date Expert, né? Esse último custando aí cerca de 699, então 700 por uma assinatura eh digital anual. individual, tá? Então são $00, faz a

10:51 conta aí para ver quanto que isso dá em reais, tá? E eles também incluíram o Google AI Overview, que é o quê? Que é aquela Google, é a barra de de é o Google mesmo, né? Do www.google.com, eh, com aquele modo AI, tá? Eles colocaram isso mesmo, [roncando] eh, como um controle de o cara que procura na internet, tá? Então esse seria o controle do cara que que a gente falava do Dr. Google, né? Então ele botou o Dr. Google com inteligência

11:21 artificial versus os modelos de fronteira eh dessas empresas versus esses pesos pesados aí das da dos modelos eh especializados, né, da Open Evidence e do Up to date. E como é que foi o confronto, né? Então aqui a gente tem bem explicadinho esse infográfo. Achei que ficou bem bacana. Então como é que foi? Primeira fase, eles pegaram um benchmark, né, uma bancada de testes que é chamada de medic, tá? Foram 500 questões no estilo da USMLE.

11:54 Essa USMLE chamavam de prova do board, né? É a prova que os médicos precisam fazer para poder eh exercer a medicina nos Estados Unidos, tá? Então eles pegaram 500 questões desse banco de dados, tá? Para testar o raciocínio médico puro em questões fechadas de múltipla escolha, tá bom? Quais foram os resultados aí? Depois eu não vou entrar em detalhes aqui, mas o artigo tá bem tá bem bacana, bem escritinho, tá? O que que eu eu quero trazer para vocês aqui? Que, né, o eh Gemini ele bateu 3.1, tá? O, o Gemini 3.1 Pro bateu

12:34 impressionantes 97,4% de acerto que tá aqui em cima, ó, 97, de acerto, tá? Eh, o, eh, GPT 5.6, 5.2 fez 94. O Opus cravou 90.2%. e as ferramentas especialistas, né? O Open Evidence ficou com 89.6

13:06 abaixo de 90% e o up to date com modestos 88.4% tá dentro de uma métrica aí no no no comp no no na metodologia eles explicam isso certinho, tá? Numa segunda fase aqui que é SB, eles fizeram uma outra bancada de testes que é a Health Bench, tá? Que é o benchmark da Open com 500 prompts avaliando o alinhamento eh com a conduta médica e a comunicação dessa

13:41 conduta. Perdão, dei uma porrada no microfone aqui. [roncando] Eh, e aí, como é que foi o desempenho? O chat GPT 5.2 disparou, que é esse verdinho no meio aí com 88%, o Gemini veio com 79.3%, o Cloud com 77%. Open Evidence e o Up to date amargaram o fundo da tabela com 62,6 e 61,3%. Então a gente tem dois testes fechados em que os modelos de fronteira foram

14:14 melhores do que os modelos especialistas. vamos dizer, tá? Mas vocês me conhecem, né? Então, eu sou engenheiro, eu sou médico, eu sou pesquisador, então tem uma preocupação metodológica. Só esses múltiplos escolha seria muito fácil da gente atacar e falando que, ah, porque eles acessam a internet, então isso pode estar na rede, piriri, paroró. Então, beleza, o número de múltiplas escolhas não convence sozinho. E eu concordo. O grande diferencial dessa metodologia tá na metodologia da terceira fase,

14:51 que é esse C, tá? E que tá mais bem explicadinho aqui, OK? Então, o que que é esse C? O que que é esse C? Vamos eh a a analisar essa metodologia com a lupa, tá? O coração desse trabalho que traz uma robustez científica maior é o chamado RCQ, que é o Real Clinical Queries, tá? A equipe, ela não inventou perguntas de laboratório, tá? Não são os dados sintéticos. Que que eles fizeram?

15:25 Eles extraíram 100 consultas clínicas reais e desidentificadas feitas por médicos durante uma rotina assistencial em um ambiente que é RIPA compliant, tá? O que que é o RIPA compliant? RIPA é seria a LGPD dos Estados Unidos, tá? Ou seja, num lugar que tem LGPD para garantir que esses dados não são são anonimizados, não permitem identificação do paciente e todas aquelas questões da LGPD, seria como se fosse LGPD norte-americana, tá?

15:55 [roncando] E lá do da instituição do EN Lengon. E aí, olha só como é que eles avaliaram isso, tá? Eh, três pontos. Primeiro, parâmetros determinísticos, tá? Ou seja, as de fronteira rodaram com temperatura zero, tá? Ou seja, não dá para ela ficar variando muito, né? E com uma SID fixa, uma SID 62, eles fixaram essa SID para justamente não ter essas variações, tá? Para não ter

16:25 variabilidade estocástica. Eles eles fizeram uma avaliação triplo cega e randômica, tá? Ou seja, 12 médicos especialistas avaliaram as respostas de forma cega, sem saber qual a IAAK gerou o que, distribuídos aleatoriamente em 100 anotações manuais, tá? Ou seja, o cara não sabe quem que foi humano, não sabe quem que foi IA e se foi IA, quem que foi a IA que gerou, então o cara não sabe nada, né? E cada par de pergunta e resposta passou por três revisores

16:58 independentes. Então assim, não dá para questionar que tem viés de seleção ou viés de de, né, de pesquisador ou qualquer outra coisa do tipo. E a escala estruturada em quatro eixos. Então eles definiram bem quais eram os quatro eixos avaliados em cada resposta. Eh, correção, correção clínica, abrangência, que é a completeness, segurança, prevenção de dano, né, que é um princípio da da bioética, não maleficência, e a clareza para o

17:28 profissional, ou seja, a forma na qual o cara explica aquela resposta, tá? Então, vejam, uma metodologia, a princípio, bem robusta, né? Se alguém tiver alguma alguma observação com relação à metodologia, eh, por favor, acho que esse aqui é o lugar que a gente tem para discutir, né? Eu achei uma uma metodologia bem bem bem interessante, tá? E aí, o quais foram os resultados? Vamos lá. O que que a análise eh estatística com modelos lineares mistos

18:00 e regressão logística ordinal revelou? ou seja, uma metodologia de eh bastante robusta da das respostas, certo? Então, a gente tem dois escalões totalmente separados. A gente tem um primeiro escalão e a gente tem um segundo escalão. Quem que é o primeiro escalão? São os modelos de fronteira, tá? Gemini, tá? que fez 3.62 de média dentro dessa escala que eles

18:32 fizeram de quatro pontos, né? O GPT fez 3.54 e o cloud fez 3.52, tá? Indistinguíveis estatisticamente entre eles, tá? Então, os três performaram nesse RQ RCQ de forma idêntica, mas aí tem um segundo escalão que vem totalmente separado, tá? Que são as ferramentas clínicas e de busca, tá? Então o Open Evidence fez

19:03 3.24, estatisticamente diferente das outras, e o up to date AI fez 3.17, tá? E aqui entra uma ironia metodológica, tá? Lembra o nossa base que era o Dr. Google, né? Então o Google AI Overview gratuito da barra de buscas empatou com segundo escalão com 3.27 sem diferença estatística. Ou seja, o que que ele tá querendo dizer é o seguinte: sabe aquela ferramenta que você pagou $00 por ano? Se você tivesse perguntado

19:36 no Google era a mesma coisa? Vocês estão entendendo onde que é o onde que tá o o cerne, né? E, e, e aí, pessoal, isso me lembrou muito, não sei se vocês vão se recordar, na época do começo da Wikipedia. Hoje em dia ninguém questiona a Wikipedia como sendo uma base válida, se é confiável ou não. São outros 500, mas é uma base válida de conhecimento, tá? É óbvio que a gente não usa como referência, mas muita coisa a gente busca referência lá. Eh, e na época do Wikipedia, pela forma como ele é construído, eu me recordo que

20:11 houve uma crítica muito grande, principalmente de quem já tava estabelecido, né, as enciclopédias, tipo lá Russe, a Barça e tal, porque não tinha checagem e tal. E aí quando eles fizeram o estudo, eles mostraram que, na verdade, do ponto de vista de atualização e correção dos dados, não havia eh tantos erros na plataforma colaborativa que era o Wikipedia. a quantidade de erros semelhante à quantidade de de erros que tinha na na nas enciclopédias tradicionais e a velocidade de atualização dessas da

20:45 Wikipedia era muito superior ao papel, né? Claro, porque o papel você tem que editar, demora para sair, piriri, parará. Então, e numa plataforma digital, a atualização ela é instantânea, né? Então, a a a medicina ela é cheia desses pontos na de quebra de paradigma, né? Um outro ponto que eu sempre gosto de trazer foi os 10, né, os os desfibriladores eh externos automáticos, na qual havia então uma uma uma

21:19 preocupação dos cardiologistas de que ah, mas esse equipamento não consegue fazer análise de traçado para poder decidir se vai chocar ou não vai chocar o paciente. até que fizeram um estudo duplo cego e mostraram que, na verdade, os Deas acertavam mais diagnósticos do que os cardiologistas. Então, eh, esse é um estudo que vem desmontar uma narrativa e talvez desmontar uma uma um consenso que a gente tinha de que, eh, esses rags clínicos eles traziam uma menor uma menor possibilidade de de alucinação e uma e uma correção maior,

21:55 né? Eh, agora, né, olha só a taxonomia dos erros qualitativos, né, o nome que eles deram pros erros qualitativos. A op a open evidence, que é nessa última tabela aqui, ó, deixa eu mostrar para vocês aqui. Aqui, ó, tá vendo? Tem aqui, ó, clinical correctness, completeness, safety and harm avoidance, clarity for clinicians. Então, ó, quando a gente olha ali, a Open Evidence acumulou C 52 falhas reportadas pelos avaliadores, liderando

22:29 em omissões críticas de segurança com 12 falhas e desorganização dos textos eh entregues pelos clínicos em com 13 falhas. O up to date apresentou uma taxa bruta de 19% de recusa nas respostas. Ou seja, você faz uma uma pergunta e o cara não responde aquilo que você perguntou. Ah, e isso que eu responde quase uma a cada cinco perguntas clínicas reais, né? Ele se negou a responder, tá? E aí a gente chega ao ponto crucial, né? Eh, uma coisa que o Sandeco sempre fala, né?

23:03 A Iá não é uma caixa mágica, né? A I ela é uma ferramenta, né? E eu como engenheiro de controle automação, né, e médico também, que vivo essas questões na prática, eh, eu preciso tentar aqui com vocês eh achar uma explicação do porquê desse comportamento. Obviamente que olhando a o o estudo, mas trazendo um pouco da minha interpretação, por que que as ferramentas clínicas falharam perante os modelos generalistas, os modelos não

23:36 específicos. Acho que tem dois fatores aqui que a gente poderia discutir. O primeiro é o que a gente chama de escala de raciocínio, tá? E o segundo é a distração do R. Então o que que acontece? Os modelos generalistas de fronteira, eles recebem volumes massivos de treinamento com raciocínio cruzado, lógica e alinhamento. Já os sistemas com ra que podem ser mal calibrados porque não tem inclusive nem tanto poder computacional, nem uma base de treinamento tão grande quanto esses modelos de fronteira, eles sofrem no fenômeno que a gente chama de garbage

24:10 in, garbage out. Ou seja, se o sistema ele recupera trechos irrelevantes dos artigos ou diretrizes que ele é alimentado e injeta isso no prompt, o modelo ele acaba se distraindo. Ele perde o fio da meada e entrega respostas prolixas, incompletas ou até confusas. Esse é um problema de contexto. Aí quando você pega uma base eh de dados científicas eh muito extensa, às vezes você quer uma pergunta que tá ali e para ele poder fazer aquela pergunta, geralmente ele não faz o skiming do texto, seleciona um pedaço e manda isso

24:43 pro prompt. Ele vai pegar aquele artigo, ele vê que aquele artigo tem a ver com o que você pediu e manda o artigo todo. Isso pode, de uma certa forma contaminar uma ferramenta que talvez não tá bem calibrada para aquela para aquela base de dados de ra que ela tá recebendo. E por que que vem essa essa descalibração? Porque essa ferramenta para ela se manter atualizada, esse esse banco de rag ele tá ele tá mutando o tempo todo, né? Então vocês vão ver a dificuldade que disso, justamente lá no curso, né,

25:13 do professor Sandeco agora do It’s Fine, que é sobre fine tuning, né? Inclusive, e aqui, ó, eu tenho o livro do Rag, tá? Lá no grupo, o pessoal falou de Rag. Ah, como que é Rag? Então, professor Sandec, ele tem um livro do Rag. Quando você acessar essa essa plataforma, você vai ter acesso ao livro do RG e você também vai ter lá o catálogo dos outros livros. Inclusive tá começando nessa semana ou na semana que vem. Voz a consciência pode me ajudar. Nessa semana, na semana

25:44 que vem vai começar eh as mentorias do livro do de fine tuning, né, que é o Fine. Eh, então assim, o professor Sandeco tem um um ecossistema de amanhã. Aqui a voz do consciência falou que amanhã, tá? Então lá aqui na plataforma você vai ter tanto o livro do Rag que o voz da consciência, o cupom de desconto do Rag ainda tá valendo, você sabe? Se tiver valendo você me fala e e aí você passa. Eu eu vou eu vou eu vou passar pro pessoal aqui. Ah, tinha um um cupom

26:18 de desconto. Ah, sim. Eh, e aí, pessoal, que que acontece? Esse Rag, se esse esse fine tuning, por exemplo, ele é difícil de fazer se você tem um modelo que tá se movimentando tempo todo, né? Então essa é uma é uma dificuldade, né? E aqui reside talvez o recado mais importante, né? Precisa ver, na verdade não talvez modelos mais eh especializados. Ah, eu vou pagar então. E agora? Eu vou pagar o

26:50 up to date e eu tenho certeza, agora fico tranquilo. Vou entregar isso pros meus médicos, né? Uma instituição pode pensar isso, vou entregar isso pros meus médicos e aí eu vou ficar sossegado. Não é bem assim não, tá? Eh, e esse estudo mostrou que cada vez mais a governança institucional vai ser importante, né? Hoje, muitos diretores clínicos e gestores de TI compram essas soluções porque levam o selo especializado para medicina ou logotipo de editoras

27:21 biomédicas consagradas, VID a Open Evidence, né? Ele supõe que o rótulo garante imunidade a erros. E aí talvez que seja o problema, né? Porque você tá comprando uma uma ferramenta, você acha que você pode usar sem fazer a a curadoria desse dessas respostas, né? O próprio CFM que a gente já discutiu anteriormente mostra pra gente que não. Então, eh, esse estudo provou empiricamente que o rótulo comercial não é sinônimo de superioridade técnica nem

27:51 de segurança. A governança em na inteligência artificial, então, eh, não é terceirizar responsabilidade para um para um para um fornecedor fechado. vai exigir validação independente e contínua, testar as ferramentas com dados de fluxo do trabalho local antes de de aprovar orçamentos milionários. Então, às vezes você vai lá e compra, vou comprar um uma assinatura lá pro meu corpo clínico inteiro, vai saber quanto que você vai gastar num negócio desse e

28:21 se você e ainda assim você não vai eh poder usar como de forma irrestrita e irresponsável, né? Então, às vezes seja melhor você ter uma governança bem feita e usar uma ferramenta eh apropriada paraa tua realidade, né? Então, você vai precisar também fazer a supervisão de omissões críticas, né? A gente vai falar de uma forma bem bem bem não é trágica, né? Mas uma forma bem bem direta assim,

28:54 né? A iar na saúde, ela não mata apenas pelo que ela inventa. Então, muita gente fica só preocupada com a alucinação, mas ela mata também pelo que ela omite. E isso é uma coisa que a gente é mais difícil da gente medir, né? Eh, o que que será que ela deixa de listar um sinal de alerta cirúrgico? ela deixa de listar uma interação medicamentosa. Como é que a gente vai fazer o o o rastreamento dessa dessa dessa alucinação que não aconteceu, né?

29:27 Na verdade é um tipo de alucinação, mas ela alucinou por não apresentar uma coisa que ela deveria apresentar. Então é um tipo de de alucinação também. Então aí vem a esteira dos guard rails, né? Que inclusive o professor Sandec também tem, esse homem é uma máquina, né? Ele tem um livro de Guard Ross também. Lá, ó, o livro de Rag, que é esse livro aqui, tá? junto com os os outros livros, não, mas esse livro em particular está com uma promoção. Eh, e você usando esse

29:59 cupom aqui, que eu vou colocar aqui no captions, deixa eu colocar aqui, ó, com o cupom reg, você ganha 25% de desconto no livro de reg, tá? Esse é pro rag específico, vale só até hoje, né, voz consciência. Então não perca tempo. Eh, você vai conseguir entender esse assunto aqui muito de uma forma muito mais aprofundada. Eh, e

30:31 também tem o livro do Guard Rails, né, que não tenho dúvidas que vai ser fundamental cada vez mais, porque você em vez de depender de um rag proprietário de caixa preta, os hospitais e redes eles precisam estruturar modelos robustos de fronteira operando com arquiteturas de orquestração válida, integração contextual com o prontuário, verificação eh rigorosa eh no circuito. Então existem várias maneiras da gente criar esses guard rails. O professor Sandec tem inclusive um livro sobre Guardi

31:02 Rails. E eu vou levar para para Portugal. Eh, e depois que eu apresentar em Portugal eu vou trazer para vocês aqui também a minha linha de pesquisa, que é uma linha de de guard raio também, tá? Eh, pessoal, sem governança, baseado em evidência, os os hospitais eles correm o risco de pagar caro paraos sistemas medicres que recusam 19% dos casos eh requisitados e omitem condutas essenciais. Então, imagina, né, você tá pagando um absurdo, carregando um selo, achando que tá abafando e o cara lá que

31:37 tá usando chat GPT tá melhor do que você. Então, é uma coisa que a gente precisa ficar, eu coloco de uma forma mais caricata assim, pessoal, mas é uma é um ponto muito importante aí, né, pra gente pra gente discutir, tá? Eh, vamos dar uma olhada aqui nos comentários. Então, o Fabrício falou: “Começa amanhã”. Isso, né? O do It’s Fine, né? que são os o novo livro do professor

32:07 Sandeco aí no Fine Tune. Eh, o Léo Fox colocou esse Link 3.0, Link 3.0 S. Parece interessante. Especializado em reason medicina. Ô, uma boa, ô Léo. Não, não tava sabendo não. Vou procurar me informar, tá? Inclusive tem essa questão do reasoning na medicina. Eh, a gente tem um estudo que a gente apresentou no ano passado na Itália mostrando que o reasoning ele é importante, né, mas ele não é

32:39 suficiente. Então, a gente tem que o o reasoning, ele ele traz uma uma camada mais de verificação, principalmente, tá? Eh, de de permitir esse esse esse rastreio, vamos dizer assim, esse trackback, né, de como que aquela conclusão foi foi obtida. Mas ele sozinho não é suficiente. Então, por exemplo, pra gente ter uma, porque a metodologia, né, no artigo a gente mostra isso, a metodologia de raciocínio do raciocínio clínico e do raciocínio do

33:11 modelo são diferentes, tá? apesar de eventualmente eles chegarem numa mesma resposta, são caminhos diferentes. Então, eh um ponto interessante é que talvez, né, isso é um é uma hipótese que a gente levantou, a gente não chegou a explorar ainda mais isso. Eh, ah, que ele falou, ele tá no Open Router. Eh, ah, a gente não chegou a explorar isso, ô Léo. Talvez se nós alinharmos uma um reasoning eh robusto que mimetize um

33:47 pouco mais o processo de tomada de decisão clínica com eh uma grande acurácia factual, talvez a gente tenha um modelo que mais poderoso, né? Então acho que o que o grande ganho que a gente tem com esses modelos de fronteira tá justamente nisso, numa capacidade de reasoning bastante interessante e numa uma capacidade agora grande de fazer um skiming das informações que estão na rede, de trazer essas

34:18 informações de uma maneira mais adequada para dentro do prompt, né, que seria essa informação factual mais mais adequada, né? Então essa é uma é uma é uma hipótese, tá bom? Ah, bom. Então, né, o que que a gente tem, né, o futuro da inteligência artificial médica, ela não tá em interfaces fechadas com dados ingessados, né? Ela caminha aí paraa uma união, tá? das capacidades monumentais

34:52 de raciocínio desses modelos de fronteira com a governança estrita das instituições. Então, se eu não tenho uma capacidade de gerência em cima do modelo, porque ele é um modelo proprietário, um modelo fechado e um modelo altamente dinâmico, como é que eu posso ter alguma governança em cima dessas decisões, né, dessas respostas que esses modelos vão me dar? Tá? Então essa é a pergunta que fica e que eu vou discutir numa próxima oportunidade com

35:24 vocês depois da do congresso lá em Portugal que eu vou participar daqui duas semanas. Então já adiantando que daqui daqui o nosso o nosso próximo encontro vai ser daqui um mês, tá? Porque daqui 15 dias eu vou estar em Portugal, tá bom? Mas eu queria ouvir de vocês. Se alguém ainda estiver aí, quiser dar a sua opinião, né, coloque aí no chat as dúvidas, quais são aí as suas inquietações.

35:55 Eh, vocês que estão aí construindo pipelines em Python, orquestrando agentes, né, agora tá usando harness, né, montando essas bases de conhecimento. Muitos, provavelmente aqui depois do Itfine vão treinar, vão fazer o fing tuning das suas próprias, dos seus próprios modelos de peso aberto. Então vocês já pensaram em medir o impacto da poluição no contexto do rag de vocês, né? Então essa é uma pergunta que

36:29 inclusive a gente pode trazer lá pro professor Sandeco, para quem tiver no na mentoria do do livro sobre Fine Tuning, né? Link do ebook com desconto. Voz da consciência. Você consegue me ajudar aí? Deixa eu ver se eu acho esse link aqui para vocês. Pera lá. É o Físia. Físia.

37:00 Vamos ver se eu acho aqui. fisia.com.br livros reghei aqui. Tá aqui o link, meus amigos. Vou colocar aqui no comentário, vê se aparece para vocês aí. Vou tentar colocar aqui no Qcode também. Aí lá tem, você consegue baixar

37:31 inclusive o primeiro arquivo, o primeiro capítulo gratuito. E deixa eu ver se eu consigo livro. Ah, tava aqui o Qcode. Tá aqui o Qcode. Liv aqui, ó. Pronto. Certo. Então, aí você faz aqui o download, o leitura do QR Code. Você usa aqui o cupom que é o cupom cupom cupom cupom R 25. Cupom R 25. Certo?

38:08 Isso. Beleza, meus amigos. É isso. Então, artigo interessante, né? Artigo interessante, tem bastante espaço paraa discussão. Eu não vou dizer para vocês que eu deixaria aqui. Pera aí, tem uma pergunta. Qual hoje, qual é o desafio para á da saúde com uso da IA? Eu acho, ô Fabrício, que chama-se letramento, né? Os médicos são

38:38 extremamente pouco letrados. Não só os médicos, mas os profissionais da saúde em geral t uma dificuldade de letramento muito grande, né? Eh, poucos usam, a gente não pode ignorar isso. A gente vive numa bolha, tá? Eu não me esqueço e sempre recordo dessa situação que eu fui fui convidado para fazer a conferência de fechamento no ano passado do simpósio do grupo brasileiro de câncer de cabeça e pescoço lá em São Paulo, uma sala com os maiores oncologistas do Brasil. Eu perguntei quantos usavam inteligência artificial no seu dia a dia. Eh, dois ou

39:12 três levantaram a mão isso ano passado. Então, a gente tá às vezes numa bolha achando que tá todo mundo usando, que todo mundo domina, que todo mundo sabe o que tá fazendo. Não é verdade, Fabrício, sabe? Eh, e aí que que acontece? A hora que o cara começa a primeiro tem uma repulsa inicial, né? Ah, isso não é para mim, isso aí não não presta. E às vezes ele começa a usar por algum outro motivo, sei lá, para fazer uma fotinha diferente do filho do neto dele, fazer uma brincadeirinha parará. Aí ele começa a explorar um pouco mais, começa a ver que o negócio começa a responder. Dali um pouco ele tá jogando caso clínico

39:44 dentro do da IA, tá? E aí e essa falta de letramento em cima de como é que o modelo funciona, do que que eu posso, do que que eu não posso colocar no modelo, quais são os riscos que isso pode ter, legislação que agora a gente tem a resolução do CFM. Então eu penso que o maior desafio é o letramento, não só do ponto de vista restritivo, seja daquilo que eu eu não devo fazer, mas das das potencialidades também, né? Pô, o que que eu poderia fazer? Por exemplo, eu cheguei para uma enfermeira num numa palestra que eu fui dar, falei: “Olha,

40:17 sabia que você sabe que que é a sua maior dor?” “Ah, é fazer escala de plantão.” Pô, falei: “Você sabia que você pegar um modelo bom aí, ele faz o o a escala de plantão para você?” Inclusive, ah, essa restrição, aquelas famosas restrições para quem já mexeu com cara de plantão, não é? Fulano não tem que tirar férias nesse dia. Cicrano tem que pegar eh tem férias para tirar, o outro quer juntar aqui, o outro tem. Cara, vira uma bagunça. Você põe isso aí, você põe as regras de restrição, joga escala lá num modelo, sei lá, num

40:48 num sol aí da vida, num 5.6 só da Openai, cara, vai sair prontinho para você. Então eles não t eles não têm nem ideia de como que a ferramenta eh a ferramenta eh artificial pode ajudar na na rotina, principalmente na parte administrativa, que é onde eu acho que tem o maior impacto, ah, e onde é mais subutilizado, né? Então, para mim, Fabrício, essa é a minha opinião, tá? Eu acho que é eh letramento, letramento e tudo que isso acaba trazendo trazendo

41:22 como consequência, né? Aqui o dog trabalha em um CAPS e lá ninguém pensa em utilizar inteligência artificial. Existe uma repulsa. É, né? Os logos, né? O como que era aquela aquela piada, né? Malditas pessoas da cidade, suas máquinas voadoras, né? Quando alguém traz eletricidade, todo mundo acha que é uma coisa demoníaca. Então, é natural a gente ter medo e ter e e ter uma certa

41:53 uma certa resistência a tudo aquilo que é novo e principalmente o Doug, quando aquelas pessoas acreditam que os seus próprios empregos estão ameaçados para aquela tecnologia. E apesar da gente que já tá trabalhando nessa área saber que não é bem assim, ã, muitas pessoas têm medo de de que a inteligência artificial, se ela for a colocada no emprego, que ela vá colocar o emprego dessa pessoa em cheque. Às vezes não Dog, o emprego dela em si, mas

42:27 a forma como ela trabalha, né? Ó, uma um cara que antes, sei lá, demorava 10 dias para conferir nota fiscal manualmente. Agora a hora que ele jogar no Maiá, ele vai gastar um dia e meio e aí os outros 8 dias e meio que ele ficava trabalhando naquilo, agora ele vai ter que produzir alguma outra coisa, você entende? Então, não é só uma questão da inteligência artificial, ah, tirar o emprego da pessoa, mas mudar radicalmente a forma como essa pessoa vai vai trabalhar e as entregas que ela vai ter que fazer, né? Então, eu não

43:02 tenho dúvidas que parte dessa resistência nasce dessa dessa dessa percepção, né, Fabrício? Uou! Hum. Ou acho que eh aqui o marketing, o marketing do medo do uso da IA e como ela vai substituir o ser humano. É, né? E aí a gente tem o o vídeo do Sandec falando, né, da questão do que se o aá vai destruir o mundo ou não, né? A gente

43:35 que tá junto ali com acompanhando e tal, a gente tem que ter um pensamento, a gente tem que ter um pensamento mais crítico em cima dessas dessas narrativas, né? sempre tem alguém que tá, então, por exemplo, né, eu eu até postei o repostei o vídeo do Sandeco no meu no meu Instagram. Meu Instagram é esse aqui para quem quiser me acompanhar lá. Eh, esse aqui, ó, tá? @d.gerson. Eu coloquei, fala assim, eh, pessoal da Antropic falou que é a favor

44:11 de uma pausa no desenvolvimento da IA. É, desde que todo mundo pause também. Porque se ninguém pausar, eu também não vou pausar, né? Então é hipócrita, né? É um medo que pode existir, mas é um medo apresentado de uma forma bastante hipócrita, né? Dog faz sentido. Acho que no sentido do no que eu falei da do medo de mudança da forma de trabalhar, né? Na forma de trabalhar irá precisar mostrar serviço mesmo e nem todos querem. Claro, é o status qu, né, meu amigo, né? Para

44:42 que mexer aqui? Tô quietinho, funcionário público, tô lá, né? O cara vem mexer com esse negócio agora, agora, né? Vou ter que trabalhar. Então, claro que eu tô, né? Tô exagerando. Nem todo, nem todo funcionário público ele é assim, mas existe um um uma certo clichê e o clichê não existe à toa, né? Então, mas eu acho que sim. Eu acho que tem uma uma uma Ah, sim. que é a o que o Fabrício foi por conta da palestra. Sim, Fabrício,

45:15 também me me e assim foram eh eh é um grupo extremamente seleto, eram os maiores maiores oncologistas do do Brasil, né? Então assim, isso mostra dois pontos que primeiro você não precisa Iá para usar IA para ser um cara de excelência. Isso tá bastante claro. E e não é porque o cara não useia que eu acho que ele é um cara menos competente, são caras extremamente competentes, mas por outro lado traz essa essa realidade de que a gente vive em uma bolha extremamente autocircunscrita, né? Então a gente acha

45:50 que o mundo que inteiro tá usando e eu moro aqui em Itajubá, atendo no SUS e a realidade dos pacientes do SUS é que muitos não tem nem celular, tá? Então a gente tem uma uma visão às vezes deturpada da realidade, né? E aqui esse cardantrópico foi difícil de engolir. É, Estados Unidos vest, né? A China vem falar de regulação, né? e tal. Então tem muita, tem o Ricardo Marcilho é um cara que fala, né, na geopolítica a primeira

46:22 coisa que morre é a inocência, né? Então é a o campo da da hipocrisia, né? Então a gente tem que ter muito cuidado. Eu acho que eh eu concordo muito com a fala do professor Sandeco, né? A gente tem que ter pensamento crítico, aprender realmente as coisas, não é só sair fazendo e, ah, eu tô fazendo, eu sou especialista, porque não, você é um usuário avançado e olhe lá, né? E eu me incluo nisso. Então, se você quer realmente saber o

46:55 que você tá fazendo e tal, então, eh, a gente precisa a gente precisa ter essa reflexão, né? Um último comentário aqui do Léo, né? Os Safeguards não são limitador muito grande da medicina? Eu não sei se foi uma pergunta, Léo. É assim, e são limitadores. Eu acho que são, não tenho dúvidas, mas são necessários. São necessários, né? Se a gente for pegar na história da medicina, a medicina ela sempre foi muito mais atrasada, vamos

47:26 dizer assim, do ponto de vista de incorporação de tecnologias do que outras áreas do conhecimento, como engenharia, biologia e outras coisas. Por quê? Porque realmente você precisa de um certo tempo de maturação, né? Na medicina a gente tem um um ditado que é assim: nunca seja o primeiro eh nunca seja o último a abandonar o barco, mas também não seja o primeiro a entrar. Então, quando a gente tem uma essas ferramentas, a gente precisa eh de um certo tempo de maturidade da tecnologia para saber se ela é segura, onde é que ela é segura e tal. Então, o problema é

47:59 que antigamente esses tempos de maturação eram muito longos. Pega o exemplo da vacina da COVID, né? Durante quanto tempo a gente julgava que o tempo mínimo ideal para poder fazer uma validação no uso de uma vacina era de era de 10 anos e a da COVID forçou a a dois, né? Eh, e a gente ainda não tá 100% seguro, né? Eu não sou antivacino de nenhuma forma, mas a gente precisa ter a consciência como pesquisador de que a gente ainda não tem todas as respostas porque algumas respostas demandam tempo, né? Então, a medicina ela é ela é uma uma

48:34 área que sempre foi que sempre presou ou deveria prezar pela segurança e pela maturidade das das tecnologias que ela incorpora, né? Eh, e por mesmo porque isso também eleva o custo, né, dessas tecnologias, uma série de exigências regulament eh regulamentadoras e tal que faz que acaba encarecendo, né, esse processo como um todo. Então, os safeguardes, eles são limitadores na

49:05 medicina, são, mas são necessários. Acho que é é o tipo da coisa que é o o a gente precisa colocar a a mordaça no pitbull. né? Porque na medicina, eh, se algo der errado, não vai ser um, uma mão que vai sair com seis dedos, né? Pode ser um impacto muito maior na vida dos pacientes. Tá bom, pessoal? Conversa muito bacana. Eu gostei bastante, bastante interação, assim que eu gosto,

49:39 um tema quente, um tema que é importante a gente discutir e como eu sempre falo, esse canal é justamente isso, uma oportunidade que a gente tem de discutir as coisas. Foi um prazer enorme estar aqui com vocês. Fiquem todos com Deus. Até a próxima. Lembrando que então na daqui 15 dias a gente não tem a nossa reunião, o nosso encontro. Eh, vou estar em Portugal e retornando eu vou fazer a live com apresentando o trabalho que eu vou

50:11 que eu vou levar lá para Portugal, tá bom? Um abraço, fiquem com Deus e até