Sinistros de seguros são o problema de dados mais caótico da IA — Denys Linkov, Wisedocs

Ver no idioma original →

Autoria: AI Engineer · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Insurance Claims Are AI’s Messiest Data Problem — Denys Linkov, Wisedocs · Canal: AI Engineer · 44:08 · Assistir no YouTube

Tópicos: Aplicações empresariais de IA, Avaliação e benchmarks de IA, Dados, bancos de dados e embeddings, Saúde e ciência

Resumo

Denys Linkov explica por que os sinistros de seguros, especialmente os que envolvem tratamentos médicos, são difíceis de processar: dados em papel, formatos inconsistentes, registros duplicados e longos fluxos de trabalho. Ele defende que a transformação digital e a qualidade dos dados precisam vir antes da adoção de IA. A palestra apresenta usos de IA para analisar documentos, identificar informações ausentes ou conflitantes e produzir insights sobre vários sinistros. Linkov também destaca a importância de evals, validação humana, governança e foco em melhores resultados para pacientes e reclamantes.

Pontos-chave

• A digitalização do setor de seguros ainda é incompleta: papel, fax e sistemas médicos heterogêneos continuam comuns.
• Sinistros complexos reúnem documentos em formatos variados, dados duplicados, registros misturados e informações conflitantes.
• A demora na análise resulta de múltiplas etapas e participantes, incluindo profissionais de saúde, seguradoras e advogados.
• Antes de aplicar IA, é necessário definir objetivos, preparar os dados e estabelecer governança, segurança e infraestrutura.
• A IA pode ajudar a extrair informações, detectar duplicatas, sinalizar diagnósticos conflitantes e identificar documentos ausentes.
• O benchmark MLCR avalia respostas sobre sinistros segundo concisão, precisão e completude.
• A avaliação de sistemas de IA deve usar respostas verificadas por especialistas e juízes calibrados.
• A Wisedocs mantém uma pessoa no processo para revisar informações e apoiar decisões em casos de sinistro.
• A análise de dados agregados pode revelar padrões de custos, tratamentos, regiões e relações entre profissionais.
• O objetivo final é reduzir custos e atrasos e melhorar a experiência e os resultados de pacientes e reclamantes.

Capítulos

Início	Capítulo	Resumo
00:01	Apresentação e foco da palestra	Linkov introduz o tema dos dados de sinistros e propõe priorizar os resultados para pacientes e reclamantes.
02:10	Transformação digital ainda incompleta	A palestra destaca a persistência de papel, fax e formulários diferentes, apesar da pressão para adotar IA.
06:26	Pré-requisitos para aplicar IA	Linkov enfatiza objetivos claros, competências, governança, segurança, infraestrutura e dados estruturados.
08:37	Complexidade dos sinistros médicos	O palestrante descreve os tipos de seguro e as etapas médicas, administrativas e legais que tornam os sinistros demorados.
11:53	Exemplo de sinistro de acidente de trabalho	Um caso de workers’ compensation ilustra documentos inconsistentes, avaliações divergentes e incentivos jurídicos distintos.
15:40	Problemas de qualidade dos dados	Linkov apresenta duplicatas, registros misturados, documentos mal digitalizados e sistemas médicos incompatíveis como obstáculos recorrentes.
20:22	Documentos extensos e informações conflitantes	Arquivos enormes, registros ausentes e diagnósticos divergentes exigem mecanismos para detectar problemas e apoiar os avaliadores.
23:32	Benchmark MLCR e avaliação de modelos	O benchmark mede concisão, precisão e completude, mostrando a importância de evals e validação humana.
28:19	Insights entre vários sinistros	Com dados estruturados, seguradoras podem estudar custos, redes de profissionais, tratamentos e tendências em suas carteiras.
33:04	Resultados e arquitetura de processamento	Linkov relaciona dados melhores a aplicações de IA mais eficazes e descreve uma pipeline com extração, modelos, resumos e revisão humana.
36:46	Implantação, regulação e decisões de negócio	A sessão de perguntas aborda integração com clientes, supervisão humana, auditabilidade e prioridades no tratamento de sinistros.
41:30	Modelos especializados e limites da IA	Linkov defende escolher a abordagem conforme o problema, considerando custo, precisão e risco de alucinações.
42:32	Impacto e reconstrução do histórico do sinistro	As respostas finais tratam dos resultados observados e da dificuldade de reconstruir históricos médicos completos dentro dos prazos regulatórios.

Citações

Precisamos resolver o problema que estamos tentando solucionar e só então escolher a IA, se ela for a solução certa. — 06:26

O que mais importa é a qualidade do atendimento, a redução de custos, um processo rápido e uma boa experiência. — 15:40

Se os dados estiverem incorretos no início e você os usar depois, não ganhou nada. — 27:13

LLMs não são a solução certa para tudo. — 41:30

Conceitos e entidades

• Denys Linkov (pessoa): Líder do programa de IA da Wisedocs e palestrante sobre dados de sinistros médicos.
• Wisedocs (empresa): Empresa que desenvolve soluções para o processamento de sinistros médicos complexos.
• MLCR (conceito): Benchmark apresentado para avaliar o desempenho de sistemas de IA em perguntas sobre sinistros médicos.
• Artificial Analysis (empresa): Organização que colaborou com a Wisedocs no benchmark MLCR.
• NAIC (conceito): Organização cujas classificações de seguros são usadas pelo palestrante para contextualizar o setor.
• HIPAA (conceito): Regulamentação mencionada em relação aos riscos de misturar registros médicos de pacientes diferentes.
• EHR (conceito): Registro eletrônico de saúde cuja adoção se expandiu, mas ainda não eliminou o uso de papel em muitos hospitais.
• OCR (conceito): Tecnologia usada para extrair informações de texto e imagens em documentos médicos.
• VLMs (modelo): Modelos de linguagem com capacidade de processar informação visual, usados para estruturar dados de documentos.
• workers’ compensation (conceito): Modalidade de seguro relacionada a sinistros decorrentes de lesões sofridas no trabalho.

Tradução completa (pt-BR)

00:01 [música] >> Certo, obrigado por participarem do último workshop do dia. Sou Dennis. Vou compartilhar um pouco sobre dados de sinistros de seguros e como eles podem ser poderosos para programas de IA em toda a empresa. Então, vamos começar. Quem aqui trabalha com seguros? Algumas pessoas. Quem aqui quer trabalhar com seguros?

00:33 Certo, interessante. Algumas pessoas. Tudo bem. O setor de seguros é muito interessante dentro da nossa economia: as pessoas acabam encontrando seu caminho para trabalhar nele, mas ele sustenta uma parte muito importante do nosso ecossistema. Vamos falar um pouco sobre seguros como um todo. E, no fim das contas, vamos concentrar esta palestra em como melhorar nossas vidas em geral. Vamos nos concentrar em sinistros médicos, melhorar os resultados dos sinistros e dos pacientes; esse será o foco desta palestra, e vou sempre retomar esse ponto. Acho que, muitas vezes, em muitas discussões sobre fintech, finanças e seguros,

01:06 às vezes o foco nos negócios acaba sendo excessivo. Por isso, quero sempre que todos se concentrem nesse aspecto. Um pouco sobre mim: sou Dennis. Lidero o programa de IA na Wisedocs. Ajudamos empresas a processar sinistros médicos complexos. Estou nessa função há 2 anos, e vimos uma enorme transformação desde 2024. Talvez vocês tenham visto algumas notícias sobre cobertura médica e seguros em geral. Toda a transformação causada pelos GLP-1 na nossa economia, no nosso

01:39 sistema de saúde, também mudou a forma como os seguros definem os preços. Também vemos que os seguros para cônjuges e, de modo mais amplo, a cobertura de seguros continuam evoluindo, com o aumento dos custos e outros fatores que mudam a abordagem dos seguros. A palestra terá três capítulos principais. O primeiro é sobre a transformação tecnológica pela qual estamos passando. No segundo, vou abordar um pouco o setor de seguros, com alguns detalhes mais específicos, mas também farei uma breve introdução. E, por fim, vou falar sobre como a IA vai ajudar a tornar

02:10 os seguros e a experiência dos pacientes ainda melhores. Vamos falar sobre transformação tecnológica. Provavelmente, todos nós já começamos alguma forma de transformação digital nas empresas em que trabalhamos, seja em startups menores, seja em grandes empresas. O desafio é que nunca terminamos essa transformação. A IA chegou em 2023 e 2024, mas a maioria das empresas ainda não concluiu a migração para a nuvem, não aproveitou todo o potencial do big data e não implementou um data lake bem estruturado, certo? Quem aqui tem um data lake de que se orgulha?

02:44 Certo. Muito, muito pouca gente. Será que é mesmo possível ter um data lake de que a gente se orgulhe, não é? E, além disso, agora estamos recebendo todo esse hype em torno da IA, e precisamos garantir que tenhamos os outros pré-requisitos em ordem antes de realmente implementar aplicações. No setor de seguros e em muitos outros, o papel era a principal forma de processar as coisas, certo? Você recebia uma pilha de papéis para analisar um sinistro médico. Organizava tudo. Tinha aquelas mesas enormes cheias de papéis. Usava cartões para separar determinadas seções.

03:15 E é muito difícil obter qualquer coisa além do próprio sinistro, porque como fazer uma análise cruzada de sinistros quando tudo está no papel, certo? Você pode usar quantas pastas quiser, mas é muito difícil. Ainda não saímos da era do papel. Há várias práticas que ainda usam papel pelo mundo, seja no consultório médico, nos departamentos jurídicos ou nas próprias seguradoras. Então, ainda não superamos o papel, mas estamos perto. Quanto à digitalização, também ainda não superamos o aparelho de fax. O

03:47 mercado de fax continua crescendo. Ele movimenta mais de US$ 7 bilhões no mundo todo, o que sempre surpreende. Mencionei isso na minha palestra no An Engineer SF no ano passado, e nada mudou. O fax ainda é usado. O que fazemos agora é adaptar os faxes às nossas plataformas digitais, onde podemos convertê-los para um formato razoavelmente limpo, mas isso ainda não resolve o problema de como realmente trocamos informações no sistema de saúde. Agora, se pensarmos na rapidez com que a tecnologia foi adotada, os prontuários eletrônicos,

04:18 os registros eletrônicos de saúde, tinham apenas 8% de adoção em 2008. Só com a pandemia de COVID é que chegamos aos níveis dos anos 80 e 90 de adoção de prontuários eletrônicos. E, de novo, muitos hospitais ainda trabalham com papel. Então, ainda não concluímos por completo essa era de digitalização e transformação digital, mas todo mundo quer usar IA. Se pensarmos nos tipos de formulários que as pessoas recebem ao processar sinistros, estes são três exemplos de formulários de três grandes estados para indenização trabalhista.

04:51 Então, indenização trabalhista é quando você se machuca no trabalho e abre um sinistro dizendo: “Olha, machuquei o braço ao cair” ou “Eu estava dirigindo uma empilhadeira e algo deu errado”. E nenhum desses formulários é igual, certo? Nos 50 estados dos EUA, geralmente há 50 tipos diferentes de formulários. Todos solicitam informações diferentes. Eles não são padronizados. São relativamente padronizados no sentido de que todos os formulários recebidos têm a mesma aparência, então dá para contar com certo determinismo, mas, mesmo assim, as informações são diferentes. Portanto, mesmo como país, nos

05:23 EUA, sem falar de qualquer outro país do mundo, não coletamos informações da mesma maneira, e essas versões também mudam às vezes. No setor de seguros, o que importa para as pessoas é o índice de sinistralidade, certo? Ou seja, quantos prêmios você arrecada e quanto dinheiro paga. Vou falar um pouco mais sobre esses números e o que significam, mas, em geral, é isso que determina o resultado final de uma organização, certo? Ao divulgar os resultados trimestrais ou anuais, você vai enfatizar

05:53 qual é seu índice de sinistralidade, o quanto consegue prever riscos, o quanto consegue fazer a subscrição, o quanto está gerenciando fraudes e despesas. As empresas querem manter os custos baixos e ganhar mais dinheiro, certo? Isso é o capitalismo em geral. E, se pensarmos em algumas das estatísticas aqui, geralmente ficamos em torno de 50% de índice de sinistralidade, em termos do valor que temos de pagar por sinistros cobertos, em comparação com os prêmios que recebemos. Estou apresentando todo esse contexto e só mencionei IA uma vez até agora na minha palestra. E é muito importante, mais uma vez, pensar no problema que estamos tentando resolver e só então escolher a IA, se ela for a solução certa. Agora, para obter soluções de IA adequadas, precisamos passar pela transformação necessária, certo? Precisamos ter os objetivos certos em mente. Precisamos de uma equipe capaz de explicar o que queremos fazer com IA. Não basta as pessoas subirem ao palco e ficarem dizendo IA, IA, IA, certo? Precisamos das habilidades certas na equipe para realizar essa transformação e dos frameworks adequados, seja para governança, segurança,

06:26 infraestrutura, gestão e dados. Agora, tenho uma pergunta aqui. Para quem trabalha em empresas: quem aqui conseguiria obter um banco de dados ou uma VM em uma semana, se solicitasse? Certo. Quem não conseguiria? Certo, isso já é um avanço. Quem aqui conseguiria colocar uma aplicação nova em produção em uma semana? Uma aplicação nova. Certo. Quem não conseguiria? Certo. Então, ainda precisamos avançar. Quem consegue escolher um novo fornecedor de IA em uma semana? Ah, isso mesmo. Ninguém levantou a mão. Certo. Então, ainda leva tempo para passarmos por

06:58 todos esses processos. Eles certamente são melhores do que eram há 10 ou 20 anos no que diz respeito à transformação digital, mas muitas empresas ainda ficam travadas na governança e na segurança. E muitos desses problemas têm relação com os fatores aqui. Quem aqui já recebeu de algum executivo um pedido desse tipo? “Me dê um conjunto de dados perfeito.” [risos] Algumas pessoas, certo? Já vimos isso antes. “Ei, você pode extrair esse relatório para mim rapidinho?” Agora é muito mais fácil com IA, mas você precisa partir do princípio de que esses dados existem, certo?

07:32 passar por todos esses processos diferentes. Com certeza, estão melhores do que eram há 10 ou 20 anos na parte da transformação digital, mas muitas empresas ainda ficam emperradas em governança e segurança. E muitos desses casos têm a ver com os fatores aqui. Quem aqui já recebeu de um executivo algum pedido como este? “Me dê um conjunto de dados perfeito.” Certo? Algumas pessoas, né? Já vimos isso antes. “Ei, você pode buscar aquele relatório para mim rapidinho?” Agora é muito mais fácil com IA, mas você precisa partir do pressuposto de que esses dados existem, certo?

08:05 Então, se fizermos uma consulta mais complexa aqui, certo? Digamos que temos uma solicitação para um determinado paciente e sua condição — neste caso, uma lesão no tornozelo — e queremos garantir que possamos encaminhá-lo a um médico cujos resultados para os pacientes estejam entre os 50% melhores, certo? Dentro de um período recente. Essa consulta é bastante complexa, mas, se você pudesse simplesmente escrevê-la no seu conjunto de dados e obter esse resultado, certo? Eu ficaria impressionado, certo? Os dados são muito, muito desafiadores em um

08:37 ambiente empresarial. Para obter esse tipo de resultado e essas percepções, precisamos estruturar nossos sistemas de dados de uma maneira muito bem definida. Então, vamos falar um pouco sobre solicitações médicas. Em geral, agrupei os seguros com base nas classificações da NAIC. Temos seguros patrimoniais e de acidentes, de vida, de acidentes pessoais e de saúde, além de uma categoria mais ampla de seguros de saúde. Vou falar especificamente sobre seguros patrimoniais e de acidentes, porque, nesse segmento, as solicitações costumam ser as mais complexas.

09:10 Se pensarmos em seguros patrimoniais e de acidentes, trabalhei principalmente com o ramo de acidentes. Por exemplo, seguro de automóvel, vários tipos de responsabilidade civil, responsabilidade civil geral, responsabilidade por produtos e compensação dos trabalhadores. Também existe todo o ramo de seguros patrimoniais, que tem seu próprio conjunto de complexidades. Mas, em geral, este é um mercado de 1 trilhão de dólares, certo? Com base nos prêmios, e o resseguro tem suas próprias modalidades. Então, se pensarmos nesses quadros azuis, muitos deles lidam com solicitações médicas complexas. Alguém se machuca porque um produto está com defeito, alguém sofre um acidente de carro, alguém se machuca no

09:44 trabalho. Agora, a análise de uma solicitação e o envio de uma resposta ao paciente ou reclamante levam muito tempo. No melhor cenário, levam algumas semanas. No pior, podem se arrastar por alguns anos. Isso depende da complexidade da situação, da complexidade do ambiente regulatório e do quanto o ambiente é litigioso. E, mesmo depois que os serviços médicos são prestados, a solicitação pode continuar se arrastando. Portanto, esse não é um processo simples, e quero que todos nós imaginemos quanto mais

10:16 eficiente o sistema de saúde poderia ser se conseguíssemos reduzir esse prazo por um fator de 10, certo? Você se machuca no trabalho, envia o pedido, passa por esse processo, e tudo é digital, tudo flui sem problemas. Então, por que demora tanto? Há muitos pontos de transferência no processo, mesmo do lado médico, sem contar o lado jurídico e o próprio lado dos seguros, certo? Então, quando você se machuca em uma dessas situações e precisa ter cobertura para uma solicitação complexa, precisa receber um diagnóstico, precisa consultar vários

10:48 especialistas. Às vezes, os especialistas discordam, certo? Depois, é preciso garantir que você tenha a cobertura adequada, seja para atenção primária ou para uma dessas formas adicionais de responsabilidade civil. Há análises de utilização, nas quais os médicos precisam concordar entre si que um procedimento é necessário. Temos tratamentos, temos faturamento. Você tenta entender o que significa a sua conta, certo? Com a explicação dos benefícios e da cobertura. Você recebe os pagamentos e continua os tratamentos. Há muitas outras etapas que poderiam ser acrescentadas aqui e diferentes caminhos que o processo pode tomar, dependendo das etapas, mas, em geral,

11:20 não é um processo simples. E, ao longo do caminho, muitas coisas podem dar errado. Acabei de listar umas 15 que me vieram à cabeça de imediato, mas isso tem a ver com questões de RH e com as seguradoras, cujos reguladores de sinistros têm alta rotatividade e altas taxas de aposentadoria; tem a ver com a tecnologia e com as pessoas processando os mesmos dados repetidamente. Também tem a ver com os tipos de situação em que os reclamantes acabam se encontrando: ficam estressados, às vezes cometem erros e estão em uma situação em que

11:53 não agem racionalmente, certo? Porque, se você passou por um acidente de carro traumático, não vai ser a pessoa mais racional. Então, vamos falar sobre como a tecnologia pode nos ajudar. Vamos analisar uma solicitação de compensação dos trabalhadores. Alguém já viu uma solicitação de compensação dos trabalhadores? Algumas pessoas, certo. Normalmente, quando alguém se machuca, precisa comunicar o ocorrido no local de trabalho e também registrar a solicitação. Aqueles três formulários que mostrei, os do Texas, de Nova York e da Califórnia, são formulários típicos de registro inicial. E você passa por

12:26 esse processo de consultar várias pessoas, seja em um pronto-socorro, seja para receber tratamentos adicionais e assim por diante. E nem sempre sua solicitação é analisada antes de você receber as solicitações posteriormente. Ao passar por esse processo, há vários tipos de solicitações. Aqui, gerei algumas sintéticas como exemplo, mas são bastante parecidas com as que existem em produção. Então, você passa por todos esses tipos de tratamento, recebe diferentes tipos de procedimentos, pode estar dentro da rede ou fora da rede, pode

12:57 estar viajando para recebê-los, e às vezes também há informações conflitantes. E, à medida que passamos por cada uma dessas etapas, os documentos são todos diferentes. Cada hospital tem sua própria maneira de estruturar uma conta, certo? Cada médico tem uma maneira diferente de redigir uma nota de evolução. Não há consistência alguma, de forma nenhuma. É por isso que os dados não são estruturados e, muitas vezes, não chegam por meio de um fluxo eletrônico. São PDFs, e-mails, faxes. Então, você tem todas essas complexidades tecnológicas que se sobrepõem a toda a complexidade dos negócios

13:30 que está por baixo. Aí temos algo assim, certo? Alguém faz uma avaliação e há três resultados diferentes, certo? Por exemplo, para a amplitude de movimento de uma pessoa. Como você vai resolver isso para poder analisar a solicitação? E nem sequer acrescentamos a outra parte a isso. Enquanto esses processos médicos estão em andamento, também existe o risco de litígio. Em um processo litigioso, normalmente a seguradora fica do lado do

14:00 réu, e há o lado do autor. Agora, o lado do autor tem incentivos para lidar com o maior volume possível e obter o maior acordo possível. Então, você acaba em uma situação com duas estruturas de incentivos diferentes. Do lado do autor, a ideia é agir o mais rápido possível, fazer as maiores solicitações possíveis e colocar enormes outdoors por toda parte. Provavelmente vimos esses outdoors quando estávamos chegando de avião, certo? Por toda parte. E o lado do autor adotou a IA muito mais rapidamente do que o lado das seguradoras ou dos réus. Porque

14:33 você recebe uma porcentagem que depende da rapidez com que o processo avança e do valor da sua solicitação. A faixa da porcentagem de honorários dos advogados, dependendo da jurisdição, pode variar de 9% a 15% na Califórnia, para honorários de compensação dos trabalhadores. Em outras jurisdições, chega a um terço ou até 40%. Então, além dos desafios da saúde, dos seguros, da tecnologia e da administração, agora também temos o litígio, e as seguradoras reservam muito dinheiro para solicitações litigiosas.

15:07 O desafio aqui é que, se você não passou por uma transformação digital adequada, fica especialmente vulnerável a agentes mal-intencionados, certo? Podem enviar solicitações repetidas, podem enviar solicitações fraudulentas, e hoje isso ficou ainda mais fácil de fazer. Então, se você não consegue lidar com elas e processar as coisas com eficiência, há cada vez mais fraude no sistema, certo? É parecido com um site fácil de derrubar com um ataque DDoS, certo? As pessoas vão continuar lançando ataques DDoS contra você. E nos esquecemos do que mais importa enquanto começamos a resolver todos esses subproblemas,

15:40 certo? Então, estas são as coisas que mais importam em termos da qualidade do atendimento de alguém, da redução de custos, de garantir que o processo seja rápido e de proporcionar uma boa experiência. Então, vamos analisar e resolver alguns desses problemas. Vou falar sobre três fases diferentes e como elas podem ajudar. Primeiro, vamos falar sobre dados limpos e como podemos obtê-los. Segundo, vamos falar sobre análise dentro de documentos; depois, vamos falar sobre fatores entre solicitações. Certo, dados limpos. Alguém aqui já trabalhou com dados de solicitações?

16:11 antes ou algum tipo de dado de seguro? Poucas pessoas. Certo. Quantos registros duplicados vocês processaram ou encontraram? Muitos? É, milhões, certo? Dependendo da jurisdição em que você atua, eles podem chegar a 50% ou até mais, certo? Então, chegam muitos registros duplicados, e às vezes isso é intencional, certo? Às vezes, para conseguir que um sinistro seja processado, você precisa ficar cobrando as pessoas, certo? “Quero saber do meu sinistro, quero saber do meu sinistro”, certo? Então, como as pessoas são

16:41 lentas, você acaba entrando nesse tipo de efeito cascata de falhas que vemos na tecnologia. Registros misturados com os de outros pacientes, certo? Você tem o Bob Joe e o Bob Joe Jr., certo? Os prontuários médicos acabam sendo misturados com bastante frequência. Isso viola a HIPAA. Há muitos riscos regulatórios envolvidos, mas o sistema e a transformação digital não estão preparados para isso. E decisões podem acabar sendo tomadas com os prontuários médicos de outras pessoas misturados, certo? Isso é especialmente delicado quando se trata de um sinistro muito complexo, em que coisas podem passar despercebidas.

17:14 O prontuário de alguém é misturado por um médico ou administrador em uma etapa anterior e, de repente, o sinistro inteiro desmorona. Depois, temos os problemas mais esperados: dados mal digitalizados ou que não foram digitalizados. Certo? Há caligrafias que você não consegue entender, sem falar na letra dos médicos, certo? Algumas coisas chegam em papel. Então, continuamos encontrando exemplos de dados mal organizados, e isso acontece por muitos motivos, certo? Parte disso acontece porque há muita coisa sendo copiada e colada no

17:45 sistema médico, certo? Você passa por médicos ou enfermeiros atualizando os prontuários médicos, certo? Eles copiam e colam informações entre pacientes. Também copiam e colam informações entre consultas. Talvez você já tenha passado por isso pessoalmente, mas acontece muito nessa área. Os EMRs, na verdade, não são padronizados. Alguém aqui já viu um EMR antes? O próprio prontuário médico, certo? Alguém já mudou de prestador ou de rede? É. Eles são iguais? Não, não são iguais. Hum.

18:16 Sou de Toronto, no Canadá, e muitos dos nossos hospitais fazem novas implementações do zero sempre que configuram um EMR. Isso costuma acontecer tanto por causa dos processos iniciais existentes em um hospital [fungada] quanto dentro da própria rede. Há dinâmicas muito interessantes por trás dos motivos de algo ser configurado de determinada maneira. E, se quisermos falar de qualidade dos dados, as pessoas fazem coisas bem estranhas nos EMRs com campos aninhados. Então, embora tenhamos prontuários eletrônicos e sistemas médicos,

18:46 todos são diferentes e estruturados de maneiras estranhas, então também é preciso fazer algumas transformações neles. E muitas vezes é difícil extrair os dados, então as pessoas simplesmente preferem enviar fax ou PDFs no fim das contas. Portanto, resolver o problema dos dados limpos não é fácil. A IA pode nos ajudar, a transformação digital pode nos ajudar, mas há muitos fatores envolvidos nas etapas anteriores. Então, este é um exemplo de dados ilustrativos de registros duplicados. Dados reais também são bem parecidos, com um grande número de duplicatas em certas redes. E isso é realmente frustrante se você

19:19 recebe esses registros duplicados, certo? Temos vários clientes que dizem: “Essa organização pode parar de nos enviar tantas duplicatas, por favor?” E, a menos que você tenha bons sistemas para detectar isso, continua recebendo os mesmos dados de baixa qualidade. Por isso, é muito importante ter essas implementações técnicas e sistemas de detecção para garantir que você consiga proteger a qualidade dos dados do seu próprio conjunto de dados. Agora, depois que você tem esses dados, há mecanismos para corrigir as coisas, certo? Por motivos regulatórios ou interpessoais, certo?

19:50 Mas esses dados desorganizados continuam existindo como ponto de partida. E, quando você consegue detectar coisas como duplicações — que, mais uma vez, parecem um problema já resolvido —, deixa de incentivar práticas como enviar sinistros várias vezes, com datas diferentes, ou o mesmo sinistro, ou então as outras pessoas também precisam limpar os próprios dados. Além da qualidade dos dados, outro problema é que esses sinistros são realmente extensos. Quando comecei a trabalhar e vi no nosso

20:22 banco de dados um PDF de 8 GB, fiquei muito surpreso. Esses sinistros têm de tudo. Têm imagens, certo? Pense em acidentes de carro, certo? Há imagens do local da lesão, das colisões e assim por diante. Há laudos de raio X, ultrassons, tudo o que você imaginar. E às vezes isso simplesmente trava muitos leitores de PDF. Se você pensar em alguns computadores antigos que talvez tenha, tentar abrir um PDF de 8 GB vai ser bem

20:54 difícil. E isso vale até para os sistemas tecnológicos, certo? Falamos de context windows o tempo todo. Como você vai encaixar o contexto em uma context window de um PDF de 8 GB, certo? Não é tão simples quanto dizer: “Ei, Claude, dê uma olhada no meu PDF de 10 páginas e me dê uma resposta”, ou “Ei, ChatGPT ou Gemini”, certo? Não é tão fácil. E, além disso, analisar um caso e trabalhar nele exige bastante tempo. Então, há desafios técnicos ou desafios de negócio que acabam resultando em desafios técnicos muito complexos.

21:25 Agora, à medida que vamos acrescentando cada vez mais complexidade a isso, muitos desses sinistros também têm irregularidades. Por exemplo, você pode ter anotações de evolução de um relatório anterior do paciente dizendo: “Olha, este raio X foi agendado para esta data.” Você recebe o pacote do reclamante, e esse raio X não está lá, certo? É muito fácil deixar isso passar se essa informação não estiver destacada de alguma forma. E, sem isso, mais uma vez, toda a trajetória de um caso pode mudar: se os cuidados foram adequados, se a pessoa realmente foi ao prestador de cuidados e como cruzar essas informações com

21:59 a parte do faturamento. Então, esse é um cenário muito comum em que, mais uma vez, por causa da desorganização dos dados nas etapas anteriores, você precisa pedir repetidamente: “Pode me enviar esse registro?” “Ah, esquecemos de mandar por fax.” “Ah, o fax deu problema.” “Ah, mudamos nosso sistema de backend.” Então, como organização, você precisa ter essas linhas de defesa para garantir que esses problemas sejam sinalizados. E um regulador de sinistros pode estar processando 200 sinistros ao mesmo tempo. Então, não vai conseguir guardar tudo na cabeça e pensar: “Ah, é mesmo, preciso acompanhar esse raio X ou não.”

22:29 Pode fazer anotações e seguir em frente, mas algumas coisas vão se perder. Mais uma vez, é aqui que a tecnologia pode ajudar muito a resolver esse tipo de problema. Depois, há diagnósticos conflitantes. Isso também acontece com bastante frequência. Quem aqui já procurou uma segunda opinião para um problema de saúde? Algumas pessoas, certo? Às vezes, procuramos uma segunda opinião para obter outra perspectiva. Às vezes, recebemos respostas completamente diferentes, certo? E

22:59 quanto mais complexo o sinistro, maior a probabilidade de haver algum tipo de conflito. Nesse caso, o que costuma acontecer é que, ao analisar um sinistro médico e encontrar um diagnóstico conflitante, ou ao querer confirmar quanto você deve reservar para pagar o sinistro, você o encaminha para uma IME, uma avaliação médica independente. Então, outro médico analisa o arquivo. E você precisa gerenciar esses médicos, as redes de prestadores e a própria IME. Assim, estamos acrescentando mais uma camada. Mais

23:32 pessoas ao ecossistema, mais complexidade. A IA pode ser bastante útil aqui, e acho que seria de mau gosto dar uma palestra em 2026 sem falar de evals. Mas usamos IA para tentar resolver alguns desses problemas, como diagnósticos conflitantes, registros ausentes e vários outros. Então, criamos esse benchmark chamado MLCR, com a Artificial Analysis, para medir a eficácia da IA em responder a essas perguntas.

24:03 Então, vamos para a publicação do nosso blog de que falamos, e vou rolar a página até vermos como é esse benchmark. Lançamos seis níveis diferentes de perguntas relacionadas a sinistros médicos. Algumas são muito simples, como: quando aconteceu essa lesão e qual foi a lesão, certo? Depois, elas ficam um pouco mais complexas. Quantas cirurgias foram realizadas? Qual é a capacidade desse paciente? E, por fim, chegamos a perguntas cada vez mais complexas, ainda mais difíceis de resolver. E, muitas vezes,

24:35 a maneira como você faz uma pergunta como regulador de sinistros, médico ou administrador não dá todo o contexto do que está acontecendo. É aí que vemos alucinações surgirem: as pessoas presumem que algo consta no prontuário médico, mas não consta. Vamos olhar um pouco mais os resultados. Eles estão disponíveis no site Artificial Analysis. Se quiser conferir, lançamos um conjunto de dados open source para os três primeiros níveis de perguntas, os mais fáceis. E temos um conjunto privado que hospedamos com a Artificial Analysis para evitar que os benchmarks sejam feitos até certo

25:08 ponto. Então, é muito interessante ver como os modelos se saem. Na verdade, medimos isso em três eixos diferentes. Vou voltar àquele slide. Medimos a concisão: quão concisa é uma resposta? Comparamos com uma resposta validada por um especialista humano. Depois, avaliamos a precisão: a resposta está correta? E a última medida é a completude: todas as informações relevantes foram respondidas na pergunta?

25:40 Então, voltando aqui. A fronteira continuou evoluindo muito, muito rapidamente, e é por isso que ter evals é realmente importante. Quando lançamos a avaliação, a maior precisão que observamos nos níveis de raciocínio que tínhamos era de 20%. Alguns meses depois, chegamos a 75% com níveis de raciocínio muito altos. Certo? Os modelos evoluem muito rapidamente, mas isso é ótimo, porque significa que podemos começar a transformar em produtos várias das perguntas mais complexas. E temos mais certeza sobre a confiança necessária para que alguém revise isso dentro de um sistema. Então, no nosso sistema, sempre há um humano no

26:13 ciclo. Isso é realmente importante. Também começamos a ver as curvas de custo aqui nas fronteiras de Pareto, mostrando o custo de fazer essa pergunta e obter uma resposta adequada. E isso também vem melhorando nos últimos meses. Há também algumas dessas compensações. Uma das coisas interessantes que observamos ao executar esses benchmarks de análise de documentos foi que os modelos GPT eram excelentes em precisão, mas omitiam algumas informações importantes. Os modelos da Anthropic eram bastante bons,

26:43 e muito mais completos quanto à quantidade de informações. Eles também têm uma precisão um pouco menor aqui. >> Posso fazer uma pergunta? >> Claro. >> Como vocês medem a precisão em comparação com o fator humano? >> Sim, comparamos com uma resposta humana e depois fazemos a verificação por três juízes. Então, sim. Aqui temos a precisão. Você pode ver como é a curva, e temos a completude, que ainda não foi resolvida pela maioria dos provedores de modelos. E sim, voltando à pergunta anterior,

27:13 isso se baseia em uma resposta verificada por humanos e em um conjunto calibrado de juízes. Na publicação do nosso blog, descrevemos os métodos que usamos e também publicamos um acompanhamento sobre como fizemos essa calibração. Então, embora estejamos usando IA para estruturar nossos dados e extrair informações importantes, queremos garantir que cada etapa desse processo esteja bem calibrada, porque, se os dados na etapa anterior estiverem incorretos e você começar a usá-los nas etapas seguintes, certo? Você não ganhou nada. Então, mais uma vez, é muito importante calibrar seus juízes ao longo do processo de

27:47 sinistros e criar bons evals. Acho que esse é um tema recorrente no Ed Most Talks. E é importante garantir que você tenha especialistas capazes de verificar essas informações; por isso, é preciso trabalhar em diferentes equipes para chegar lá. Certo. Isso é dentro de um sinistro. Sabemos que, com certo grau de certeza, podemos extrair alguns tipos de informação. Podemos sinalizar diagnósticos conflitantes. Podemos deduplicar. Podemos procurar registros ausentes. Vamos passar para algo mais interessante: os sinistros cruzados.

28:19 Certo? Se você é uma seguradora de médio porte, pode estar arrecadando US$ 1 bilhão em prêmios dentro de uma carteira de ramos de negócio. E pode estar pagando, digamos, 20 mil sinistros por vez, por ano, ou até mais, dependendo do ramo de negócio com que trabalha. Agora, você quer ter mais clareza sobre o que realmente está afetando sua taxa de sinistralidade. Que tipo de sinistros as pessoas estão apresentando? Em quais regiões? Que tipos de lesões? E que tipos de médicos estão

28:49 envolvidos. Acho que é aí que fica bastante interessante: depois de extrair os dados do sinistro, você consegue criar visualizações e regressões interessantes e também fazer análises. Certo? Duas das perguntas que nos fizeram e que trabalhamos para responder são: quanto as pessoas viajam dentro de uma rede? Se um paciente está, digamos, em San Francisco ou New York, ele recebe tratamento na região onde mora? E essa é a pessoa certa para prestar o tratamento? Também temos essas

29:20 redes de quem está trabalhando com quem. Estes são alguns dados anonimizados, um subconjunto da Califórnia, e você consegue acompanhar quais advogados trabalham juntos, quais médicos trabalham juntos, quais quiropráticos e fisioterapeutas trabalham juntos, e como é, de fato, a relação de trabalho e a história dentro do próprio sinistro. Esse é o tipo de informação de nível mais avançado que você pode obter ao extrair dados do seu sinistro. Depois, chegamos a alguns resultados médicos interessantes. Quais condições ocorrem juntas? Se alguém tem uma lesão nas costas, por

29:53 exemplo, pode haver uma série de diagnósticos diferentes que podem ser associados a códigos ICD e que coexistem. E você pode perguntar: por que isso aparece no relatório de um determinado médico, mas não no de outro? Neste caso, mais uma vez, você só consegue esses recursos se resolver o problema da extração de dados de um sinistro e, depois, agregar os dados à sua carteira de seguros mais ampla. Agora chegamos à parte do dinheiro. Então, pegando aqui um pequeno subconjunto de

30:26 dois tratamentos de fisioterapia: médicos diferentes cobram valores diferentes, certo? Provavelmente já vimos isso. E, às vezes, tudo bem. Se você é um médico melhor, deve poder cobrar mais, certo? Se consegue ajudar alguém a se recuperar o mais rápido possível, com cinco tratamentos em vez de dez, deve poder cobrar mais, certo? Mas é muito importante entender os custos e se concentrar em reduzi-los, porque, assim que há inflação de custos em diferentes partes do sistema médico, ela continua se acumulando. Os prêmios aumentam, as taxas que nos cobram aumentam, e recebemos menos pelo nosso dinheiro. Então,

30:59 nesta análise, você pode ver, entre os sinistros, se há algum fator consistente. Qual é o nível de cobertura que você deveria oferecer? Como deveria calcular esses custos dos sinistros? Você também pode estimar como as coisas vão mudar com o tempo. Por exemplo, de um ano para o outro, houve um aumento de 10% nesse tipo de tratamento para determinado médico. Isso vai acontecer em toda a jurisdição? Vai acontecer em todo o setor?

31:30 Então, você pode começar a fazer análises contrafactuais ou analisar mudanças para perguntar: se mudarmos nossa rede, se começarmos a direcionar as pessoas para uma determinada opção, se mudarmos a forma como fazemos a cobrança, certo? Que economias potenciais existem? E que procedimentos as pessoas deveriam receber, de acordo com o padrão de atendimento vigente? Recentemente, houve um artigo sobre — alguém viu o artigo sobre cobranças excessivas, com US$ 1 bilhão em cobranças adicionais? Alguém viu? Esses são exemplos em que, mais uma vez, se

32:02 Se você não consegue processar os dados de forma eficaz, as pessoas vão encontrar maneiras de passar por isso e enviar registros adicionais, ou adotar comportamentos mais duvidosos também. Então, tudo isso para dizer que, quando você tem dados bons, pode começar a tomar essas decisões. E, depois de ter essa decisão, essa informação sobre sinistros, pode começar a inseri-la em um sistema mais amplo, certo? Assim, você pode começar a usar isso em outras linhas de negócio, dizendo: se sabemos que essas são as tendências em lesões automobilísticas…

32:33 ou em indenizações trabalhistas, estamos vendo a mesma coisa em responsabilidade civil geral? Se sabemos que nosso modelo de subscrição está deixando passar certas tendências ou que não temos tanta explicabilidade nele, podemos tornar o modelo mais explicável com base no que estamos observando? Como fornecemos essa espécie de tabela de dados mágica que gostaríamos que existisse no nosso data lake? Então, novamente, quanto mais dados você tem, mais completa é a visão que consegue formar e melhor consegue fazer a subscrição e definir o preço do produto para o consumidor, no fim das contas.

33:04 E essas são as informações de que você precisa para viabilizar aplicações eficazes de IA, seja na área de subscrição, na de fraude ou também na de sinistros. Então, se pensar em um mundo ideal, certo? Queremos reduzir algo de forma mais ampla. Se queremos reduzir os custos para todo mundo, levando em conta a experiência do paciente. Se queremos reduzir o tempo que um sinistro fica em aberto. Se queremos melhorar a rapidez com que as pessoas voltam ao trabalho e o tratamento que recebem,

33:34 precisamos garantir que temos os dados certos e a transformação digital adequada para isso. Este é um exemplo ilustrativo do trabalho que também fizemos na Wisedocs. Observamos economias significativas. Portanto, passar por esse processo de transformação digital e ter os dados certos é muito, muito importante. Vou encerrar o workshop por aqui. Queria deixar bastante tempo para perguntas, porque é um tema bem abrangente. Obrigado por ouvirem, e fico à disposição para responder a algumas perguntas.

34:05 [aplausos] Sim, vou compartilhar a publicação do blog. Sim, pergunta aqui. A pergunta era como estruturamos os dados para criar todas essas informações. Isso passa por vários níveis diferentes. Também vou compartilhar algumas palestras que dei sobre o tema. Na base, usamos OCR e imagens para extrair informações dos registros originais. É um pré-processamento mais ou menos padrão. Pré-processar PDFs também não é uma tarefa fácil, para quem já trabalhou com eles. Aqueles arquivos de 8 gigabytes têm alguns…

34:39 exemplos estranhos, daqueles que ocorrem uma vez em um milhão. Então, depois que temos os dados, o texto e as imagens, aplicamos uma série de modelos por cima: modelos de NLP, modelos de extração. Às vezes usamos VLMs para estruturá-los; um modelo mais padrão de extração de entidades também funciona bem. Criamos vários classificadores por cima. Depois, temos uma camada de resumo que fica acima disso para resumir os documentos. Em seguida, um humano verifica as informações para garantir que estão corretas. Por fim, executamos camadas adicionais de análise sobre esses dados. Então, temos esse padrão de abstração que vai concentrando a densidade das informações conforme você sobe de nível,

35:12 mas os dados são verificados em vários momentos, com diferentes modelos e também com intervenção humana. Isso significa que, quando se chega ao topo, aos itens de maior valor, é aí que a IA pode ser eficaz. E são aquelas perguntas do tipo MLCR, que podem ter a resposta certa. No MLCR, na verdade, são usados dados limpos para fazer essas perguntas. Os dados do mundo real não são limpos, então é preciso executar várias etapas antes disso para limpar os dados e chegar lá. Normalmente, nossos clientes… Bem, os clientes maiores têm várias linhas

35:44 de negócio internamente, e têm regras diferentes, eu diria, para compartilhar informações entre equipes. Outros clientes trabalham em apenas uma linha de negócio. Podem atuar somente com automóveis, somente com invalidez ou somente com indenizações trabalhistas. Mas analisamos as tendências em todas as áreas para tentar identificá-las e sinalizá-las. Então, surge a questão: dentro de um escritório, por exemplo, como você apresenta alguns desses insights ou informações por região? Depois há a camada acima, que pode ser a empresa como um todo, mas as companhias de seguros também têm, às vezes…

36:15 uma coleção de empresas dentro delas, como negócios separados. E como, então, alimentar isso em um data lake centralizado? Novamente, cada empresa é um pouco diferente, mas avançamos na velocidade que nossos parceiros desejam. Atuamos na área de sinistros. Nosso foco são os sinistros. Sinistros são nosso ganha-pão, especificamente os sinistros complexos. Todo o nosso pipeline de IA é voltado para isso. Mas, à medida que evoluímos e resolvemos os desafios mais simples, eu diria, relacionados a adjudicar um sinistro, processá-lo e extrair essas informações,

36:46 começamos a perceber aspectos mais esclarecedores, que ajudam as organizações a tomar decisões no nível do portfólio. Sim. Sim, é uma boa pergunta. A pergunta é: como fazemos a integração de alguém quando há tantos desafios? Normalmente, o mais importante é a disposição para mudar, certo? Provavelmente todos nós já trabalhamos com equipes ou organizações que querem mudar e com outras que não querem. A experiência é muito, muito diferente. Então, supondo que seja uma organização que queira mudar, haverá alguns arquivos de amostra

37:17 com os quais vamos trabalhar, normalmente em vários formatos. Em geral, as pessoas nos enviam documentos com os quais estão trabalhando no momento ou que estão tentando usar para fazer um backtest. Depois, fazemos uma análise para ver o que vocês extraíram, o que nosso sistema extraiu e como as duas coisas se alinham. As informações correspondem ao que vocês querem ver? Vocês têm padrões diferentes? Por exemplo, se voltarmos aos diferentes tipos de documentos aqui, vamos voltar ao formulário de entrada. Pode haver várias datas nesse

37:47 formulário. Vocês querem a data da lesão ou a data do relatório, quando ele foi enviado? São questões de alinhamento dos objetivos de negócio. Passamos por alguns casos padrão. Se tudo funcionar bem, iniciamos um piloto mais amplo e, depois, chega a parte divertida da integração com provedores upstream, além dos documentos carregados manualmente: integrações por API, lidar com toda essa complexidade. Desde que haja um resultado de negócio e um objetivo de transformação claros, o processo é relativamente simples. E, novamente, à medida que avançamos nessa

38:19 jornada, às vezes não temos os recursos necessários prontos para uso, às vezes temos, e, às vezes, há várias integrações com sistemas internos também. Então, vamos começar pela primeira parte da pergunta, que é sobre lidar com as regulamentações e como trabalhamos com parceiros. Isso depende da velocidade com que as pessoas estão avançando. Também depende da velocidade com que as regulamentações estão mudando. A forma como configuramos o sistema atualmente exige sempre que uma pessoa participe da decisão. Por exemplo, apresentamos insights sobre casos como um diagnóstico conflitante…

38:50 Vamos dizer: “Ei, na página 2 e na página 20, há uma divergência entre os diagnósticos desses dois médicos. Você deveria dar uma olhada, certo?” Enquanto houver uma pessoa participando do processo, eu diria que isso elimina cerca de 70% das preocupações regulatórias que as pessoas têm. A regulamentação também ainda está tentando acompanhar o ritmo, então há muita coisa para ler, como os relatórios da NAIC que mencionei. Essa organização publica vários relatórios diferentes. Há diretrizes que se aplicam a isso. Também conversamos com as equipes internas de governança e regulamentação. E, se eles…

39:22 querem ver algumas informações, por exemplo, vamos compartilhar com eles como funciona o pipeline de IA, certo? Este é o tipo de dado que está sendo usado. Mas, no fim das contas, desde que você não crie uma caixa-preta, que tudo seja auditável e que haja uma pessoa no processo, isso dá conta de muitas coisas. No lado regulatório, existe todo um outro aspecto relacionado a decisões de negócios, como a maneira de lidar com veredictos nucleares. Veredictos nucleares são indenizações ou reivindicações muito altas, de US$ 10 milhões ou…

39:54 e os termonucleares, que são de US$ 100 milhões e realmente redistribuem as reservas das empresas. Então, para esses casos, normalmente as pessoas chegam com uma abordagem sobre como querem lidar com eles. E, na plataforma, você pode dizer: “Vou lidar primeiro com minhas reivindicações mais complexas.” Ou: “Vou lidar com a que foi enviada primeiro.” Essas são decisões de negócios que as pessoas podem tomar. A segunda parte da pergunta é sobre as metas internas das organizações. Queremos trabalhar com parceiros que compartilhem a mesma mentalidade de melhorar o atendimento aos pacientes, reduzir…

40:25 os acúmulos de reivindicações e tomar as melhores decisões. Muitas vezes, nossos clientes nem estão pensando tanto no custo dos cuidados de saúde em si, mas em tudo que o cerca, certo? Então, se você é uma grande seguradora, na verdade gasta centenas de milhões de dólares com honorários jurídicos. Certo? Isso nem sequer está ligado à experiência do paciente, mas há muito espaço para otimização e para agilizar as coisas. Certo? Há preocupações regulatórias: em certas jurisdições, como a Califórnia, há muitos litígios.

40:58 Você quer descobrir como lidar com isso. Há também muitos intermediários envolvidos, que também são ineficientes. Então, dependendo do cliente, cada um tem um objetivo diferente. Mas, nas nossas conversas, sempre foi assim: temos esse problema muito evidente para resolver com tecnologia. Vamos resolver isso primeiro. E, de novo, depois começam a surgir percepções como: “Ah, eu não sabia disso sobre o meu negócio. Vamos resolver isso depois.” Então, sim, a pergunta é sobre APIs de decisão no Jv. Como parte do… Não sei se alguém viu as cópias do artigo…

41:30 sobre notícias de IA que a conferência está distribuindo. Na verdade, estou escrevendo um artigo para isso. Temos usado modelos de classificação há bastante tempo. Em geral, tenho uma opinião forte sobre isso. Ela ainda não foi publicada hoje; vai sair numa edição posterior. Acho que é muito útil, mas LLMs não são a solução certa para tudo, certo? Então, quando conversamos sobre isso, esse segmento da IA também pode ser dividido, certo? Classificação, extração, em contraste com os modelos mais complexos, baseados em decisões. Então, para…

42:02 nós, o custo é realmente importante. Por isso também treinamos nossos próprios modelos. A precisão também é muito importante, assim como as alucinações. Acho que o Jv não ficou tão surpreso com o resultado. A surpresa foi mais com o tempo que levou, porque acho que o fenômeno de usar o raciocínio máximo por token de LLM para todo problema durou muito tempo, até começarmos a pensar muito mais nos custos neste ano. Então, quando o Javis apareceu, você já podia testá-lo. Mas nós construímos nossos próprios modelos seguindo o mesmo paradigma. Então…

42:32 Sim, vou responder à segunda parte. Como organização, ainda não transformamos o setor como um todo na medida que gostaríamos, certo? Então, não podemos dizer que reduzimos em cinco dias, em média, o tempo de processamento de reivindicações para todos os pacientes. Adoraríamos poder dizer isso. Ainda não estamos nessa posição. Para organizações específicas, temos alguns estudos de caso no site. Coloquei rapidamente alguns deles na tela também. Há resultados significativos em determinados ramos de negócio, tanto na redução de custos quanto na agilidade. Então, você pode…

43:02 consultar esses casos, e podemos conversar depois também, se você estiver procurando um contexto mais específico sobre isso. Sim, então o primeiro aviso de lesão ou de sinistro — dependendo também do subdomínio. Sim, dependendo da jurisdição, há também prazos de resposta para lidar com esses casos. Por exemplo, no Texas, você tem apenas algumas horas para processar uma reivindicação e dar uma resposta. Em outros estados, pode ser necessário responder em 7 ou 21 dias. Agora, fica mais complicado porque, se você é um…

43:35 trabalhador que atua numa fábrica há, digamos, 30 anos e tem 60 anos, vai ter um prontuário médico extenso, certo? Então, há muita informação aqui e no relatório inicial, mas, para fazer uma análise completa da reivindicação, você precisa voltar e tentar recuperar esses registros. Talvez seu nome tenha mudado porque você se casou. Talvez você tenha mudado de cidade ou de prestadores de serviços, certo? Então, também é preciso reconstruir esse histórico completo. E acho que, infelizmente, em muitos casos litigiosos, informações também são omitidas de propósito…

44:08 devido ao fato de que muitas organizações não passaram pela transformação digital e não conseguem processar os casos com rapidez suficiente. Então, se isso fosse tudo de que precisamos, seria muito mais rápido. Mas, infelizmente — ou, para sermos mais realistas —, há também um histórico muito mais amplo.

Transcrição original

[00:01] [music] >> All right, thank you for joining the last workshop of the day. So, I’m Dennis. I’ll be sharing a little bit about insurance claims data and how powerful it can be for enterprise-wide AI programs. So, let’s get started. So, who here works in insurance? Few people. Who here wants to work in insurance?

[00:33] Okay, interesting. Few people. All right. So, insurance is a very interesting sort of sector of our economy where people sort of find their way working there, but it powers such a important part of our ecosystem. So, we’re going to talk a little bit about insurance as a whole. And we’re ultimately going to focus this talk on how do we improve our lives in general? So, we’ll focus on medical claims, we’ll improve the claim and patient outcomes as a focus of this talk, and I’ll keep bringing that back. I think often times in a lot of fintech

[01:06] sort of finance insurance discussions, sometimes things can get a little bit too business focused. So, I always want everybody to to focus on this aspect. So, a little bit about myself. I’m Dennis. I lead the AI program at Wisdocs. We help companies with their complex medical claim processing. Been with the role in in the role for 2 years now, and we’ve seen a huge amount of transformation since 2024. So, you might have seen some of the news coverage in terms of medical coverage and insurance in general. The whole GLP-1 transformation in our economy, in our

[01:39] health care environment has changed how insurance is pricing things as well. We also see that spouse insurance and broadly insurance coverage has continued to evolve with increasing costs and other factors that change the the approach of insurance. So, the talk is going to focus on three main chapters. The first one is on the technology transformation that we have. The second is I’ll go a little bit into the insurance space in terms of some of the call it nitty-gritty, but sort of a a brief introduction there. And then also I’ll talk about how AI is going to help make

[02:10] insurance and the patient experience even better. Let’s talk about technology transformation. So, we all probably in our work have started some form of digital transformation within our companies, whether we work in smaller startups or with in larger enterprises. Now, the challenge with that is that we never finished this transformation. AI hit us in 2023 and 2024, but most companies have not finished their cloud migrations, have not finished leveraging big data to its full potential, have not deployed a clean data lake, right? Who here has a data lake they’re proud of?

[02:44] All right. Very very few people. Is it even possible to have a data lake you’re proud of, right? And on top of that, we’re now getting all this hype about AI, and we need to really make sure that we have the other prerequisites down before we can actually deploy real applications. So, in insurance and many other industries, paper was the big way of processing things, right? You’d get a stack of papers of going through a medical claim. You’d organize it. You’d have these giant tables full of them. You’d use cards to put in certain sections.

[03:15] And this is very difficult to actually get any anything outside of the claim itself, because how do you do cross-claim analysis when everything is paper, right? You could put as many folders as you want, but it’s very difficult. Now, we still have not exited the paper era. There are still a number of practices that they use paper around the world, whether it’s in the doctor’s office, in in legal departments, or within insurance companies themselves. So, we’re still not over paper, but we’re getting close. Now, in terms of digitizing, we are still also not over the fax machine. The

[03:47] The fax market is continuing to grow. It’s over $7 billion globally, which is always surprising. I referenced this in my talk at An Engineer SF last year and it has not changed. Fax is still being used. Now, what we’re doing now is we’re jerry-rigging faxes into our digital systems where we can convert them in a fairly clean format, but it still does not solve the problem of how we actually exchange information in the health care system. Now, if we think about how quickly technology has been adopted, EHRs,

[04:18] electronic health records, uh we’re only at 8% adoption in 2008. And it only with the the COVID pandemic did we actually hit the ’80s and ’90s in EHR adoption. And again, many hospitals still run on paper. So, we’re still not fully through this digitization, digital transformation era, and yet everybody wants to do AI. If we think about the types of forms people receive when when doing claims processing, these are some three sample forms from three large states for workers

[04:51] compensation. So, workers compensation is if you get hurt at work, you file a claim saying, “Hey, I hurt my arm falling down or I was driving a forklift and then something went wrong.” And none of these forms look the same, right? So, within 50 different states in the US, you have 50 different types of forms generally. They all ask for different information. They’re not standardized. They’re fairly standardized in that every form that comes in looks the same, so you can have some determinism there, but even then the information is different. So, even as a country in the

[05:23] US, let alone any other country in the world, we don’t capture information in the same way and these versions sometimes change as well. If we talk about what people [snorts] care about in the insurance space is a loss ratio, right? So, how many premiums are you collecting and how much money are you paying out? So, I’ll talk a little bit more about the these numbers here and what they mean, but in general, this is what drives the bottom line of an organization, right? When you report a quarterly earnings or an annual earnings, you’re going to be emphasizing

[05:53] what is your loss ratio, how well can you predict risk, how well can you underwrite, how how well are you managing fraud, how well are you managing your expenses. And so companies want to keep costs down and make more money, right? That’s just capitalism in general. Um and if we think about some of the statistics here, we we generally uh hover around the 50% um loss ratio here in terms of the amount of money we have to pay out for insurable claims uh compared to the premiums we get. Now I’m I’m introducing all of these sort of pieces of context and I’ve only

[06:26] said AI once so far in my talk. And it’s really important again to think about the problem that we’re trying to solve and then only choose AI if it’s the right solution. Now for AI uh to get proper AI solutions, we need to go through the right amount of transformation, right? We need to have the right goals in mind. We need to have a team that can actually articulate what we want to do with AI. We can’t just have people get on stage and say AI AI AI, right? We need the right people skills to actually accomplish this transformation and we need the right frameworks in place, whether it’s governance, security,

[06:58] infrastructure management, and data. Now there’s a question here. Um for those working at an enterprise context, who here could get a database or a VM within a week if they requested it? Okay. Who could not? Okay, that’s progress. Who here could deploy an application to production in a week? A new application. Okay. Who could not? Okay. So So we we still need some progress. Who can choose a new AI vendor in a week? Ah, there we go. No hands. Right. So it still takes time for us to

[07:32] go through all these different processes. Uh they’re certainly better than they were 10, 20 years ago in the digital transformation component, but a lot of companies still get stuck in governance and security. And a lot of those have to do with with the factors here. Who here has been asked for some kind of query like this from an executive? Give me some data set that is perfect data. Right? A [laughter] few people, right? We we we’ve seen this before. Hey, can you pull that report for me quickly? Um it’s much easier now with AI, but you need to assume that that data exists, right?

[08:05] So, if we come up with a more complex query here, right? Uh let’s say that we we have a claim and for a given patient and their condition, uh in this case, uh an ankle injury, we want to make sure that we can assign them to a doctor who has top 50% tile uh patient outcomes, right? Within some recent time frame. Now, this query is fairly complex, but if you could actually just write this query on your data set and get that result, right? I’d be amazed, right? Data is very very challenging in an

[08:37] enterprise environment. So, for us to get these kind of outcomes and get these kinds of insights, we have to structure our data systems in a in a in a very well-defined way. So, let’s talk a little bit about about medical claims. So, in general, I’ve grouped uh insurance based on the the NAIC uh classifications. We have property and casualty, life, accident, and health, and sort of broader health uh insurance. I’ll actually be talking about property and casualty, since there the claims are typically the the most complex.

[09:10] If you think about P&C, um I’ve mainly worked on the casualty side. So, uh auto uh insurance, uh various types of liability, general liability, product liability, workers’ compensation. There’s also the whole property side, uh which is its own uh set of complexities. But, generally, this is a $1 trillion market, right? Uh based on on premiums, and reinsurance is its own kind of forms. So, if we We about these blue boxes, many of these handle complex medical claims. Somebody gets hurt because a product is defective, somebody gets into a car accident, uh somebody gets hurt at

[09:44] work. Now, adjudicating a claim and getting a response back to a patient or a claimant takes a long time. In the best case scenario, it takes a few weeks. In the worst case scenario, it can drag on for a few years. Depending on complex the the scenario is, depending on complex the regulatory environment is, depending on how litigated the environment is. And even once you get the the medical services delivered, the claim can keep dragging on and on. So, this is not a simple process, and I want all of us to imagine how much more

[10:16] effective the the healthcare system could be if we could shrink this by a factor of 10, right? You get hurt at work, you you submit the application, uh you go through that process, and everything is digital, and everything is smooth. So, why does it take so long? There’s a lot of handoff points with getting even the medical side, not accounting for the for legal side, the actual insurance side as well, right? So, when you when you get hurt uh in one of these scenarios and have to be insured for a complex claim, you have to get the the diagnosis, you have to go to various

[10:48] specialists. Sometimes specialists disagree, right? Then you have to make sure that you have the right coverage, uh whether it’s primary care or one of these uh additional forms of liability. You have utilization reviews where doctors have to agree with one another that a procedure is necessary. Uh we have treatments, we have billing. You try to figure out what your bill means, right? With the explanation of benefits and coverage. You get the payments, and you have continued treatments. Uh there’s so many additional bubbles here that can be added and forks in the road, um depending on the steps, but in general,

[11:20] it it is not a simple process. And along the way, lots of things can go wrong. Uh I just listed around 15 that that come to mind immediately, but this has to do with the HR situations and insurance companies with claim adjusters having high turnover, high retirement rates, has to do with technology of people reprocessing the same data over and over again. Has to do with the types of situations we end up with where claimants are are stressed and sometimes make mistakes and are in the position where

[11:53] they’re not acting rationally, right? Cuz if you’re you’ve gone through a traumatic car accident, you’re not going to be the most rational person. So, let’s talk about how technology can help us. So, let’s go through a workers’ compensation claim. Has anybody seen a workers’ comp claim before? Few people, okay. So, typically when somebody gets injured, they have to report it within the workplace and then make a filing of that as well. Those three forms I showed, the Texas, New York, and California ones, those are typical intake forms. And you go through

[12:26] this process of actually visiting various people, whether it’s an emergency room, whether you have additional treatments, and so forth. And you don’t always have your claim reviewed until you get claims later on. Now, as you go through that, there’s various types of claims. Here I generated some synthetic ones as an example, but they’re they’re fairly close to what you have in in production. So, you go through you go through all these types of treatments, you get different types of procedures, you might be in network, you might be out of network, you might

[12:57] be traveling for these, and sometimes you have conflicting information as well. And as we go through each of these processes, all the documents look different. Every hospital has its own way of structuring a bill, right? Every doctor has a different way to write a progress note. It it’s not consistent in any way, shape, or form. So, this is why the data is unstructured and many times it’s not in an electronic feed. It’s a PDF, it’s an email, it’s a fax. So, you have all these technology complexities that layer on top of all the business complexity

[13:30] that lies underneath. Then you have something like this, right? Somebody does an assessment and there’s three different results, right? For let’s say the range of motion that somebody has. How are you going to resolve this in order to adjudicate the claim? Now we haven’t even layered the the other portion on top of this. While these medical processes are going through, there’s also the risk of litigation. So with an insurance, typically insurance is on the the

[14:00] defendant side of a litigated claim and you have the plaintiff side. Now the plaintiff side is incentivized to handle as much volume as possible and to get as big of a settlement as possible. So you actually get into a situation where you have two different incentive structures. So on the plaintiff side, go as quickly as possible, make the most the biggest claims possible, put up giant billboards everywhere. We saw those when we were flying in probably, right? all over the place. And the plaintiff side has actually adopted AI a lot more quickly compared to the insurance or defendant side. Because

[14:33] you get a percentage of how fast you move and how big your claim is. Now the range of the actual percentage of compensation for for lawyers depending on your jurisdiction can range from 9 to 15% if you’re in California for workers comp fees. In other jurisdictions, you get into that 1/3 territory or even 40%. So now on top of healthcare, on top of insurance, on top of technology challenges, on top of administration, you now have litigation and insurance companies settle aside a lot of money for for litigated claims.

[15:07] Now the challenge here is that if you have not gone through a proper digital transformation, you are especially vulnerable to to bad actors, right? So you can be sent repeated claims, you can be sent fraudulent claims as making that even easier to do right now. So if you don’t have the ability to actually handle those and process things efficiently, you get more and more fraud in the system, right? It’s similar to if your website is easy to DDoS, right? People are going to keep DDoS-ing you. And we forget about what matters most as we start solving all these sub-problems,

[15:40] right? So, these are the things that matter most in terms of the quality of somebody’s care, reducing costs, making sure it’s a quick process, and it’s a good experience. So, let’s go through and and solve some of these problems. I’ll talk about three different phases and how they can help. So, number one, let’s talk about clean data, how we can accomplish that. Number two, let’s talk about within document analysis, and then let’s talk about cross-claim factors. Okay, clean data. So, has anybody here worked with claims data

[16:11] before or any kind of insurance data? Few folks. Okay. How many duplicate records sort of have have you processed or have you seen? Many? Yeah, millions, right? Uh depending on the jurisdiction that you work with, they can be as much as 50% or even higher, right? So, you have so many duplicates coming in, and sometimes this is intentional, right? Sometimes to get a claims processed, you actually have to keep pinging people, right? Following up with my claim, following up with my claim, right? Uh so, because people are

[16:41] slow, you get into this sort of cascading failure effect that we see in technology. Commingled records with other patients, right? You have Bob Joe and you have Bob Joe Jr. Right? Those medical records get mixed in a at a at a fairly often occurrence. It violates HIPAA. There’s a whole bunch of regulatory risk for that, but the system and the digital transformation is not set up for that. And decisions can actually be made when other people’s medical records are are mixed in. Right? So, this is especially sensitive when there’s a high uh complexity claim where things can be missed.

[17:14] Somebody’s record gets mixed in by a doctor upstream or administrator and suddenly the whole claim falls apart. Then we have the the more expected items of poorly scanned or undigitized data. Right? You have some some handwriting that you can’t understand, let alone doctor’s handwriting, right? Some things come in on paper. So, we we keep getting these poorly uh clean data examples and they happen for many reasons, right? So, some of this happens because uh you have a lot of copy pasting that happens in the

[17:45] medical system, right? You go through uh doctors or nurses as as they’re updating the medical records, right? They’ll copy paste between patients. They’ll go through and they’ll copy paste between visits. Uh you might have seen that personally, but it happens a lot uh in the space. Uh EMRs are actually not set up consistently. So, has anybody here seen an EMR before? Their own medical record, right? Anybody here moved across providers or networks? Yeah. Do they look the same? No, they don’t look the same. Um

[18:16] I’m from Toronto, Canada and many of our hospitals do fresh implementations every time they set up an EMR. And this often happens both due to the initial processes that exist within a hospital, [snorts] it happens across the network as well. There’s very interesting dynamics that happen on why it’s set up a certain way. And if you want to talk about data cleanliness, people do some very strange stuff in EMRs with nested fields. So, even though we do have electronic health records and medical systems,

[18:46] they’re all different, they’re structured weirdly, so you do have to do some some transformations on it as well. And often times it’s it’s difficult to pull data out, so people just choose to to send faxes or PDFs at the end of the day. So, solving clean data is not an easy problem. Uh AI can help us, digital transformation can help us, but upstream there’s a lot of factors that go into it. So, uh this is an example of some illustrative data. Uh of duplicate records. Uh real data looks quite similar, as well, with a high number of duplicates across certain networks. And this is actually very frustrating if you

[19:19] are on the receiving end of these duplicate records, right? So, we have a number of customers who are like, “Can this organization stop sending us so many duplicates, right?” And unless you have good systems to detect this, you got you just keep getting the same bad quality data. So, it’s really important to have those technical implementations and detection systems to actually make sure that you can safeguard your your own data pool uh data um cleanliness. Now, once you have this data, there there’s mechanisms of of actually fixing things, right? For regulatory or uh

[19:50] interpersonal reasons, right? But you still have this messy data that exists as a baseline. And once you can detect things like duplications, uh again, seems like a solved problem, uh you no longer incentivize things like sending claims multiple times with with different dates or the same claim uh or just other folks have to clean up their data, as well. The other part that, beyond just the cleanliness of the data, is that these claims are are really large. Uh when I first started working and saw within our

[20:22] database that there was a PDF that was 8 GB in size, that was very surprising. Um so, it these claims have anything and everything within them. They have uh images, right? Uh if you think about auto accidents, right? There are their images uh within the site of the injury, collisions, and such. There’s x-ray reports, uh ultrasounds, everything in between. And sometimes this just crashes a lot of PDF viewers. Uh if you think about some of the old computers that you might have, trying to open up an 8 GB uh byte PDF will be will be quite

[20:54] challenging. Uh and even on the technology systems, right? We talk about context windows all the time. How are you going to fit a context uh into a context window in 8 GB PDF, right? It’s it’s not as easy as saying, “Hey Claude, take a look uh at my 10-page PDF and and give me a response or hey chat GPT or Gemini, right? Not that easy. Um and on top of that, actually going through and working through a case requires a significant amount of time. So, either the technical challenges or the business challenges that result in very complex technical challenges.

[21:25] Now, if we work through and we’re adding more and more complexity into here, a lot of these claims also have irregularities. So, you might have some progress notes, for example, of a earlier patient report that says, “Hey, here is this x-ray that was booked for this date.” You receive the claimant package and that x-ray is not there. Right? And it’s very easy to miss that without actually having this highlighted in some sort of way. Um and without that, again, the whole trajectory of a case can change whether there was adequate care given, uh whether the person actually went to the the the care provided, uh and how do you actually cross-reference this with

[21:59] the billing side of things? So, this is a very very common scenario where upstream, again, because the data is messy, you actually have to ask repeated times, “Hey, can you send me this record?” “Oh, we missed faxing this.” “Oh, the fax glitched.” “Oh, we changed our back-end system.” Right? So, with as an organization, you have to have these lines of defense in in order to make sure that these get flagged. And as a claims adjuster, a claims adjuster might be processing 200 claims at a time. So, they’re not going to be able to keep everything within their minds saying like, “Oh yeah, I need to

[22:29] follow up on on this x-ray or not.” Right? They can take notes, they can move forward, but things are going to get lost. So, this is again where technology can be a great lift uh to these kinds of problems. Then you get conflicting diagnoses. This happens fairly often as well. So, who here has sought a second opinion for a medical condition? Few folks, right? Um sometimes we we seek them out um to get another perspective. Sometimes you get completely different answers, right? And

[22:59] the more complex the claim is, the more likely there is to be some some kind of conflict. So, in this case, what often happens is when you adjudicate a medical claim and you see some conflicting diagnosis or you want to double-check how much you should set aside to actually pay out for the claim, you send it to an IME or an independent independent medical evaluation. Then you have another doctor who performs their their review of the file. And then you have to manage those doctors and the provider networks and the IME themselves. So, now we’re stacking again. More

[23:32] people into the ecosystem, more complexity. Now, AI can be quite useful here and it would it would be, I guess, poor taste to give a talk in 2026 without talking about evals. But we did use AI to to try to solve these issues in some ways, the conflicting diagnosis, the missing records and a number of other ones. So, we built this benchmark called MLCR with artificial analysis to to measure the effectiveness of AI in actually answering these questions.

[24:03] So, flip over to our blog post that we talked about and I’ll scroll down to what this benchmark looks like. So, we released six different tiers of questions related to medical claims. Some of these are very simple, like when did this injury happen and what was the injury, right? Then they get a little bit more complex. How many surgeries get performed? How much capacity does the this patient have? And eventually we get into more and more complex questions that are even harder to to resolve. And oftentimes,

[24:35] the way that you ask a question as a claim adjuster, a doctor, an administrator, you don’t have full context of what’s happening. So, this is where we see hallucinations show up where people assume something is in a medical record, but it’s not. So, let’s go a little bit more to the results. So, this is available on the artificial analysis website. If you want to take a look, uh, so we released an open source, uh, data set for the first three tiers of questions that we have, the easy ones. And we have a private set that we host with artificial analysis for, um, to stop benchmarking to to a certain

[25:08] extent. So, it’s very interesting to see how how models perform. Uh, we actually measure this on three different, uh, axes. So, let me flip back to that slide. We measure this on conciseness. So, how concise is a response? Uh, and we measure this against a human, uh, expert validated answer. We then go through accuracy. Is that Is the answer correct? Uh, and the final one is completeness. Are all the relevant, uh, informations, uh, piece of information answered, uh, in the question?

[25:40] So, we go back here. Um, the frontier has continued to evolve very, very quickly, and this is where having evals is really important. Uh, when we released the eval, uh, the highest accuracy that that we saw on the levels of reasoning that that we had was 20%. A few months later, we’re in the 75% with with the very high reasoning levels. Right? So, models move very quickly, um, but this is great because it means that we can start productizing a number of the more complex questions. And we have more certainty of the confidence that somebody has to review this, uh, in a system. So, within our system, there’s always a human in

[26:13] the loop. Uh, so that’s really important. You also start getting the the cost curves here on the Pareto frontiers, on the cost to actually ask this question and get a suitable answer. And this has been improving through the past few months as well. And you get some of these tradeoffs as well. So, one of the interesting things when we were running these benchmarks on, uh, document analysis was that the GPT models were were excellent at accuracy, but they omitted some key pieces of information. Uh, Anthropic’s models were were quite good, um,

[26:43] and they’re much more complete on the amount of information. Um, they they do have slightly lower accuracy here as well. >> Can I ask a question? >> Sure. >> Accuracy, how do you measure it compared to the human factor? >> Yes, compared to to human answer uh and then we do the triple judge uh verification. So, yeah. So, we have accuracy here. You can see how uh the curve looks like and we have completeness uh which is uh is still not solved across most model providers. And yes, to to the earlier question, uh

[27:13] this is based on a human verified answer and on a calibrated set of judges. Uh within our blog post, we describe the the methods we have here uh and we released a follow-up as well on on how we did this calibration. So, even though we’re using AI here to structure our data and extract important insights, we want to make sure that each step uh of that process is well calibrated because if upstream uh your data is incorrect and you start using it downstream, right? You haven’t gained anything. So, again, really important as you’re going through the claims uh

[27:47] uh process to to calibrate your judges, to build good evals. Uh I think that’s a recurring theme at Ed Most Talks. And you want to make sure you have those experts who can actually verify this information, so you work across teams to to get there. Okay. So, that’s within a claim. Uh we know that with some amount of certainty, we can extract some types of insights. We can flag conflicting diagnosis. We can deduplicate. We can search for missing records. Let’s go to something more interesting, which is cross claims.

[28:19] Right? So, if you are a mid-size uh insurance company, you might be collecting $1 billion in premiums within a uh portfolio of lines of businesses. And you might be paying out, let’s say, 20,000 uh claims uh at a time per year uh or even more, depending on what line of business you deal with. Now, you want more insight of where you actually like what’s affecting your loss ratio. What kind of claims are people making? In which geographies? What type of injuries? and what type of doctors are

[28:49] being involved. This is where I think it gets quite interesting as well as actually being able to, once you have that data extracted from the claim, you can start doing interesting visualizations, regressions, and work as well. Right? So, two of the questions that we we’ve been asked and we’ve worked on answering is sort of how much are people traveling within a network, right? So, if a patient is, let’s say, in San Francisco or New York, right? Are they getting treatment in their local area? And is that the right person to to be giving the treatment? We also have these

[29:20] networks of who’s actually working together. So, this is some redacted data, a subset from from California, and you can actually track to see which lawyers are working together, which doctors are working together, which chiropractors, physiotherapists, and what is the actual working relationship look like and the story within the claim itself. So, this is that sort of higher-tier insight that you can get within extracting data from your claim. You then get into some interesting medical outcomes, right? So, which conditions co-occur together? So, if somebody has a back injury, as an

[29:53] example, right? You might have a series of different diagnoses that could be mapped to ICD codes that coexist together, and you might see, okay, why does this exist from a certain doctor’s write-up versus another’s? And in this case, again, you you only get these capabilities if you can solve the data extraction problem within one claim, and then roll it up into your broader insurance portfolio. Now, we get to the money portion, right? So, pulling a small subsegment here of

[30:26] two treatments of physiotherapy, different doctors charge different amounts, right? We’ve probably seen that. And sometimes that’s fine. If you’re a better doctor, you should be able to charge more, right? If you can get somebody to recover as quickly as possible in five treatments instead of 10, you should be able to charge more, right? So, uh but it’s really important to understand costs and and focus on minimizing them because as as soon as there’s cost inflation through different parts of the medical system, it keeps compounding, right? Premiums increase, uh the fees that we are charged increases, uh and we get less for our money. So,

[30:59] within this analysis, uh you can see across claims, is there a consistent factor? What what is the amount of coverage that you should be providing? How How you should you be underwriting these costs for claims as well. And you can estimate how things are going to change over time, right? So, year over year, as an example here, uh there was a 10% increase for this type of treatment for a given doctor, right? So, is that going to happen across uh the jurisdiction? Is that going to happen across the the industry in general?

[31:30] So, then you can start doing some counterfactual analysis or or changes in a in analysis to say, if we change our network, if we start directing folks into a certain direction, if we change how we how we bill, right? What are the potential savings that exist? And what kind of procedures should people be having based on the standard of care that exists? Um there is there’s recently an article about how as anybody see it seen at the overbilling article about $1 billion of additional billings that have come in? Have you seen that? Um so, those are examples where again, if

[32:02] you cannot process data effectively, people are going to find ways to to to go through and and submit additional records uh or do some some shadier behavior as well. So, all this to say is that once you have good data, you can start making these decisions. And then once you have this decision, uh this claims information, you can start writing it into a broader system, right? So, you can start using this in in the other lines of business of saying, if you know these are the trends in auto

[32:33] injury or workers’ compensation, are we seeing the same thing in general liability? If you know that your underwriting model is missing certain trends or you don’t have as much explain ability there, can we make the model more explainable with what we’re seeing? How do we provide this sort of magical data table that we wish that that existed within our data lake? So again, the more data you have, the more complete of a picture you you can make and the better you can underwrite and price the product at the end of the day for the consumer.

[33:04] And this is information you need to actually power the the effective AI applications, whether they’re on on the underwriting side, on the fraud side, on the claim side as well. So if you think about like a blue sky world, right? We we want to reduce something more broadly. So if we want to reduce costs for everybody, right? Taking into account that patient experience. If we want to reduce the time that a claim is open. If we want to improve how quickly people get back to work and the the treatment they get,

[33:34] we need to make sure we have the right data and the right digital transformation to do that. So this is an illustrative example in the work that we’ve done within WiseDocs as well. We’ve seen significant savings as well. So going through this digital transformation process and having the right data is really really important. So I’ll wrap up the workshop here. I did want to leave quite a bit of time for questions cuz it is pretty comprehensive topic. So thank you for listening and happy to take some questions.

[34:05] >> [applause] >> Yes, I’ll I’ll share the blog post. Yes, question over here. Yeah, so so the question was about how do we actually structure the data to build um all this information. So it goes through a number of different levels. I’ll share some talks that I’ve given on the topic as well. The baseline is we we use OCR and images to to extract information from the underlying records. Sort of standard pre-processing. Pre-processing PDFs is not an easy task as well if anybody has worked with them. Uh those 8 gigabyte ones have some some

[34:39] weird one in a million examples in them. So, once you have the the data, the text and images, we have a series of models on top, um NLP models, extraction models. We use VLMs uh to structure it sometimes, like a a more standard entity extraction model works well. We have various classifiers that we build on top. Um we then have a summary layer that sits on top of that to summarize the documents. Uh that is then human verified to make sure that the information is correct. And finally, we run those additional layers of analysis on top of that. So, we have this abstraction pattern that sort of concentrates the the density of

[35:12] information as you go up, um but it’s verified at various points in time with various models and and human intervention as well. So, that means once you get to the top in the highest value items, that’s when AI can be effective. And those are sort of those MLCR uh type questions that can have the right answer. So, within MLCR, this actually uses clean data to ask these questions. Real-world data is not clean, so you have to have various steps ahead of that to to clean up the data to get there. Yeah, so typically our our customers So, bigger customers have multiple lines

[35:44] of business internally and they have different uh rules I would say across sharing across different teams. Uh other customers just work in one line of business. So, they might just work in auto, they might just work in disability, they might just work in workers’ comp. Um but we take the trends uh across the board to try to figure out and flag those. So, there’s the question that within sort of an office, right? How do you surface some of those insights uh or or sort of geography? Then you have the the layer on top, which might be um the broader company, but comp- insurance companies also have

[36:15] a collection of companies within them sometimes uh as separate businesses. [clears throat] Uh and then how do you actually feed that into a centralized data lake uh as well. So, again, every company is a a bit different, but we we go as fast as our partners want us to. We live in claims. So so we focus on claims. So claims are our our bread and butter, specifically complex claims. That’s where our whole AI pipeline is focused on. But as we sort of evolve and go and solve the sort of easier challenges, I would say, with

[36:46] adjudicating a claim, processing a claim, extracting that information, you start seeing these more sort of insightful aspects that help organizations make portfolio level decisions. Yeah. Yeah, so that’s a good question. So the question is how do we onboard somebody when there there’s a lot of these challenges? So typically we work with the most important thing is a willingness to change, right? So we we’ve all probably worked with teams or organizations who want to change versus those who don’t. Um very very different experience. So assuming it’s an organization that wants to change, there’ll be a few sample

[37:17] files typically that we’ll work through in various formats. Typically people will send us either things they’re immediately working on or have or are basically they’re trying to back test. Uh and then we go through a review process to see what did you extract, what did our system extract, how does it align? Does it match the information you want to see? Do you have different types of standards? So if we go back, for example, uh to the different types of documents here, let’s just go back to the intake form. There might be various dates on this

[37:47] form. Do you want the date of injury or do you want the the report date when it was submitted, right? So these are things of alignment of business objectives. Go through process a few standard cases. If things work well, then we start sort of a broader pilot and then gets into the fun integration aspect of integrating with with upstream providers apart from just like hand uploaded documents, API integrations, like dealing with all all the messiness. So as long as there’s a a clear business outcome and transformation goal, then it’s it’s a fairly straightforward process. And again, as as we go through that

[38:19] journey, and sometimes it’s like we don’t have the capabilities out of the box, sometimes we do, sometimes there’s multiple integrations on internal systems as well. So, yeah. So, let’s start with the first part of the question, which is handling regulations and how do we work with partners? So, we it depends on how how quickly people are are moving. Uh and also depends how quickly regulations are moving. So, the the way we’ve set up the system right now is that it always requires a human in the loop to make a decision. Uh so, we surface these insights as an example for things like a conflicting

[38:50] diagnosis, we’ll see, “Hey, on page two on page 20, there there’s a difference of diagnosis between these two doctors, you should take a look, right?” So, as long as there’s a human in the loop, I’d say it it removes like 70% of the the regulatory concerns that people have. Uh regulation is also still catching up, so uh there’s a lot of things to read about like the NAIC reports that I mentioned, they that organization publishes a number of different reports. There’s the guidelines that exist for that. We talk to the internal governments and regulatory teams as well. Uh and if they

[39:22] want to see some pieces of information, like we will share with them like this is how the AI pipeline works, right? This is the type of data that’s being used. Um but at the end of the day, as long as you don’t build a black box and things are auditable uh and there’s a human in the loop, that take cares uh takes care of many things. The regulatory side, there’s like a whole other like business decision decision aspect, like how to approach nuclear verdicts. Uh for uh nuclear verdicts are um very large uh awards or um claims that that are $10 million or

[39:54] thermonuclear ones which are $100 million, which really reallocate uh businesses’ reserves. So, for those ones, typically people come with like an approach on how they want to handle them. And within the platform, you can say, “I’m going to handle my most complex claims first.” Or I’m going to handle the one that was submitted first. Um and those are all sort of business decisions people can make. Uh the second part of the question on like people’s internal like organizations’ internal goals. Um I mean, we want to work with partners that share the same sort of mindset about improving patient care, uh reducing

[40:25] backlogs uh for claims, providing the best decisions. A lot of times our customers are not even thinking too much about like the the cost of health care itself is everything around it, right? So, uh if you’re a large insurance company, you actually spend hundreds of millions of dollars on legal fees. Right? So, that is something that is not even tied to the patient experience that there’s a large amount of optimization you can do there and to speed things up. Right? Um there’s regulatory concerns that in certain jurisdictions like California, things are very litigated.

[40:58] Um you want to figure out how how to deal with those. Um there’s a whole bunch of middle parties that that are involved as well uh that are also inefficient. So, depending on the customer, everybody has a different goal. Um but in our conversations, it’s it’s always been like we have this very obvious problem to solve with technology. Let’s solve that first. Um and again, the insights start surfacing afterwards of being like, “Oh, I didn’t know that about my business. Let’s solve that afterwards.” So. Yeah, so the question is about decision APIs in Jv. Um as part of the I don’t know if anybody’s seen the paper

[41:30] um copies of the AI news that are that the conference is handing out. There’s actually an article that I’m writing for that. Um so, we we’ve been using classification models uh for a long time. I’ve generally had uh strong opinion on that. Hasn’t come out today. It’s coming out in a later edition. Um I think it’s very useful, uh but LLMs are not the right solution for everything, right? So, when we talked about this, right? This segment of AI can be split up as well, right? Classification, extractive uh versus sort of the more complex decision-based ones. Uh so, for

[42:02] us cost is really important. So, that’s why we trained our own models as well. Accuracy is really important and hallucinations as well. So, I think Jv was not as surprised that it came out. It was more so a surprise of how long it took because I think the LLM like token max reasoning for every problem phenomenon lasted for a very long time until we started thinking about costs a lot more this year. So, uh once Javis sort of hit already, we could you can test it out. Um but we’ve sort of built our own models with the same paradigm in mind. So.

[42:32] >> Yeah, so I’ll answer part two. Um so as an organization we have not moved the broader industry um to the extent we want, right? So, to say that we can say we’ve reduced the the claim uh time by 5 days on average for somebody across every patient. We’d love to say that. We we’re not in that position yet. For specific organizations like we had some case studies on the website. I quickly put put some up as well. There’s some significant ones within lines of business uh for cost reduction and speed. Um so, you can

[43:02] check those out and we can chat afterwards as well if you’re looking for more specific sort of context on that, too. >> Yeah, so so the the first notice uh of injury or loss um or and depend depending on the on the sub domain. Yes, um so depending on the jurisdiction there’s also turnaround time requirements when handling these. So, for example in Texas you only have a few hours of processing a claim to get an answer. In other states it might be 7 days, 21 days that you need to get a response. Now, it gets more complicated because if you’re a

[43:35] worker who’s been working in a factory, let’s say for 30 years, you’re 60 years old, you’re going to have large medical record file, right? So, there’s a lot of information here and in the initial report, but to do a full claim analysis you have to go back and you have to try to pull those. Maybe your name changed because you got married. Maybe you moved uh cities, providers, right? So, you have to reconstruct sort of that that full uh history as well. Uh and I think unfortunately in a lot of litigated cases there’s information that’s left out uh as well on purpose to

[44:08] due to the fact that a lot of organizations have not digitally transformed and can’t process cases fast enough. So, uh if this was all that’s needed, this would be uh much faster, but unfortunately or more realistically, there’s a much broader backstory as well.