Alibaba abriu o código de um modelo que detecta câncer em tomografias — testei localmente

Autoria: Fahd Mirza · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Alibaba Open-Sourced Model That Detects Cancer From CT Scans - I Ran It Locally · Canal: Fahd Mirza · 07:52 · Assistir no YouTube

Tópicos: Modelos locais e open source, Saúde e ciência

Resumo

O vídeo apresenta o RADAR, modelo de IA da Damo Academy, da Alibaba, que analisa tomografias abdominais e identifica 146 condições, incluindo vários tipos de câncer. O apresentador instala o modelo e seus requisitos, baixa os dados necessários e executa a inferência localmente. O resultado é um arquivo CSV com pontuações de confiança para cada condição; o vídeo ressalta que essas pontuações devem ser avaliadas por profissionais de saúde. O apresentador destaca o potencial do modelo em locais com poucos radiologistas e recursos médicos limitados, além de elogiar sua licença permissiva.

Pontos-chave

O RADAR foi desenvolvido pela Damo Academy, da Alibaba, para analisar tomografias abdominais e identificar 146 condições.
Segundo o vídeo, o treinamento usou mais de 400 mil exames de tomografia e 15 milhões de pares de imagens e relatórios.
Um estudo citado no vídeo reportou AUC de 0,913 em 40 mil exames reais.
O modelo foi instalado e executado localmente usando um checkpoint pré-treinado, uma tomografia e uma máscara de órgãos.
Os dados de referência incluem contornos pré-fabricados de órgãos, que ajudam o modelo a localizar regiões da tomografia.
A inferência gera um CSV com uma linha por exame e 146 pontuações de confiança, uma por condição.
O uso de VRAM observado chegou a cerca de 16 GB, embora o apresentador diga que ajustes no script podem reduzi-lo.
O modelo é apresentado como possível apoio a radiologistas, especialmente em regiões com acesso limitado a serviços médicos; não como substituto de avaliação profissional.
O apresentador destaca que o código, os dados e uma licença descrita como permissiva estão disponíveis publicamente.

Capítulos

Início	Capítulo	Resumo
00:01	Apresentação do RADAR e seu potencial	O apresentador introduz o modelo da Alibaba e destaca seu possível valor em hospitais com poucos recursos.
01:37	Características do modelo e instalação	O vídeo descreve os dados de treinamento e os resultados de estudos citados, enquanto instala os requisitos do projeto.
03:12	Dados, máscaras de órgãos e funcionamento	O apresentador explica os contornos de órgãos usados pelo RADAR e resume o processo de treinamento e apoio à leitura radiológica.
04:47	Inferência local e resultados	O modelo é executado em uma tomografia e gera pontuações para 146 condições, que o apresentador interpreta com cautela e contextualiza como apoio a profissionais.

Citações

O rastreamento de câncer faz mais pela reputação pública da IA do que qualquer demonstração de chatbot. — 00:01

Em um estudo com exames reais, alcançou uma AUC de 0,913. — 02:09

Um arquivo CSV: uma linha por caso e 146 colunas de pontuações de confiança. — 05:49

Não vou fingir que sou especialista médico. — 06:19

Modelos desse tipo podem tornar possível levar serviços médicos às massas com mais facilidade. — 07:21

Conceitos e entidades

RADAR (modelo): Modelo de IA da Damo Academy apresentado no vídeo para analisar tomografias abdominais e pontuar 146 condições.
Alibaba (empresa): Empresa que abriu o RADAR, desenvolvido por sua Damo Academy.
Damo Academy (empresa): Instituição da Alibaba responsável pelo desenvolvimento do RADAR.
Hugging Face (ferramenta): Plataforma mencionada para baixar arquivos e dados do modelo.
Mass Compute (empresa): Serviço de aluguel de GPU mencionado pelo apresentador.
Fahd Mirza (pessoa): Apresentador do vídeo, que instala e testa o modelo localmente.
Máscara de órgãos (conceito): Contornos pré-fabricados que indicam a localização de órgãos na tomografia e ajudam o RADAR a orientar a análise.
Pontuação de confiança (conceito): Valor gerado pelo modelo para indicar a força da evidência de uma condição no exame, sujeito à avaliação clínica.

Tradução completa (pt-BR)

00:01 Algo realmente nobre e legal aconteceu neste fim de semana. A Alibaba disponibilizou como open source um modelo de IA médica capaz de detectar câncer e quase 150 condições. O rastreamento de câncer faz mais pela reputação pública da IA do que qualquer demonstração de chatbot. Pesos abertos significam que hospitais que não podem pagar por uma API ainda assim conseguem executá-lo. Pense em um hospital distrital rural, digamos, em Bangladesh ou no Sri Lanka, ou em uma clínica na África Subsaariana. Nenhum

00:33 radiologista na equipe, nenhum orçamento para uma API de diagnóstico cobrada por exame, mas agora uma GPU razoável consegue executar esse modelo de graça. Eu sou Fahad Mirza e dou as boas-vindas ao canal. Neste vídeo, vamos instalar esse modelo e testá-lo. Recentemente, também comecei esta newsletter semanal gratuita sobre IA, na qual você pode se inscrever em fahadmirza.substack.com. E sabe de uma coisa? Mais de 40% do meu público vem da Ásia ou da

01:07 África, e fico muito feliz que esse modelo possa ser tão útil, especialmente nesses países, ou talvez no mundo todo. Então, vamos instalá-lo e conversaremos mais sobre o que exatamente é esse modelo do ponto de vista arquitetônico. Vou clonar este repo e deixarei o link na descrição do vídeo. É um repo grande, aliás. Não é pequeno. Então, enquanto isso acontece, acho que vai levar um minuto. Pronto. Deixe-me instalar rapidamente

01:37 todos os requisitos na raiz do repo. Enquanto isso acontece, vamos falar um pouco mais sobre esse modelo. Ele se chama Radar. Desenvolvido pela Damo Academy, da Alibaba, ele analisa tomografias computadorizadas abdominais e identifica quase 150 condições, incluindo cânceres de fígado, pâncreas, estômago e colorretal. Foi treinado com mais de 400 mil exames de tomografia e 15 milhões de pares de imagens e relatórios. Não é necessária anotação manual

02:09 Em um estudo da Science com 40 mil exames do mundo real, alcançou uma AUC de 0,913. E, em um estudo com leitores, superou 23 dos 26 radiologistas e aumentou a sensibilidade deles em 10%. Por isso decidi abordar esse modelo. Há muitas informações que eles compartilharam neste relatório da Science.org. O código do modelo também lista um repo do GitHub e outros códigos que vou usar neste vídeo. Também vou

02:41 explicar o que esta imagem significa, mas, por enquanto, vamos instalá-lo e ver como funciona. Se você quer alugar uma GPU por um preço muito bom, encontrará o link para a Mass Compute na descrição do vídeo, com um código de desconto de 50% para uma variedade de GPUs. Certo, vamos voltar ao terminal. Como você pode ver, tudo está instalado agora. Em seguida, vamos baixar o modelo e os dados. Este é o script que vou usar para baixar ambos.

03:12 Isso vai levar um tempinho. Aliás, os dados que estou baixando aqui, como você pode ver no segundo script, são contornos prontos dos órgãos, como um modelo que mostra onde ficam o fígado, o pâncreas, o estômago etc. em uma tomografia. O RADAR usa esses contornos para saber que parte do exame observar antes de diagnosticar qualquer coisa. Enquanto ele executa, vamos dar uma olhada rápida neste diagrama e no que ele significa. Basicamente, este diagrama mostra como o RADAR funciona de ponta a ponta. À esquerda,

03:44 milhares de tomografias são pareadas com seus relatórios radiológicos e combinadas por meio do alinhamento entre visão e linguagem, ensinando o modelo a relacionar o que vê com o que os médicos escreveram. No meio, depois de treinado, o modelo analisa o abdômen e sinaliza áreas problemáticas em órgãos como o fígado, o pâncreas e o estômago. À direita, ele funciona como um segundo par de olhos para os radiologistas, aumentando a sensibilidade diagnóstica deles enquanto analisam o exame. É basicamente isso.

04:16 E você pode ver que todos os dados estão sendo baixados, então vamos esperar. Uma coisa a observar é que dá para ver que limitaram minha taxa de download porque estou usando uma conta gratuita do Hugging Face. Sabe de uma coisa? Não precisa comprar nada deles. É só executar de novo. Ele baixa tudo novamente. Pronto, está tudo feito. O bom é que eles também disponibilizaram um script de inference no repo, que vou executar agora. Você precisa estar no diretório radar_inference. Isso vai carregar nosso

04:47 checkpoint pré-treinado e o modelo de texto BERT. Ele vai receber uma tomografia abdominal real e a máscara dos órgãos, e então o modelo deverá gerar uma pontuação para cada uma das 146 condições. Então, vou executá-lo. Você pode ignorar esses avisos, caso apareçam, porque são apenas sobre pacotes e coisas do tipo. Ele está inicializando o modelo e carregando os dados, e você pode ver que está usando pouco menos de 1 GB de VRAM. Então, dá para executá-lo facilmente em uma GPU comum.

05:18 Ele chegou a cerca de 16 GB, mas ainda dá para executá-lo facilmente em uma GPU comum. Também há opções no script para reduzir alguns parâmetros, como o KV cache e o tamanho do contexto, o que vai reduzi-lo ainda mais. Mas, enfim, se você olhar esta saída, ela é bem interessante. Esta é a saída real que ele gera enquanto processa o exame, depois de analisá-lo. E, se eu rolar a tela, este é um arquivo CSV

05:49 que ele gerou, e tem uma aparência parecida com esta. Há uma linha por caso e 146 colunas com pontuações de confiança. O nome do arquivo identifica a tomografia a que o caso corresponde, e cada coluna tem o nome de um órgão junto de uma condição específica que está sendo investigada. Cada número representa a confiança do modelo de que a condição está presente. Portanto, quanto maior o número, mais forte é a evidência no exame. Como você pode ver, peguei apenas uma pequena amostra. Então, este é um recorte daquele

06:19 arquivo exato, mostrando apenas os achados na aorta para este caso. A pontuação de calcificação é 0,70, e há também outras coisas, como esclerose, com 0,58; ambas são altas o suficiente para serem sinalizadas para avaliação de um radiologista. Não faço ideia do que isso significa exatamente. Não vou fingir que sou especialista em medicina, mas tenho certeza de que isso é bastante útil para quem trabalha nessa área e, claro, para um médico qualificado e treinado, um radiologista ou quem quer que seja

06:50 o responsável. Acho que isso é muito útil, e, como eu disse, o principal caso de uso é para radiologistas que trabalham nos hospitais, na linha de frente, em lugares remotos ou em locais sem instalações adequadas. E isso também acontece nos países desenvolvidos. Por exemplo, aqui no interior da Austrália, em comunidades remotas, quase não há instalações adequadas. Você ficaria surpreso ao saber que as pessoas precisam voar ou viajar milhares

07:21 de quilômetros para receber atendimento médico adequado. E acho que esse tipo de modelo realmente torna possível levar serviços médicos à população em geral com bastante facilidade. É isso. Diga o que você acha deste modelo. Muitos parabéns à Alibaba, porque, além de disponibilizá-lo, a licença também é bastante permissiva. Acho que há alguns pontos aqui e ali que podem ser discutidos, mas

07:52 a licença ainda é bastante permissiva. E todos os arquivos, todo o conjunto de dados, tudo está disponível no cartão do Hugging Face, cujo link deixarei na descrição do vídeo. É isso. Se quiser ajudar o canal, torne-se membro. Obrigado por todo o apoio.

Transcrição original

[00:01] Something really noble and cool happened this weekend. Alibaba open sources medical AI model that can detect cancer and nearly 150 conditions. Cancer screening does more for AI’s public reputation than any chatbot demo. Open weights mean the hospitals that cannot afford an API gets to run it anyway. Take a rural district hospital, let’s say in Bangladesh or Sri Lanka, or a clinic in sub-Saharan Africa. No

[00:33] radiologist on staff, no budget for a per scan diagnostic API, but a decent GPU can now run this model for free. This is Fahad Mirza and I welcome you to the channel. In this video, we are going to install this model and we are going to test it out. Recently, I also have started this free weekly AI newsletter, which you can subscribe at fahadmirza.substack.com. And you know what? More than 40% of my viewership is either from um Asia or

[01:07] Africa and I’m so glad that this model would be so helpful, especially in those countries, or maybe across the globe. So, let’s get it installed and we will talk more around what exactly this model is from the architectural perspective. I’m going to get clone this repo and I will drop the link in video’s description. It’s a big repo, by the way. It’s not a small repo. So, while it happens, I think it is going to take a minute. That’s done. Let me quickly install

[01:37] all the requirements from the root of the repo. And while that happens, let’s talk a bit more around this model. So, this model is called as Radar. Built by Alibaba’s Damo Academy, it reads abdominal abdominal CT scans and identifies nearly 150 conditions, including liver, pancreas, stomach, and colorectal cancers. It was trained on over 400,000 CT exams with 15 million image report pairs. No manual annotation

[02:09] required. In a science study across 40,000 real-world exams, it hit an AUC of 0.913. And in a reader study, it outperformed 23 of 26 radiologists while boosting their sensitivity by 10%. So, that is why I decided to cover it in this model. There’s a lot of information which they have shared in this science.org report. And then the model code also list down a GitHub repo and some other code which I’m going to use in this video. I’m also

[02:41] going to explain what this image means, but for now, let’s get it installed and see how it works. If you’re looking to rent a GPU on very good price, you can find the link to Mass Compute in video’s description with a discount coupon code of 50% for a range of GPUs. Okay, let’s go back to terminal. Everything is now installed, as you can see. Next up, let’s download the model and data. And this is a script which I’m going to use to download both.

[03:12] And it is going to take a bit of a time. And by the way, the data which I’m downloading here, as you can see, the second script, it is a pre-made outlines of organs, like a template showing where the liver, pancreas, stomach, etc. sit in a CT scan. RADAR uses these to know which part of the scan to look at before it diagnoses anything. While it runs, let’s have a very quick look at this diagram and what it means. So, primarily, this diagram is showing how RADAR works end-to-end. On the left,

[03:44] thousands of CT scans get paired with their radiology reports and mashed up through vision language alignment, teaching the model to connect what it sees with what doctors wrote. In the middle, once trained, readers can see abdomen and flags problem areas across organs like the liver, pancreas, and stomach. On the right, it acts as a second pair of eyes for radiologists, boosting their diagnostic sensitivity while they read the scan. So, that is all there is to it.

[04:16] And you can see that all the data is being downloaded, so let’s wait. One thing to note here is that you can see that it rate limited me because I’m using free hugging face account. You know what? No need to buy anything from them. Just go and rerun it. It downloads everything again. So, everything is done. The good thing is that in their repo, they have also shared an inference script, which I’m going to run now. So, you need to be in radar_inference directory. This is going to load our

[04:47] pre-trained checkpoint and the bird text model. It is going to feed in a real abdominal CT scan and its organ mask and the model then should be outputting a scoring for each of the 146 conditions. So, let me run this. And you can ignore these warnings if you get them cuz they are just about packages and stuff. It is initializing the model, loading, and you can see just under 1 gig of VRAM. So, you can easily run it on um a commodity GPU.

[05:18] So, it is it has jumped to around 16 gig, but still you can run it in under commodity GPU easily. There is also uh where you can reduce some of the parameters like KV cache and stuff, context length, in the script, which is going to even reduce it furthermore. But anyway, um if you look at this output, this is quite interesting. This is the actual output it generates while working through it after reading the scan. And if I scroll through, this is a CSV file

[05:49] it has generated and it looks something like this. So, one row per case 146 columns of confidence scores. The file name identifies which CT case this is and each column headed name as an organ paired with a specific condition it’s checking for. Every number is the model’s confidence that condition is present. So, higher means stronger evidence in the scan. I have just taken a bit of a sample here as you can see. So, this is a trimmed sample from that

[06:19] exact file showing just the aorta findings for this case. So, which is calcification score 0.70 and some other stuff like which is sclerosis 0.58 both high enough to flag for radiologist review. I have no idea what exactly this mean. I’m not going to pretend that I’m a medical specialist, but I’m more than sure this is quite useful if you are in that field and of course for a trained qualified physician, radiologist, or whoever is

[06:50] the responsible person I think this is quite useful and as I said the main use case is for the house of hospital radiologist who are working in the trenches in remote places or in places where there are no facilities and that is even true for the first world countries. For example, here in Outback Australia on remote communities there is hardly any proper facility. You would be surprised to learn that they have to either fly or travel thousands

[07:21] of kilometers to get a proper medical attention. And I think these sort of models really make it uh quite possible for medical services to reach to the masses quite easily. So, that’s it. Let me know what do you think about this model. Really huge kudos to Alibaba because not only they have released it, the license is quite liberal, too. There are, I think, here and there a bit of a uh thing which you can argue about, but

[07:52] it is still quite liberal. And all the files, all the data set, everything is present in their hugging face card, which I will drop the link in video’s description. That’s it. If you want to help out the channel, please become a member. Thank you for all the support.