JEV vs. LAYA: retreinei o LAYA e ela mudou o jogo — veja como fazer!

Ver no idioma original →

Autoria: Sandeco · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: português

Vídeo original: ⚡JEV vs LAYA: RETREINEI o LAYA e ela MUDOU o jogo. VEJA COMO FAZER! ⚡ · Canal: Sandeco · 23:51 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Cibersegurança e segurança de software, Ferramentas de desenvolvimento com IA, Modelos de IA, Modelos locais e open source

Resumo

Sandeco compara JEV com LAYA em uma tarefa de detecção de golpes de Pix e mostra que a versão local do LAYA é muito mais rápida, mas inicialmente apresenta muitos falsos positivos. Em seguida, usa o framework It’s Fine para retreinar o modelo com dados específicos, recorrendo ao Google Colab e a uma GPU externa. Na avaliação final, o LAYA retreinado identifica corretamente as mensagens de teste apresentadas, enquanto mantém a execução local e custo zero. O vídeo ressalta que o resultado especializado não significa que um modelo seja superior em todos os usos e alerta para a necessidade de avaliar a generalização e possíveis sinais de overfitting.

Pontos-chave

• Na comparação inicial, o LAYA local é quase 10 vezes mais rápido que o JEV, mas classifica incorretamente muitas mensagens honestas como golpes.
• O vídeo defende que a comparação entre modelos considere velocidade, custo e qualidade das respostas.
• O It’s Fine prepara dados específicos de golpes de Pix e coordena o treinamento do LAYA usando o Google Colab.
• O conjunto de teste é mantido separado dos dados de treinamento e validação para avaliar o modelo com mensagens que não foram usadas no treino.
• Após o retreino, o LAYA identifica corretamente as 75 mensagens de golpe e as 925 mensagens legítimas do teste apresentado.
• O relatório apresentado indica acurácia de 100% para o LAYA retreinado e 99,9% para o JEV, mas o vídeo também menciona o risco de overfitting.
• O LAYA retreinado é apresentado como opção para uma tarefa específica; para aplicações mais abrangentes, o vídeo destaca a maior amplitude do JEV.
• O apresentador relaciona sistemas que convertem intenção em decisão ou ação a possíveis aplicações em robótica.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação da comparação	Sandeco introduz a comparação entre JEV e LAYA e propõe retreinar o modelo para detectar golpes de Pix.
03:44	Desempenho inicial e problema de acurácia	A primeira avaliação mostra que o LAYA é muito rápido, mas gera muitos falsos positivos antes do retreino.
05:18	Preparação do retreino com It’s Fine	O apresentador explica como o framework usa dados específicos e conecta a máquina local ao Google Colab.
08:30	Treinamento no Google Colab	Sandeco demonstra o envio do notebook, a conexão com a GPU e o acompanhamento do treinamento.
12:57	Relatório e métricas do modelo retreinado	O relatório apresenta resultados de validação, duração do treinamento e a possibilidade de overfitting.
16:44	Comparação final entre JEV e LAYA	O teste com mil mensagens mostra o desempenho do LAYA retreinado em relação ao JEV.
20:33	Conclusões e usos especializados	Sandeco discute os limites da comparação, a diferença entre um modelo especializado e um de uso mais amplo e possíveis aplicações em robótica.
23:20	Encerramento	O apresentador recomenda o It’s Fine e encerra o vídeo.

Citações

As comparações têm que ser mais completas: você tem que comparar o gasto financeiro, a velocidade de processamento e também o quão bom é esse modelo. — 03:10

Se a gente fizer o LAYA especialista em um determinado assunto, aí a gente pode fazer com que ele seja melhor que o JEV. — 04:46

Ninguém matou ninguém nessa história. A gente tem que tomar cuidado com esse mata-mata de coisa aí. — 20:33

Se você precisa de uma rede neural que vai detectar aquilo ali especificamente, o LAYA é a melhor opção. — 21:08

Conceitos e entidades

• Jev (modelo): Modelo usado como referência na comparação de velocidade e detecção de golpes de Pix.
• Laya (modelo): Modelo executado localmente e retreinado no vídeo para detectar mensagens relacionadas a golpes de Pix.
• It’s Fine (ferramenta): Framework apresentado por Sandeco para preparar e coordenar o retreino do LAYA.
• Google Colab (ferramenta): Ambiente usado no vídeo para executar o treinamento com uma GPU externa.
• Cloudflare (empresa): Serviço mencionado como parte da criação do túnel entre a máquina local e o Google Colab.
• Rust (conceito): Linguagem usada no projeto de comparação entre os modelos.
• Sandeco (pessoa): Apresentador do vídeo, professor e pesquisador que criou o framework It’s Fine.
• overfitting (conceito): Risco de o modelo se ajustar demais aos dados de treinamento e não generalizar bem para novos exemplos.
• Google Colab T4 (ferramenta): GPU T4 do Google Colab usada para realizar o treinamento apresentado.

Tradução completa (pt-BR)

00:00 A gente sabe que a rede neural J está fazendo um sucesso danado. Todo mundo quer usar JV, mas apareceu outra rede neural que você executa no seu computador local e que consegue ser 10 vezes mais rápida que o JV. Ela se chama Laia. Entretanto, pesquisadores mostraram que a Laia sofre com problemas de acurácia. Mas hoje eu vou mostrar que, se você retreinar a rede neural Laia para o seu problema específico, ela consegue ter uma acurácia que supera a

00:31 Jev. E é o que nós vamos fazer hoje: retreinar a rede Laia com dados específicos sobre golpes no Pix. [música] >> Olá, tudo bem? Eu sou o Sandeco, sou professor e pesquisador no Instituto Federal de Goiás e na Universidade Federal de Goiás. E, se você gosta de inteligência artificial descomplicada, mas sem perder a profundidade técnica, considere se inscrever aqui no meu canal e ativar as notificações. E, se você

01:02 quiser falar comigo, aqui embaixo tem um link para um grupo de WhatsApp, onde vou estar para conversar com você. Muito bem, na aplicação que eu criei comparando o JV com DeepSeek, simplesmente substituí o DeepSeek pela Laia e troquei a linguagem para Rust. E agora a gente vai rodar as duas redes neurais sem mexer em nada na configuração original da Laia. E aí você vai ver que a Laia é muito rápida, mas tem um probleminha de acurácia que depois a gente vai resolver ainda neste vídeo, fazendo um retreino da Laia com

01:34 dados de fraude, tornando a rede ultraespecialista nesse problema. Vamos lá. Olha só, estamos aqui no detector de golpes, Jeev versus Laia. Lembrando que o JEV está rodando lá no servidor da Type Safe, e a Laia está rodando aqui na nossa máquina, tá? Então vou deixar aqui no modo normal, porque já quero que você veja a velocidade das coisas, e vou iniciar aqui. Vamos lá. Olha a velocidade. Olha como a Laia é mais rápida. Cada

02:05 brilho desses é a detecção de um golpe, tá, pessoal? Vocês veem que Rust agora ficou com cara de Python, né? Comparada com o DeepSeek, a Laia já está 10 vezes mais rápida, só de olhar aqui, ó: está entre 70 e 77; antes ficava em 60. Fica muito, mas muito rápido mesmo esse processo com a Laia. Por que é mais rápido, né? Porque a Laia está rodando na minha máquina, então não há latência de rede aqui. Quando você está trabalhando com o JV, apesar de ele

02:38 ser muito, mas muito rápido, ainda existe uma latência de rede, tá? A requisição vai até o servidor, lá no servidor da Type Safe, para fazer a classificação. É rápido. É em milissegundos. São milissegundos, né? 200 milissegundos. Vou esperar só chegar ao fim, porque quero mostrar para vocês agora a acurácia, né? Porque uma coisa importante, pessoal, vocês têm que entender: não é simplesmente chegar e comparar o valor da velocidade de uma coisa, certo? Posso fazer uma coisa muito rápida e não ser boa

03:10 naquilo. Posso fazer um pouco mais devagar e ser muito boa. Então, as comparações têm que ser mais completas, tá? Quer dizer, você tem que comparar o gasto financeiro da coisa, a velocidade de processamento, mas também o quão bom é esse modelo, tá? E é isso que nós vamos fazer agora no final, tá? OK. Então você deve estar se perguntando: “Saneco, como é que você configurou o JV nesse projeto e também como é que você baixou a Laia para a sua máquina, configurou no projeto, fez rodar dessa forma e fez o retreino?”

03:44 Na quarta-feira, certo? Vou falar exatamente sobre isso na mentoria do livro It’s Fine, beleza? Lá dentro vou mostrar todas as configurações, como você baixa, como cria uma conta no JV, como baixa a Laia e como faz o retreino em detalhes. Beleza? Mas fica comigo, porque neste vídeo vou mostrar o retreino e depois o resultado final do retreino da Laia. Não sai daí. Muito bem, o processamento chegou ao fim. Vamos ver então a diferença de acurácia entre uma e outra. Bom, a primeira coisa mais importante

04:15 que a gente vê aqui é a velocidade de processamento: quase 10 vezes mais rápida para a Laia. Beleza? Depois, a gente vê que o Jev só erra ao encontrar um golpe, mas o problema principal aqui está na Laia, porque quase 1/3 das mensagens honestas, a Laia acha que são golpes, e aí dá esse falso positivo. Com isso, a precisão cai absurdamente, para 20%. Então, a Laia é muito rápida, ela tem

04:46 custo zero para você, mas o problema é que ela é um tanto quanto mais fraca que o JV. Porém, existe uma solução. Se a gente fizer da Laia uma especialista em determinado assunto — neste caso, em detectar mensagens de Pix que remetem a golpes —, aí podemos fazer com que a Laia seja melhor que o Jeev. E essa é a ideia. Por isso que hoje eu quero

05:18 mostrar para vocês aqui o It’s Fine. O It’s Fine é esse framework com o qual a gente vai pegar a LLM, baixar para a nossa máquina, preparar novos dados para retreinar a Laia, enviar esse retreino para uma GPU externa, receber os resultados de volta na nossa máquina e fazer com que a Laia dispute diretamente com o Jeev. Só que agora será uma Laia turbinada, ultraespecialista na tarefa de

05:49 identificar Pix falsos. Bom, a primeira coisa que a gente tem que fazer aqui é chamar o fine start. Beleza? É com esse comando que vou definir, junto com o framework, a intenção de retreinar efetivamente a inteligência artificial. E vou começar dizendo assim: “Quero retreinar a Laia para detectar golpes de Pix neste projeto.” A Laia deve responder às mesmas quatro perguntas que este projeto envia ao JEV na função questions. E aí ele fala o

06:24 endereço aqui, né, do JEV: golpe, tipo, urgência e se é pedido, tá? A entrada é remetente e mensagem, igual ao corpo que vai para o JV. E aí, pessoal, aqui do lado, olha, vejam bem: aqui do lado eu tinha os dados originais em que enviei essa informação para o Jev, certo? E para a Laia normal. Beleza? Só que agora o que vou ter aqui são os dados da Laia. Aqui, ó, esses dados da Laia são dados

06:54 sintéticos que foram gerados, tá, para retreinar a Laia. Quando digo que quero usar o Google Colab, o que vai acontecer? O It’s Fine vai fazer uma conexão entre a sua máquina local e o Google Colab. Você vai enviar o notebook para o Google Colab. Vou mostrar esse processo. Quando chegar lá, você vai executar uma célula e aí ele vai te dar… você vai baixar um arquivo. Quando o It’s Fine encontrar esse arquivo na pasta de downloads da sua

07:25 máquina, ele começa o treinamento diretamente. Ele se conecta via Cloudflare, criando um túnel entre a sua máquina e o Google Colab, envia os dados de forma protegida e executa o treinamento lá no Colab, monitorando-o localmente pelo It’s Fine. Você vai ver o retreino acontecendo na sua máquina. E, quando o treinamento é concluído, ele baixa todas as informações dos adaptadores, né, da rede neural que foi treinada. Isso é legal para caramba, porque protege incrivelmente os seus dados que vão para o Colab e

08:00 voltam. Beleza? Aqui embaixo, pessoal, só vou dizer para ele onde estão os dados de treinamento, né? Os dados estão em dados traçulaia, que ele pode ler. O treino terá quase 3.000 mensagens, 554 mensagens de validação e as mesmas 1.000 mensagens que usamos para o teste. E ele diz: “Ó, o teste está congelado; não pode ser usado para ajustes. Só entra na avaliação final, quando a gente vai rodar tudo aqui para ver realmente a diferença da Laia

08:30 retreinada em comparação com o Jeev. Então vamos nessa agora. Vamos retreinar a rede neural Laia. Muito bem. Ele diz aqui, ó, que o objetivo foi congelado e que agora preciso abrir o Colab. E o que é o Google Colab? Você sabe que, para treinar uma rede neural, a gente precisa de GPU e é muito provável que talvez você não tenha uma GPU em casa. Beleza? A minha GPU roda no meu notebook. Aqui nesta máquina eu tenho uma GPU, mas ela não é tão boa quanto a do notebook. Então, o que você pode fazer

09:03 Quando você não tem uma GPU? Você pode usar gratuitamente uma GPU emprestada do Google, tá? Você pode usar por até 12 horas por dia lá, né? E tem um período de parada de 24 horas, digamos assim, mas você pode usar para treinar suas redes neurais. E é isso que a gente vai fazer. Vamos usar o Google Colab com a GPU gratuita do Google para treinar nossa rede neural. O Google Colab é uma área de treinamento de inteligência artificial que você pode usar gratuitamente, tá? OK. Vou voltar aqui. Ele diz o seguinte, ó: vá em

09:36 Arquivo, né, e faço o upload aqui do Fine Colab V1. Esse Fine Colab V1 está dentro das rodadas do Fine aqui. Em Fine runs, tá vendo? Se você abrir, vai encontrar exatamente, né, dentro da V1, que é a primeira rodada, o It’s Fine Colab V1. Beleza? Então, o que a gente vai fazer é exatamente isso aqui, ó. Vou clicar com o botão direito em cima e pedir para revelar no Explorer. Agora posso ver, né? Foi revelado no Explorer. E aí vou fazer o seguinte: vou simplesmente fazer o upload desse

10:09 notebook para cá. Então vem aqui, ó: fazer upload de notebook. E aí posso arrastar para dentro. Então aqui, ó, vou pegar e arrastar o notebook para dentro. Olha como é simples. Depois que ele faz isso, ele sobe e fica esperando uma conexão com o Google Colab, tá? Aqui já está dizendo, né, que é o WF na versão 009. Tem que vir aqui em Editar configurações e alterar para Python V3 usando a GPU T4, tá? OK. Salvo isso aqui. E aí faço o

10:46 seguinte: simplesmente dou play aqui e aí ele vai entregar uma codificação. Não tem problema, ela é grande mesmo. Isso aqui é a codificação Base64 do código. E aqui ele vai perguntar: “Você autoriza o Fine a parar esse Colab?” E aí você vem aqui e diz simplesmente “sim”, tá? Pode ser maiúsculo ou minúsculo, vai funcionar. Lá embaixo, você vai esperar ele fazer uma conexão, né? Vai criar um arquivo de conexão do It’s Fine com o Colab. Ele vai pegar um arquivo, vai baixar um arquivo para a pasta Downloads, tá? E o

11:18 Fine encontra o arquivo em Downloads automaticamente. Na verdade, aqui, pessoal, o Fine já está procurando. Ele diz aqui, ó: “Estou procurando aqui. Vou esperar por 15 minutos por essa conexão, né? O arquivo deve aparecer em Downloads.” Beleza? Ele está esperando aqui porque, depois que terminar, vai mandar para o Colab 650 MB de informação para treinar a rede neural. Então vamos ver aqui o que está acontecendo. O Fine está instalando o pacote. Vou acelerar um pouquinho o vídeo. Muito bem, o arquivo já chegou aqui, ó. Vou salvar em Downloads, tá? Vou simplesmente salvar aqui,

11:51 pessoal. Não faço mais nada. Salvei aqui. Volto lá no Fine, e o Fine vai começar a reagir automaticamente. Quer ver? Ó, você vai ver aqui. Ele já começa, né? Já diz que abriu, ó, que encontrou a informação, e vai começar o treinamento agora automaticamente, tá? Você pode deixar ele quietinho aí, e ele vai mostrar para você todos os processos, né? Já encontrou aqui, ó: o Colab está conectado à Tesla T4, tem 15 GB e nada está em uso.

12:21 Beleza? Então, o notebook está limpinho e vai começar a enviar as informações pelo túnel que ele criou entre o seu computador e o Colab, usando o Cloudflare, tá bom? É isso. Ele também diz aqui, ó, que vai fazer uma sondagem e pede para deixar a aba do Colab aberta. Você não pode fechar essa aba aqui, tá? Ele vai usar esse processo para treinar sua rede neural externamente e trazer a informação de volta para o seu computador. Isso é legal se você não tem uma GPU para retreinar essa rede neural. Beleza? Já já vai concluir aí

12:57 com as métricas do treinamento e depois vamos rodar as duas redes neurais, comparando o Jev normal com o Laya retreinado para esse problema. O treinamento do Laya terminou, certo? Se a gente olhar no Colab, dá para ver como foi o treinamento e todos os passos dele, ó. Você vai ver que o loss, né, que é o erro, digamos assim — é assim que chamamos o erro no treinamento de uma rede neural —, caiu de 0,79 para zero. Beleza? Então o erro foi zerado no

13:33 nosso treinamento, que captou muito bem o sinal. Vou pedir agora para o It’s Fine fazer o seguinte, ó. Ele diz um bocado de coisa aqui, faz uns relatórios e tudo mais. E fala aqui, ó, que também mediu a velocidade na CPU, tá? Cada predição na CPU leva 22 segundos para carregar o modelo e fazer a predição. Beleza? É isso. Mas agora vou pedir para o Claude fazer um relatório final, uma entrega e o relatório final. OK,

14:04 Claude, quero que você faça uma entrega final e gere um relatório do que aconteceu no nosso retreino aqui com o Fine. Beleza, Claude? O relatório do retreino do Laya terminou aqui. Então vou clicar com o botão direito em cima e pedir para revelar no Explorer. Vou mostrar aqui. Clicando duas vezes, o relatório aparece para a gente. É o relatório do retreino do Laya, gerado pelo Fine, tá? Foi em 25 de setembro, hoje, numa sexta-feira. Beleza? Aqui, ó, o resultado. E aqui embaixo é

14:37 interessante porque traz todos os detalhes, né? O que foi pedido, os dados, todos os detalhes dos dados, o modelo e o ambiente em que foi gerado, né? Ele diz aqui que foi gerado no Colab. A linha de base, né, o Laya antes do treino, aparece aqui: ó, como ele era muito ruim, 72% de acerto por frequência; Laya sem treino, muito fraco mesmo, tá certo? Para esses três tipos de pergunta. Depois, a gente definiu o objetivo que foi congelado com

15:07 as informações que a gente queria, uma acurácia ali como objetivo, de mais ou menos 90%, né, e tudo mais. O retreino no Colab. Aí ele mostra o tempo de treino, né, como foi. Demorou 32 minutos, com pico de memória de 6,5 GB; por isso que precisa de uma placa de vídeo boa para treinar, tá? Aí tem aqui, ó, a validação sem o Laya e com o Laya treinado. Então, veja que, para identificação de golpe, chegou a 98%; 100 era 85%,

15:39 cerca de 74%; a urgência ficou em 51%, ficou baixa, né? Mas tudo bem. E PAD ficou em 95%. Então ele se concentra muito na questão do golpe com o PAD; vai identificar os golpes direitinho, tá? Depois, dá para melhorar essas métricas aqui, né, ensinando mais coisas dessas classes. Beleza? Mas, por enquanto, o que a gente precisa fazer aqui deu muito certo, né? Veja que os dados de treinamento, pessoal, são dados separados, diferentes dos dados que serão testados — já vou mostrar rodando junto com o Jev, tá? Eles são

16:12 separados. Uma coisa não tem nada a ver com a outra, porque o modelo precisa generalizar. Mas, enfim, no final das contas, o Jev se saiu muito bem, né, com uma taxa de acerto acima de 95% para o Laya treinado, que era o resultado que a gente esperava. Saiu muito bem. E aqui embaixo, ó, também temos algumas limitações, tá? Ele fala sobre a questão dos 100%; tem a questão do overfitting, com que a gente tem que tomar cuidado. Então é muito legal poder retreinar essa rede com mais dados, tá? Para reduzir um pouco esse

16:44 overfitting, se realmente houver overfitting nesse caso, tá? OK. Então agora o que vou fazer é o seguinte: vou pedir para o Claude ativar o servidor para a gente rodar uma comparação entre o Jev original e o Laya supertreinado com a nossa nova base de dados, né, entendeu? Com o nosso problema específico, sendo especialista em detectar golpes. OK, Claude, quero que você agora ative o servidor da comparação entre o

17:16 Lia e o Jeev. Então, vou só mandar aqui e agora a gente vai poder comparar o Lia com o JV. Beleza? Agora é a hora da verdade. Temos o JV original aqui e o Laia numa versão V2, certo? E essa versão V2 é uma versão retreinada para o problema de detecção de golpes. Agora, a nossa rede neural, né, é especialista nisso, beleza? Ela é especialista nisso. Então, vamos colocar

17:49 aqui no modo normal e iniciar para verificar, né, a velocidade e a acurácia. Vamos lá. Então, você vê que a velocidade do Laia ainda continua a mesma coisa: muito rápido, pessoal, em detecção de golpes, tá? Lembrem-se de que são 75 golpes, tá? E 925 mensagens, ok? Então, se o Laia conseguir fazer isso aqui, ó, encontrar aqui, significa que ele atingiu o objetivo, porque foi retreinado, né, com uma base de dados à parte. Ele não

18:22 conhece essas mensagens agora, tá, pessoal? Essas mensagens que ele está reconhecendo aqui, ele não conhece. Mas, como foi treinado e generalizado para esse problema dos golpes, veja que agora, ó, ele consegue encontrar todos os 75 golpes e também classificar todas as 925 mensagens que estão ok, que não têm problema nenhum. Vamos agora aguardar o JV terminar, certo? Porque veja que, além disso, ele deu uma acelerada, né? Ficou muito rápido. Agora, só 23 milissegundos de processamento

18:57 médio, ó, de mediana. Então, ficou muito bom. Agora vou esperar terminar, certo? E aí a gente vai abrir o relatório de acurácia e ver, né, o que está acontecendo lá dentro para comparar com o que tinha anteriormente, tá? Vamos lá. Relatório de acurácia. Basta clicar aqui em cima, em “Relatório de acurácia”, e teremos aí o tempo, né, do Jeev: 269 segundos e 70 segundos. E aqui, 28 segundos, pessoal, 10 vezes mais rápido

19:28 mais uma vez. E agora, olha o que aconteceu aqui embaixo, né? Nós temos aqui ainda uma mensagem: um golpe não foi encontrado, não foi classificado pelo J; passou batido para o J. Agora, aqui no Laia, olha isso: as 75 mensagens que eram golpes foram identificadas normalmente pelo Laia retreinado, e as 925 mensagens que são verdadeiras, né, que não eram golpes, também foram selecionadas normalmente. E aí, aqui embaixo, né, comparando, a gente tem uma acurácia de

20:01 99,9% para o Jeev e de 100% para o Laia, tá certo? Isso acontece, pessoal, porque, como a gente treinou com um volume maior de informações e equilibrou ali as mensagens de golpe, o Laia, né, conseguiu classificar muito bem o que é um golpe, né? E aí, quando a gente volta para as 1.000 mensagens que ele não viu, ele consegue classificá-las muito bem, tá? E aí, ó, uma coisa bacana: o custo aqui é zero, então

20:33 velocidade máxima, tá? Acurácia máxima e custo zero. Esse é o Lia versus Jeev. O Lia retreinado pelo framework It’s Fine. Muito bem. Considerações finais. Primeira coisa: ninguém matou ninguém nessa história. Beleza? A gente tem que tomar cuidado com esse mata-mata de coisas aí, pessoal, tá? O Laia não matou o Jeev. O caso aqui é que o Laia está rodando localmente, né, na minha GPU local, tá? Ele

21:08 ficou muito mais rápido do que o Jeev, certo? Só que tem um problema: agora ele está muito específico para o problema do golpe. Então, se você precisa de uma rede neural que vai detectar aquilo ali especificamente, show de bola, Laia é a melhor opção. Agora, se você precisa de uma rede neural, né, Sistema 1, como o Jeev e o Lia, que abrange mais assuntos, nesse caso, o Jeev, beleza? Por mais que ele tenha um pouco

21:41 de acurácia um pouquinho comprometida, né, como o pessoal já tem falado no Twitter que acontece. Só que tem umas coisas em que eu quero que você pense comigo um pouquinho. Veja: quando eu tenho um projeto que tem um sistema 1, isso significa o seguinte: eu tenho uma entrada de intenção em linguagem natural, certo? A pessoa fala alguma coisa, o modelo entende e, a partir desse entendimento, toma decisões, tá? Isso é muito bom e tem

22:13 um potencial muito forte para a área de robótica, pessoal. Na área de robótica, isso vai ser incrível. Eu já até falei, né, em um artigo científico que escrevi há pouco tempo e também em um post que fiz no meu blog, que, cara, eu usaria esse troço em carro autônomo tranquilamente, né, para ler placas ou informações na rua que não dá para ler em placas comuns de sinalização, entendeu? Então, assim, aí você pode trabalhar tanto com JV como com Lia, sabendo

22:46 que, para ter uma boa execução com o Lia, você precisa fazer um retreino dessa rede neural, certo? Para um problema específico, tá bom? Então, veja bem o que você vai fazer, tá ok? É uma intenção para uma ação, uma intenção para uma decisão. Sistema 1 é para isso. Sistema 1 é para isso, certo? Existe uma entrada de texto, existe uma intenção do usuário e a saída é uma decisão ou uma ação muito específica, beleza? Então, fica esperto com isso. Eu

23:20 acho que esse negócio veio para ficar, tenho quase certeza disso, tá? E vale muito a pena você usar aqui, ó, o It’s Fine para retreinar o Laya. Se você quiser saber um pouco mais sobre o Witfine, o Witfine é um framework feito por mim, certo? E eu o lancei no meu livro de fine-tuning. Para ter acesso ao It’s Fine, você adquire o livro e vem para a nossa mentoria; lá, você vai aprender todos os detalhes de como usar o It’s Fine e como baixá-lo na sua máquina. Beleza? Espero que você tenha gostado deste vídeo. Vou deixar

23:51 aqui, ó, mais dois vídeos de inteligência artificial para você aproveitar. Um grande abraço para você e até a próxima.

Transcrição original

[00:00] A gente sabe que a rede neural J está fazendo um sucesso danado. Todo mundo quer usar JV, mas apareceu uma outra rede neural que você executa no seu computador local que consegue ser 10 vezes mais rápido que o JV. Ela se chama Laia. Entretanto, pesquisadores mostraram que o Lia sofre com problema de acurácia. Mas hoje eu vou mostrar que se você retreinar a rede neural Laia para o seu problema específico, ela consegue ter uma curácia que bate o

[00:31] Jeff. E é o que nós vamos fazer hoje, retreinar a Rede Laia com os dados específicos dos golpes em Pix. [música] >> Olá, tudo bem? Eu sou o Sandeco, sou professor e pesquisador no Instituto Federal de Goiás. e na Universidade Federal de Goiás. E se você gosta de inteligência artificial descomplicada, mas sem perder a profundidade técnica, considere se inscrever aqui no meu canal, ative as notificações e se você

[01:02] quiser falar comigo, aqui embaixo tem um link para um grupo de WhatsApp, eu vou instalar para conversar com você. Muito bem, da aplicação que eu criei comparando o JV com Deepsek, eu simplesmente substituí o Deepsic pelo Lia e troquei a linguagem para Rust. E agora a gente vai rodar as duas redes neurais sem mexer em nada na configuração original do LIA. E aí você vai ver que o Laia é muito rápido, mas tem um probleminha aí de acurácia e que depois a gente vai resolver ainda nesse vídeo. Fazendo um retreino da Ll com

[01:34] dados de fraude, tornando a rede ultra especialista nesse problema. Vamos lá. Olha só, estamos aqui no detector de golpe Jeev versus Lia. Lembrando que o JEV tá rodando lá no servidor da Type Safe e o Ria está rodando aqui na nossa máquina, tá? Então eu vou deixar aqui no modo normal porque eu já quero que você veja a velocidade das coisas e vou iniciar aqui. Vamos lá. Olha a velocidade das coisas. Olha o tanto que o L é mais rápido. Cada

[02:05] brilho desse é a detecção de um golpe, tá pessoal? Você veja que Rust agora ficou com cara de Python, [risadas] né? com deepsic comparado ao la quer dizer ele já tá 10 vezes mais rápido só de ver aqui ó porque tá entre aqui 70 e 77 tava 60 fica muito, mas muito rápido mesmo esse processo tá com o Laia. Por que que é mais rápido, né? Porque o la tá rodando na minha máquina, então não há latência de rede aqui. Quando você tá trabalhando com JV ainda, apesar dele

[02:38] ser muito, mas muito rápido, ainda existe uma latência de rede, tá? Que vai lá no servidor, lá no servidor da TypeSfe para fazer a classificação. É rápido. É rápido. É em milissegundos. É em milissegundos, né? 200 milsegundos. Eu vou me esperar só chegar no fim que eu quero mostrar para vocês agora a acurácia, né? Porque uma coisa importante, pessoal, vocês têm que entender uma coisa, não é simplesmente chegar e comparar o valor de velocidade de uma coisa, certo? Eu posso fazer uma coisa muito rápida e não ser boa

[03:10] naquilo. Eu posso fazer um pouco mais devagar e ser muito boa. Então, as as comparações elas têm que ser mais completas, tá? Quer dizer, você tem que comparar lá o gasto financeiro da coisa, a velocidade de processamento, mas também o quão bom é esse modelo, tá? E é isso que nós vamos fazer agora no final, tá? OK. Então você deve estar perguntando, Saneco, como é que você configurou o JV nesse projeto e também como é que você baixou o Laia para a sua máquina para você configurar no projeto e rodar dessa forma e fazer o retraino.

[03:44] Quarta-feira agora, certo? Eu vou falar exatamente sobre isso na mentoria do livro It’s Fine, beleza? Lá dentro eu vou mostrar todas as configurações, como você baixa, como você cria uma conta no JV, como você baixa o lá e como é que você retreina em detalhes. Beleza? Mas fica comigo porque nesse vídeo eu vou mostrar o retreino e depois o resultado final depois do retreino do Laia. Não sai daí não. Muito bem, o processamento chegou ao fim. Vamos ver a diferença então da acurácia de um com o outro. Bom, a primeira coisa mais importante

[04:15] que a gente vê aqui é a velocidade de processamento quase 10 vezes mais rápido para o Laia. Beleza? Depois a gente vê que o Jev só erra em encontrar um golpe, mas o problema principal aqui está no Laia, porque quase 1/3 das mensagens que são mensagens honestas, o Laia acha que é golpe e aí dá esse falso positivo e aí a precisão cai absurdamente para 20%. Então, o LIA ele é muito rápido, ele tem

[04:46] um custo zerado para você, mas o problema é que ele é um tanto quanto mais fraco que o JV. Porém, existe uma solução. Se a gente fizer o Laia especialista em um determinado assunto e nesse caso fazer ele especialista em detectar mensagens de Pix que remetem a golpes, aí a gente pode fazer com que o Lia seja melhor que o Jeev. E essa é que é a ideia. Por isso que hoje eu quero

[05:18] mostrar para vocês aqui o It’s Fine. O It’s fine é esse framework que a gente vai pegar a LLM, baixar a nossa máquina, preparar novos dados para retreinar o Lia, enviar esse retreino para uma GPU externa na nossa máquina, receber de volta na nossa máquina e fazer com que o Lia faça uma competição direta com Jeev. Só que agora um Laia ultra bombado, ultra especialista. nessa tarefa de

[05:49] identificar pics falsos. Bom, a primeira coisa que a gente tem que fazer aqui é chamar, né, o fine start. Beleza? Esse comando aqui é onde eu vou definir com o framework qual a intenção em retreinar, né, a inteligência artificial efetivamente. E eu vou começar dizendo assim: “Quero retreinar o Laia para detectar golpes de Pix nesse projeto.” O Laia deve responder as mesmas quatro perguntas que esse projeto manda ao JEV na função questions. E aí ele fala o

[06:24] endereço aqui, né, do JEV, né, golpe, tipo, urgência e se peds, tá? A entrada é remetente e mensagem, igual o corpo que vai para o JV. E aí, pessoal, aqui do lado, olha, veja bem, aqui do lado eu tinha os dados originais onde eu mandei essa informação para o Jev, certo? E para o LIA normal. Beleza? Só que agora o que eu vou ter aqui são os dados laia. Aqui, ó, esses dados laia são dados

[06:54] sintéticos que foram gerados, tá, para retreinar o laia. Quando eu digo que eu quero usar o Google Colab, o que vai acontecer? O It’sFine vai fazer uma conexão na sua máquina local com o Google Colab. Você vai enviar o notebook para o Google Colab. Eu vou mostrar esse processo. Quando chegar lá, você vai executar uma célula e aí ele vai te dar um, você vai fazer download de um arquivo. Quando o It’sfine encontrar esse arquivo na pasta de download da sua

[07:25] máquina, ele começa o treinamento direto. Ele conecta, né, via Cloudfare, criando um túnel entre a sua máquina e o Google Colab, enviando os dados de forma protegida, executando o treinamento lá no Colb, monitorando o treinamento via It’s Fine local. Você vai ver no retreino aqui acontecendo na sua máquina. E quando o treinamento é concluído, ele baixa todas as informações dos adaptadores, né, da rede neural que foi treinada. Isso é legal para caramba, porque gera uma proteção incrível nos seus dados que vai ao CLB e

[08:00] volta. Beleza? Aqui embaixo, pessoal, eu só vou dizer para ele aonde estão os dados de treinamento, né? que os dados estão em dados traçulaia, que ele pode ler. O treino terá quase 3.000 mensagens, 554 mensagens de validação e as mesmas 1000 mensagens lá que a gente faz o teste e ele fala: “Ó, o teste é congelado, ele não pode ser usado para ajustar, só entra na avaliação final, que é quando a gente vai rodar aqui para ver realmente a diferença do LAIA

[08:30] retreinado mediante a comparação com Jeev. Então vamos nessa agora. Vamos retreinar a rede neural Laia. Muito bem. Ele diz aqui, ó, que o objetivo foi congelado e que agora eu preciso abrir o Colb. E o que é o Google Colab? Você sabe que para treinar uma rede neural a gente precisa de GPU e muito provavelmente pode ser que você não tenha uma GPU na sua casa. Beleza? A minha GPU roda no meu notebook. Aqui nessa máquina eu tenho uma GPU, mas a GPU não é tão boa assim como no notebook. Então, o que você pode fazer

[09:03] quando você não tem uma GPU? Você pode usar uma GPU emprestada do Google gratuitamente, tá? Você pode usar até 12 horas lá, né, por dia e tem um período aí de 24 horas de parada, digamos assim, mas você pode usar para treinar as suas redes neurais. E é isso que a gente vai fazer. Vamos usar o Google Colab com a GPU gratuita do Google para treinar nossa rede neural. Google Lab é uma área de treinamento de inteligência artificial que você pode usar gratuitamente, tá? OK. Eu vou voltar aqui. Ele diz o seguinte, ó. Vai em

[09:36] arquivo, né, e faço o upload aqui do Fine Colab V1. Esse Fine Colab V1 está dentro das rodadas do Fine aqui. Entine runs, tá vendo? Se você abrir, você vai encontrar exatamente, né, dentro da V1, que é a primeira rodada, você vai encontrar aqui, ó, o It’s fine collab V1. Beleza? Então, o que a gente vai fazer é exatamente isso aqui, ó. Vou clicar com o botão direito em cima, vou pedir para revelar no Explorer. Aqui agora eu posso ver, né? Está revelado no Explorer. E aí eu vou fazer o seguinte, eu vou simplesmente fazer o upload desse

[10:09] notebook aqui para cá. Então vem aqui, ó, fazer upload de notebook. E aí eu posso arrastar aqui para dentro. Então aqui, ó, vou pegar e arrastar o notebook aqui para dentro. Olha como é simples. Depois que ele faz isso, ele sobe e fica esperando uma conexão com o Google Colab, tá? Aqui já tá falando, né, que é o WF na versão 009. Tem que vir editar aqui configurações e alterar aqui, né, de para Python V3 usando a GPU T4, tá? OK. Eu salvo isso aqui. E aí eu faço o

[10:46] seguinte, eu simplesmente dou play aqui e aí ele vai entregar, né, uma codificação aqui. Não tem problema, é grande isso mesmo. Isso aqui é a codificação base 64 do código. E aqui ele vai pedir, ó, você autoriza o FINER para parar esse colab. E aí você vem aqui e diz simplesmente sim, tá? Pode ser maiúsculo, ou minúsculo, vai funcionar. Lá embaixo você vai esperar ele fazer uma conexão, né? vai criar um arquivo de conexão do ETS Fine com o Colab. Ele vai pegar um arquivo, vai baixar um arquivo em downloads, tá? E o

[11:18] Fine encontra em downloads automaticamente. Na verdade aqui, pessoal, o Fine ele já tá procurando. Ele diz aqui, ó, eu tô procurando aqui, vou esperar por 15 minutos essa conexão, né? O arquivo deve aparecer em downloads, beleza? Ele tá esperando aqui que depois que ele terminar, ele vai mandar para o Coleb 650 M de informação para treinar, né, a rede neural. Então vamos ver aqui como é que tá acontecendo. OFINE tá instalando o pacote. Eu vou acelerar um pouquinho o vídeo. Muito bem, chegou aqui já o arquivo, ó. Eu vou salvar em downloads, tá? Vou simplesmente salvar aqui,

[11:51] pessoal. Não faço mais nada. Salvei aqui. Volto lá no Fine e o FFINE vai começar a reagir automaticamente. Quer ver? Ó, você vai ver aqui, ó. Ele já começa, né? Ele já diz que abriu, ó, achou a informação e ele vai começar a fazer o treinamento agora automaticamente, tá? Você pode deixar ele quietinho aí e ele vai mostrar para você, né, todas as os processos. Já achou aqui, ó, Colb tá conectado com tel Tesla T4, tá com 15 GB e nada em uso.

[12:21] Beleza? Então, o notebook tá limpinho e ele vai começar então aqui fazer o envio, né, das informações pelo túnel que ele criou entre o seu computador e o Colb usando o cloudfir, tá bom? É isso. Ele fala aqui também, ó, que vai fazer uma sondagem e disse, né, deixe a aba do Colb aberta. Você não pode fechar essa aba aqui, tá? Ele vai usar esse processo para treinar sua rede neural de forma externa e trazer a informação de volta pro seu computador. Isso é legal se você não tem uma GPU para retreinar essa rede neural. Beleza? Já já vai concluir aí

[12:57] com as métricas da do treinamento e depois nós vamos rodar os duas as duas redes neurais comparando o Jeev normal com o Laia retreinado para esse problema. Terminado o treinamento aqui do Lia, certo? Se a gente olhar no CB aqui, a gente tem como ver o treinamento como foi e aqui os passos todos do treinamento dentro do CLEB, ó. Você vai ver que o loss, né, que é o erro, digamos assim, que a gente chama de erro no treinamento uma rede neural, caiu de 0, de 79%, né? 0.79 aqui para zero. Beleza? Então o erro foi zerado aqui no

[13:33] nosso treinamento que saiu muito bem o sinal. Eu vou pedir então agora pro It’s fine fazer o seguinte, ó. Ele diz um bocar de coisa aqui, faz uns relatórios e tudo mais. E ele fala aqui, ó, que também fez uma medida de velocidade na CPU, tá? Que cada predição na CPU leva 22 segundos para carregar o modelo e fazer a predição. Beleza? É isso. Mas agora eu vou pedir para o o Cloue fazer um relatório de um relatório final, né? Uma entrega e o relatório final. OK,

[14:04] Claud, eu quero que você faça um uma entrega final e eu quero que você geref, né, do que foi que aconteceu no nosso retreino aqui com Witfin Fine. Beleza, Cloud? Terminou aqui esse relatório do retreino do Lia, então vou clicar com o botão direito aqui em cima, pedir para revelar no Explorer aqui, vou mostrar aqui. Clicou duas vezes, vai aparecer pra gente esse relatório. É o relatório do retraino do L gerado pelo Hitfine, tá? Que foi aqui, né, de 25 de setembro, hoje numa sexta-feira. Beleza? Aqui, ó, o resultado, né, eh, aqui embaixo é

[14:37] interessante porque traz tudo, todos os detalhes, né, o que foi pedido, tal, né, os dados, todos os detalhes dos dados, o modelo, o ambiente onde foi gerado, né? Ele fala aqui que foi gerado no Coleb, né, a linha de base, né, o Laia antes do treino falando aqui, ó, a a como ele era muito ruim, né, 72% chute pela frequência, La sem treino, muito fraco mesmo, tá certo? Para essas para esses três tipos de pergunta. Depois a gente travou o objetivo que foi congelado com

[15:07] as informações que a gente queria, uma curácia ali que a gente queria como objetivo mais ou menos 90%, né, e tudo mais. o retreino no Colb. Aí ele mostra aqui o tempo, né, de treino, como é que foi. Demorou 32 minutos lá com pico de memória de 6.5 GB, por isso que precisa de uma placa de vídeo boa para treinar, tá? Aí tem aqui, ó, a validação sem o Laia e com o Laia treinado. Então você veja que para golpe, né, identificação de golpe chegou a 98%, 100 era 85%,

[15:39] tipo 74%, urgência ficou em 51, ficou baixo, né? Mas tudo bem. E pad ficou em 95%. Então ele olha muito aqui a questão do golpe com o pad ele vai identificar os golpes lá direitinho, tá? Então depois tem como a gente melhorar essas métricas aqui, né? Ensinando mais coisas dessas classes aqui. Beleza? Mas por enquanto para que a gente precisa fazer aqui deu muito certo, né? Veja que os dados de treinamento, pessoal, ele é um dado separado, diferente do dado que vai ser testado já, que eu vou mostrar rodando junto com o Jeev, tá? Eles são

[16:12] separados. Uma coisa não tem nada a ver com a outra, porque ele precisa generalizar o modelo. Mas enfim, no final das contas o JVS saiu muito bem, né, com o acerto aí do lá treinado acima de 95%, que era o que a gente esperava como resultado. Saiu muito bem. E aqui embaixo, ó, a gente também tem eh algumas limitações, tá? Ele falando ali a questão de 100%, tem o lance da do overfitting, que a gente tem que tomar cuidado. Então depois é muito legal a gente poder retreinar essa rede com mais dados, tá? para reduzir um pouco esse

[16:44] overfeiting, se houver realmente overfeiting aí nesse caso, tá? OK. Então agora o que eu vou fazer é o seguinte, eu vou pedir aqui para o para o o Cloud ativar o servidor pra gente rodar comparando o JV, né, original com o Laia bombadaço treinado aí com a nossa base de dados eh nova, né, entendeu? com o nosso problema específico, ele sendo especialista em detectar golpes. OK, Cloud, eu quero que você agora ative o servidor lá que da comparação entre o

[17:16] Lia e o Jeev. Então, vou só mandar aqui e agora a gente vai poder comparar o Lia com o JV. Beleza? Agora é a hora da verdade. Temos o JV original aqui e o Laia numa versão V2, certo? E essa versão V2 é uma versão retreinada para o problema de detecção de golpes. Agora o nosso nossa rede neural, né, ela é especialista nisso, beleza? Ela é especialista nisso. Então vamos colocar

[17:49] aqui no modo normal e iniciar e verificar, né, a velocidade e a acurácia. Vamos lá. Então você veja que a velocidade, né, do laia ainda continua a mesma coisa, muito rápido, pessoal. em detecção de golpes, tá? Lembrem-se que são 75 golpes, tá? E 925 mensagens, OK? Então, se o Laia conseguir fazer isso aqui, ó, encontrar aqui, significa que ele atingiu o objetivo porque ele foi retreinado, né, com uma base de dados à parte. Ele não

[18:22] conhece essas mensagens agora, tá, pessoal? Essas mensagens que ele tá reconhecendo aqui, eles não ele não conhece. Mas como ele foi treinado e generalizado para esse problema aqui dos golpes, veja que agora, ó, ele consegue encontrar todos os 75 golpes e também definir todos os 925 ah todas as 25 925 mensagens que estão OK, que não tem problema nenhum. Vamos agora aguardar o JV terminar, certo? Porque veja que ainda além disso ele deu uma acelerada, né? ficou muito rápido. Agora só com 23 msundos de processamento

[18:57] médio, ó, de mediana. Então, ficou muito bom. Agora eu vou esperar terminar, certo? E aí a gente vai abrir o relatório de acurácia e ver, né, o que tá acontecendo lá dentro para comparar com o que tinha anteriormente, tá? Vamos lá. Relatório da curácia. Basta clicar aqui em cima em relatório de acurácia e nós teremos aí o tempo, né, do Jev de 269 segundos e 70 segundos. E aqui 28 segundos, pessoal, 10 vezes mais rápido

[19:28] mais uma vez. E agora, olha o que aconteceu aqui embaixo, né? Nós temos aqui ainda uma mensagem, um golpe não foi eh encontrado, não foi definido pelo J, passou batido pro J. Agora aqui no Laia, olha isso. 75 mensagens que eram golpe foram pegas normalmente pelo Laia retreinado e as 925 mensagens que são verdadeiros, né, que são não eram golpes, também foram selecionadas normalmente. E aí aqui embaixo, né, comparando, a gente tem uma curácia de

[20:01] 99.9% para o Jeev e de 100% para o Laia, tá certo? Isso acontece, pessoal, porque como a gente treinou com um volume maior de informações e equilibramos ali as mensagens de golpe, a o Laia, né, conseguiu definir muito bem o que que é um golpe, né? E aí a gente tem quando a gente volta para as 1000 mensagens que ele não viu, aí ele consegue definir isso muito bem, tá? E aí, ó, uma coisa bacana que o custo aqui é zero, então

[20:33] velocidade máxima, tá? Acurácia máxima e custo zero. Esse é o Lia versus Jeev. O Lia retreinado pelo framework. It’s fine. Muito bem. Considerações finais. Primeira coisa, ninguém matou ninguém nessa história. Beleza? A gente tem que tomar cuidado com esse mata-mata de coisa aí, pessoal, tá? O Laia não matou o Jeev. O caso aqui é que porque o Laia tá rodando o local, né, na máquina, no minha na minha GPU local aqui, tá? Ele

[21:08] ficou muito mais rápido, certo, do que o Jeev, OK? Só que tem um problema, ele agora e tá ele tá muito específico para o problema do golpe. Então se você precisa de uma rede neural que vai detectar aquilo ali especificamente, show de bola, Laia é a melhor opção. Agora, se você precisa de uma rede neural, né, system one, como o Jeev e o Lia, que tem uma abrangência maior de assuntos, nesse caso aí o Jeev, beleza? por mais que ele tenha um pouco

[21:41] aí de uma curácia um pouquinho comprometida, né, que o pessoal já tem falado aí no Twitter que acontece isso aí. Só que tem umas coisas que eu quero que você pense comigo um pouquinho. Veja, quando eu tenho um projeto que tem um systemada, o significa o seguinte: eu tenho uma entrada de intenção em linguagem natural, certo? a pessoa fala alguma coisa e o modelo entende e a partir desse entendimento ele toma decisões, tá? Isso é muito bom e tem

[22:13] cara muito forte e cheiro muito forte paraa área robótica, pessoal. Na área de robótica isso vai ser incrível. Eu já até falei, né, em um artigo científico que eu escrevi há pouco tempo, um post também que eu fiz no meu no meu blog, que cara, eu usaria esse troço em carro autônomo tranquilamente, né, para ler placas ou informações na rua que não dá para ler em placa comum de sinalização, entendeu? Então assim, aí você pode trabalhar tanto com JV como Lia, sabendo

[22:46] que o Lia para você ter uma boa execução, você precisa fazer um retreino dessa rede neural, certo? Com um problema específico, tá bom? Então veja bem o que você vai fazer, tá OK? É uma intenção para uma ação, uma intenção para uma decisão. System One é para isso. System One é para isso, certo? Existe uma entrada de texto, existe uma intenção do usuário e a saída ali é uma decisão ou uma ação muito específica, beleza? Então fica esperto com isso. Eu

[23:20] acho que esse negócio veio para ficar, eu tenho quase certeza disso, tá? E vale muito a pena você usar aqui, ó, o It’s Fine para retreinar o Ler. Se você quiser saber um pouco mais sobre o Witfine, o Witfine é um framework feito por mim, certo? E eu lancei no meu livro de Fine Tunning. Você para ter acesso ao It Fine, você adquire o livro e você vem pra nossa mentoria e lá você vai aprender todos os detalhes como usar o It’sfine e como baixar o Itfine na sua máquina. Beleza? Eu espero que você tenha gostado desse vídeo. Vou deixar

[23:51] aqui, ó, mais dois vídeos de inteligência artificial para você aproveitar. Um grande abraço para você e até a próxima.