Aula completa de 2 horas sobre fine-tuning

Ver no idioma original →

Autoria: Sandeco · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: português

Vídeo original: GRÁTIS: AULA COMPLETA 2 HORAS SOBRE FINE-TUNING · Canal: Sandeco · 1:55:26 · Assistir no YouTube

Tópicos: Engenharia de prompts e contexto, Modelos de IA, Modelos locais e open source, RAG, busca e recuperação de informação

Resumo

Sandeco apresenta conceitos de fine-tuning para iniciantes, usando o exemplo de um assistente veterinário que precisa compreender expressões regionais e conhecimentos específicos. A aula compara fine-tuning, prompt e RAG, explicando quando cada abordagem é mais adequada e por que a qualidade e o volume dos dados são importantes. Também apresenta o framework It’s Fine e o fluxo de trabalho planejado para preparar dados, escolher modelos, treinar, avaliar e exportar resultados. Ao longo da sessão, responde a perguntas sobre técnicas de ajuste, dados sintéticos, ontologias, recursos computacionais e combinação de fine-tuning com RAG.

Pontos-chave

• Fine-tuning adapta um modelo a estilos, formatos e domínios específicos; não é necessário retreinar o modelo inteiro.
• Prompts bem elaborados podem resolver mudanças de comportamento sem exigir fine-tuning.
• RAG é indicado para informações pontuais ou atualizadas, enquanto o fine-tuning pode incorporar padrões e conhecimentos mais consolidados.
• Combinar RAG e fine-tuning pode ser útil: o primeiro fornece informações específicas e o segundo ajuda a estabelecer estilo ou formato.
• A quantidade e a qualidade dos dados influenciam os resultados; dados ruidosos ou insuficientes podem prejudicar o treinamento.
• Dados sintéticos podem ampliar um conjunto de treinamento, por exemplo, com conversas simuladas por LLMs.
• LoRA e QLoRA são apresentados como adaptadores que permitem ajustar modelos com menos recursos computacionais.
• O framework It’s Fine organiza etapas como curadoria de dados, escolha do modelo, definição de métricas, treinamento, avaliação e exportação.
• O fine-tuning não garante precisão em datas, números exatos ou fatos que mudam com frequência.
• O professor destaca que as escolhas e os resultados precisam ser testados; não há garantia universal de que uma abordagem funcionará.

Capítulos

Início	Capítulo	Resumo
00:00	Apresentação da aula e do fine-tuning	Sandeco apresenta a mentoria e introduz a proposta de explicar fine-tuning desde os conceitos básicos.
02:04	O exemplo da clínica veterinária	A história de uma vaca descrita como estando com “tristeza” mostra como expressões regionais podem exigir contexto especializado.
06:19	A analogia entre residência e ajuste do modelo	O professor compara a experiência prática de um recém-formado ao ajuste de um modelo já pré-treinado.
12:30	Pré-treinamento, modelos abertos e fine-tuning	A aula diferencia o custo do treinamento inicial do ajuste posterior e comenta o acesso a modelos abertos.
15:09	O que o fine-tuning altera	Os participantes perguntam sobre parâmetros, dados, estilo de escrita, idiomas e destilação.
26:07	Como escolher entre prompt, RAG e fine-tuning	Sandeco apresenta as diferentes abordagens como ferramentas que devem ser escolhidas conforme o problema.
32:26	RAG para informações atualizadas	O professor explica como buscar informações em uma base e fornecê-las ao modelo no momento da consulta.
38:09	Combinar RAG e fine-tuning	A conversa aborda o uso conjunto de informações recuperadas e padrões aprendidos pelo modelo.
47:30	Dados, treinamento e recursos computacionais	Os participantes discutem o escopo do fine-tuning, o retreinamento de pesos e o uso de LoRA e QLoRA.
55:12	Casos de uso e ciclo de vida do modelo	A aula compara o uso de RAG e fine-tuning em dados esportivos, aplicações empresariais e informações sujeitas a mudanças.
1:13:39	Limites do fine-tuning e simplicidade	Sandeco explica quando evitar o ajuste, o que ele pode aprender bem e por que não substitui a busca por fatos exatos.
1:21:56	O framework It’s Fine e suas etapas	O professor apresenta o framework como um assistente para organizar dados, escolher modelos, treinar, avaliar e exportar.
1:37:05	Intenção, ontologias e preparação dos dados	A discussão relaciona a intenção do sistema ao tratamento dos dados e explica ontologias como estruturas de conceitos e relações.
1:51:45	Hardware, execução local e encerramento	Os participantes perguntam sobre GPUs e modelos locais, e Sandeco encerra a aula anunciando a continuação da mentoria.

Citações

Você não precisa retreinar a sua LLM inteira para ela se adaptar ao seu problema, à sua empresa, ao seu negócio. — 09:55

A engenharia de prompt não morreu. — 29:50

O RAG é uma cola de prova. — 36:36

Nada na IA é garantido. Você tem que pegar os dados, ir lá fazer a coisa, experimentar, testar. — 46:27

Conceitos e entidades

• fine-tuning (conceito): Processo de ajuste de um modelo pré-treinado para adaptá-lo a padrões, estilos ou domínios específicos.
• RAG (conceito): Abordagem que busca informações em uma base de conhecimento e as fornece ao modelo durante a consulta.
• prompt (conceito): Instrução fornecida ao modelo, que pode orientar o formato e o comportamento da resposta.
• LoRA (conceito): Técnica de ajuste que usa adaptadores para modificar um modelo sem retreinar todos os seus pesos.
• QLoRA (conceito): Variante quantizada de LoRA apresentada como uma forma de reduzir os recursos necessários para o treinamento.
• destilação (conceito): Técnica descrita na aula como o uso de um modelo mais potente para gerar respostas que ensinem um modelo menor.
• dados sintéticos (conceito): Dados gerados artificialmente, por exemplo, conversas simuladas, para ampliar o conjunto de treinamento.
• ontologia (conceito): Representação formal dos conceitos de um domínio e das relações entre eles.
• Transformer (modelo): Arquitetura mencionada como base dos LLMs atuais e originalmente desenvolvida para tarefas de tradução.
• It’s Fine (ferramenta): Framework apresentado na aula para organizar e auxiliar o processo de fine-tuning.
• Google Colab (ferramenta): Ambiente na nuvem citado como opção para executar experimentos e treinamentos com acesso a GPU.
• Ollama (ferramenta): Ferramenta mencionada para baixar e executar modelos localmente.
• Sandeco (pessoa): Apresentador e professor que conduz a aula e responde às perguntas dos participantes.

Tradução completa (pt-BR)

00:00 Que bom que você clicou. O vídeo de hoje vai ser um pouco diferente. Vai ser uma aula completa que ministrei ontem na mentoria do livro de fine-tuning para leigos, tá? É para leigos mesmo. E vou deixar tudo completamente aberto e gratuito aqui para você: um conteúdo muito rico, com muitas discussões, muitas perguntas e respostas técnicas da minha parte, que acho que você vai gostar bastante. Além disso, estou deixando aqui na descrição o link do

00:30 primeiro capítulo do livro de fine-tuning para você acompanhar todo esse conteúdo em detalhes. E olha, se você gosta de conteúdo de dados complicado, considere se inscrever no meu canal e ative as notificações. Se quiser falar comigo pessoalmente, venha para o nosso grupo de WhatsApp. O link está aqui embaixo, na descrição, e vou estar lá para responder você. Então é isso: prepare a pipoca, ajeite-se no sofá e vamos nessa. [música]

01:02 [música] Olá, tudo bem? Como é que você está? Está chegando aqui agora com a gente. Nós estávamos conversando um pouquinho aqui, mas você que está vendo agora, depois, e não pôde estar com a gente na mentoria: estamos começando mais uma mentoria aqui do canal Sandeco, sobre fine-tuning. E a gente vai falar sobre fine-tuning nesta mentoria, começando pela parte bem leiga e indo até uma parte um pouco mais avançada, né? E também vamos apresentar nesta mentoria o framework chamado

01:33 It’s Fine, tá? Toda mentoria é feita para leigos, né? Então, a gente está com bastante animação, desenhos e usando os recursos do Mira Animator para nos ajudar. E, bom, é uma pena que você não pôde estar com a gente aqui, mas, na próxima vez, tente estar com a gente. Vai ser bem legal. Beleza, vamos começar. Então, vou compartilhar minha tela aqui para a gente começar. Vou começar compartilhando com vocês a tela inteira, e tal, para a gente começar a discutir sobre o que

02:04 é esse danado desse fine-tuning de que o pessoal sempre fala, né? Mas, essencialmente, vou contar um probleminha que aconteceu aqui em Goiás, que é a história da Marina, que está dentro do livro. É uma história engraçada, porque foi a história da criação de um assistentezinho para uma clínica veterinária, certo? Então, o produtor ali, na fazenda, entrou em contato com a clínica. Entrou

02:36 em contato pelo WhatsApp para perguntar o que estava acontecendo, a que horas abria, como funcionava e tudo mais. E, em algum momento, o produtor perguntou o seguinte: “Doutora, minha vaca está com mole-mole, o casco soltando. É tristeza.” Olha essa mensagem. [risadas] Não é? Se fosse você, o que responderia? Entendeu? Você poderia dizer: “Ah, vai que o boi morreu, né?” [risadas]

03:10 Você está entendendo? Agora, um bot, o que vai responder? O bot vai responder: “Sinto muito que você esteja triste. Beleza? Veja, é um contexto totalmente fora do assunto. Mas respire fundo, beba água, fique tranquilo”, certo? [risadas] “Peça ajuda a alguém.” Quer dizer, a interpretação do bot ali é muito fraca, certo? Está rodando localmente. Por quê? Porque, nesse caso aqui, né,

03:41 especificamente, “tristeza” tem dois sentidos. Nesse caso aqui, especificamente, né, pode ser tristeza no sentido de sentimento, mas “tristeza”, para o produtor goiano falando da vaca, é o nome de uma doença, a babesiose, certo? É uma doença que existe. A vaca vai ficando triste assim e tem alguns problemas nos cascos. Exatamente: cascos soltando e com moleza. É uma doença, certo? Só que não é que a IA não saiba sobre a doença,

04:12 beleza? Se perguntar “É babesiose?”, a IA saberia. Mas, como o produtor rural fala na linguagem do goianês, né, ela não vai entender, entendeu? Então, o que a Marina pode fazer neste caso, né, é dar informação para a inteligência artificial e fornecer um contexto para ela, treinando, retreinando, fazendo ajuste fino, beleza?

04:43 para que agora ela possa conhecer esse problema, beleza? Muito simples. Não é que a IA não preste para nada; é porque esse contexto é muito específico, tá? Ela não vai saber. Ela não foi exposta a isso. É a história do 9.9 e do 9.11, entendeu? Esse contexto não foi apresentado ali, está vendo? Então, por isso que tem esse tal de “mole-mole”. E agora, quando se envia a mensagem de novo, a inteligência artificial pode dizer: “Ah, entendi. Você está falando da saúde da vaca, né?”

05:14 Entendeu? Então, basicamente, estou trazendo aqui um contexto de informação em que forneço à inteligência artificial não somente a informação em si, mas também a forma de interpretar o jeito como se fala aqui, entendeu? Então, posso passar essa informação para que a gente possa simplificar e melhorar a conversa entre o produtor rural que está lá na ponta e a própria clínica aqui no interior de Goiás. Beleza? É isso.

05:47 [roncando] Então, é a mesma pergunta, certo? Com duas saídas de modelos diferentes, né? “Minha vaca está com tristeza.” Então, o modelo base é genérico; ele não conhece o domínio. Então, toda vez que você precisa que a sua inteligência artificial conheça o domínio, precisa fazer um ajuste na sua LLM, beleza? Então, esses são os caminhos possíveis que temos. Aí tem a metáfora do recém-formado, certo? Se a gente for com

06:19 Sempre que tento, quando eu… Eu sempre disse para vocês o seguinte: quando a gente quer resolver um problema de inteligência artificial, olhe para como o ser humano resolve o problema e tente fazer igual. Por quê? Porque a inteligência artificial nada mais é do que a imitação do comportamento humano, né? Eu já falo isso há muito tempo, beleza? Mas veja só o que acontece. Imagine que agora, em vez de não ter inteligência artificial, chegou um recém-formado em veterinária. Então, esse cara sabe sobre fisiologia, sabe sobre farmacologia,

06:50 sabe ler um exame, sabe tudo, pô. Certo? Só que ele não tem vivência prática no campo, digamos assim, na veterinária. OK? Isso acontece em todos os lugares, em todas as áreas do conhecimento. Por isso que eu falo que o professor, por exemplo, é algo que nunca vai mudar, nunca vai morrer. Professor de verdade é aquele cara que é mestre e mentor, digamos assim, né?

07:21 Por isso que gosto que os nossos encontros se chamem mentoria, porque a mentoria tem muito a ver com a vivência prática. Conhecimento, pessoal, se vocês quiserem adquirir nas redes sociais ou conversando com ChatGPT e Claude, conseguem do mesmo jeito. Mas por que vocês vêm aqui? Tem 124 pessoas aqui que compraram o livro e estão atrás de mim. Porque existe uma vivência, entendeu? Tenho experiência de um tempo na área de inteligência artificial que posso passar para vocês, mas o conhecimento vocês podem ter, certo? Em

07:52 qualquer lugar. Então, por isso, acho que a educação vai por esse caminho, sabe? A educação vai muito pelo caminho da mentoria, não tanto pelo ensino, pela transmissão do conhecimento, mas, sim, pela transmissão da vivência, né? É igual àquele filme, Gênio Indomável. Quem assistiu àquele filme, Gênio Indomável? Vocês lembram daquela cena em que ele provoca o psicólogo, o psicólogo pega no pescoço dele, né? E depois eles

08:23 se encontram ali numa praça, digamos assim. E aí ele fala: “Não, eu fiquei relaxado porque, depois que fui dormir, percebi que você é só um garoto. Você pode falar de amor, mas nunca teve… nunca amou alguém, né? Você pode falar de guerra, pode falar de todas as guerras que já existiram, mas nunca esteve numa guerra com um amigo morrendo no seu colo, entendeu? Então, assim, a vivência faz muita diferença, porque a vivência, o que

08:53 É? É pegar o conhecimento e pôr em ação, né, para solucionar problemas, que é um dos maiores problemas que a gente tem na computação, né? Nós, na computação, temos muita solução para muita coisa, mas temos poucos problemas para resolver. Sempre foi um problema para a gente, né? Quando chega ao final do curso de computação, começa o desespero dos alunos, né? Atrás de tema para TCC. Tema para TCC, né? É a maior dor de cabeça que existe nas faculdades e universidades da área.

09:24 De computação, porque sempre é uma questão muito séria. Estou com um aluno meu agora mesmo que está penando para arrumar um tema para o TCC lá, está todo nervoso. Enfim, é isso. Por quê? Porque nos faltam problemas. A gente sabe solucionar as coisas, mas não tem os problemas para resolver, né? Então, da mesma forma aqui, ó, da mesma forma, o que falta aqui é a vivência, né? Ele não sabe que [inaudível], que tem que explicar de uma forma que não assuste os protocolos da clínica.

09:55 Isso não quer dizer que esse cara tem que voltar para a faculdade. Olha essa analogia aqui, que interessante, né? Você não precisa… O que é voltar para a faculdade em termos de LLM? Retreinar tudo. Beleza? Você não precisa retreinar a sua LLM inteira para ela se adaptar ao seu problema, à sua empresa, ao seu negócio, entende? Você não precisa; basta ajustar detalhes, né? É exatamente isso.

10:25 Que a nossa veterinária faz. Passa conhecimento aqui, ó. Passa mais detalhes, né? Certo? De forma que agora ele já sabe o que são essas coisas, os detalhes, o contexto mais próximo do que acontece ali dentro da veterinária, certo? Nesta residência, vou chupar uma balinha aqui, porque tenho que ficar chupando essa balinha o tempo inteiro por causa da garganta. Então, a residência serve exatamente para isso, né? O residente em medicina, o residente em, sei lá, veterinária, o residente…

10:57 Ele tem que fazer isso, né? Ele tem que aprender agora na vivência, né? E não é falta de inteligência, é só falta de vivência, entendeu? E essa falta de vivência vai dar para ele o quê? Mais capacidade, né? Mais capacidade técnica no dia a dia. Beleza? OK? Então, veja que, fazendo esse paralelo, né, a gente tem exatamente a mesma coisa com o médico e o modelo. Você tem a faculdade, que são anos aprendendo ali, né, no geral. Certo? Deixa eu só fazer uma…

11:28 Coisa aqui rapidinho, porque, como estou no meu, preciso ligar aqui o mouse, senão vocês não veem o mouse. Estão vendo o mouse aí? Estão, né? Então, ó. >> Sim, sim, professor. >> Bem que eu poderia fazer outra coisa, né? Dar um pezinho aqui. Posso vir aqui me desenhar, né? Então, na faculdade, né? Faculdade aqui. Então, são anos aprendendo medicina, certo? E a residência é a aplicação, aprendendo aquilo que tem que fazer, tá? É o fine-tuning. Então, os médicos fazem…

11:59 Fine-tuning também, tá? OK. Então, no caso de um aluno de computação, tem o estágio, né? Você vai fazer estágio numa empresa e vai descobrir como é que as coisas realmente são. Aí o cara vai chegar ao estágio da empresa: “Nossa, eu não sei de nada. Achei que sabia as coisas na faculdade.” Acontece muito isso, né? Então, na LLM também tenho aqui o treino e o pré-treino, certo? É onde o modelo fica pronto. Nesta parte aqui se gasta muito tempo, certo? Se gastam muito tempo, dinheiro e todo o resto, recursos.

12:30 Fine-tuning é pegar esse modelo pré-treinado e fazer um pequeno ajuste, né, com algumas horas de GPU, um investimento substancialmente menor. Então, quando você pega o modelo, quando isso aconteceu aqui, a gente percebe o seguinte, ó: por que o DeepSeek derrubou as bolsas de valores dos Estados Unidos, né? Porque primeiro o DeepSeek era um modelo aberto há algum tempo, há quase um ano, beleza? Era um modelo aberto…

13:03 Que tinha uma capacidade muito próxima do GPT O1 naquela época, certo? E o GPT custou 60 milhões, enquanto ele custou somente 5 milhões. Na época, o Gemini tinha custado 200 bilhões, né? Milhões, certo? Milhões, é na casa dos bilhões, 200 milhões em energia elétrica. Beleza? Então, você pensa assim, cara, e o detalhe é o seguinte: o modelo é aberto; qualquer pessoa pode pegar e usar. Então, não preciso fazer todo o…

13:34 Processo de retreino, porque alguém já fez e entregou, tá? Então, quando você pega… Eu não defendo nenhum dos dois lados, tá? Nem os modelos dos Estados Unidos, nem os modelos chineses. Mas, quando você pega os modelos chineses abertos chegando perto dos modelos fechados dos Estados Unidos, é um avanço, pô. Você tem que dizer assim: “Não, isso aí é legal”, né? Porque agora é um modelo superpotente, muito próximo de um modelo como, sei lá…

14:05 Fable ou Astra, e que tem pesos abertos. Eu não preciso gastar os milhões que foram gastos para treinar esse modelo; basta ter um maquinário para usá-lo, porque o custo de uso é uma coisa, o custo de treinamento é outra completamente diferente, sem falar na tecnologia, no conhecimento técnico e no levantamento dos dados, entendeu? Isso é muito mais complexo do que isso aí. Então, tem todo esse processo aqui, tá? OK. Então, é isso aí, ó. Faculdade é igual ao…

14:35 Pré-treino; a residência é igual ao fine-tuning; e a clínica é o uso do modelo em si. Beleza? Temos dúvidas? Agora o pessoal está com vergonha de levantar a mão. É que agora está sendo gravado. >> Pode falar, João. >> Ô, Sandeco, a minha dúvida é a seguinte: a comparação com skill tem alguma coisa a ver?

15:09 >> Com o quê? >> Com as skills. >> Não, não tem relação com skill aqui, não. Tá? >> Não, nenhuma. Beleza. Skill é outra coisa, tá? Tem a ver com o uso, né? A skill está mais no uso aqui, tá? >> Ah, tá, beleza. >> Valeu. >> Felipe. >> Fala, professor. Tudo bem? >> Beleza. >> O fine-tuning, na verdade, então, o termo que você está me falando não é só abrir e ajustar os parâmetros da LLM, mas inserir mais dados, ou seja, mais…

15:40 Tokens novos dentro do contexto de que a gente precisa. Principalmente, principalmente, sabe? Esse é o mais importante. Na verdade, >> vocês vão ver que já existem dois momentos que comprometem o fine-tuning, né? >> Se a gente não der a devida importância, pode não ter um bom resultado. Primeiro é a quantidade… >> e a qualidade dos dados. Beleza? >> Por mais que você… >> Como… >> Eu ia perguntar se, por exemplo, você escolheu um modelo de 4 bilhões de parâmetros, não é? Não, você não…

16:11 Aumenta a quantidade de parâmetros, você só aumenta a quantidade de conhecimento. É isso. >> Só isso. É porque, na verdade, você reajusta os parâmetros, beleza? Você reajusta ali os parâmetros, né? >> Em alguns casos, você reajusta os parâmetros. Em outros casos, como eu falei para você, não reajusta: coloca uma lentezinha na frente com adaptador. >> E, no final, existe fine-tuning que retira contexto do modelo e adiciona novos, ou só sempre acrescenta, sempre adiciona novos?

16:41 >> É, você pode, na verdade… Não é que você retira, mas talvez possa treinar a saída. Essa é uma boa pergunta. Por exemplo, pegar o modelo… Até estava conversando com o Claude aqui sobre isso. Cara, eu estava pensando em fazer um Hello World de fine-tuning. Pensei em fazer uma coisa tipo pegar o BERT e treinar com um modelo de BBM, que é daqueles dos vídeos, né? Só que estou em dúvida sobre qual seria a saída. E aí a gente…

17:13 Discutiu ali e tal, chegamos à conclusão: qual seria a saída? Porque aquele conjunto de dados de filmes, né, é só o quê? É dizer se é bom ou ruim, positivo, negativo ou neutro: a avaliação, entendeu? Então, em vez de ele escrever um texto enorme, você só escreveria “positivo”, “negativo” ou “neutro”. OK? Poderia ser bem besta, né? Porque eu posso conseguir isso só com prompt, mas é válido pelo conhecimento técnico de treinar, entendeu? De forma que você possa regular o que ele vai dizer, mas o…

17:44 Conhecimento, não. Beleza? Não, beleza. Eu tenho mais dúvidas sobre isso, porque você pode, por exemplo, fazer com que ele fale igual a você. Então, ele vai pegar o conhecimento dele e, quando for escrever, vai usar o seu estilo. Essa é a ideia. É, essa é uma dúvida bem, bem importante que você levantou: o jeito que a gente fala, né? Porque a gente fala português, mas os modelos geralmente são treinados com parâmetros em inglês, por exemplo. Não, os modelos atuais são treinados…

18:16 Bom, o GPT-2 foi treinado só em inglês, beleza? Aham. O GPT-3 já era diferente, porque veja bem: o Transformer é um modelo de tradução. Ele foi construído inicialmente para traduzir textos e se saiu muito bem nesse processo, tá? Só que, quando foi treinado, os pesquisadores injetaram texto nele,

18:47 certo? E pediram para ele traduzir. Só que ele começou a traduzir, mas também começou a dizer outras coisas, entendeu? Você perguntava algo para ele, e ele respondia. Então, descobriu-se o quê? “Não, cara, o modelo não é só bom para traduzir; ele também é bom para responder se você perguntar coisas para ele.” Entendeu como é? Então, o Transformer, que é a base de todos os LLMs, é construído a partir da rede Transformer, né? No meu canal tem um vídeo, uma playlist de vídeos, sobre Transformer. E sábado vou dar uma aula completa sobre Transformer na pós-graduação. É uma

19:18 aula que vai durar o sábado inteiro, só sobre isso. A gente vai ver a matemática, como acontece por dentro e tudo mais. Ele foi feito para tradução. Então, inicialmente, se ele for exposto a textos em português, inglês e tal, vai saber o que é uma coisa e o que é outra. Não, legal. Eu perguntei isso porque estava lendo que, quando você faz o treinamento do modelo só em português, né? O Brasil, não sei se você viu, está investindo agora em IA e quer ter soberania. Eu estava lendo

19:50 sobre isso: há uma diferença na tokenização de palavras em português quando se usa um modelo padrão, por exemplo, o Qwen, que já está acostumado com o inglês, e quando você o retreina totalmente em português. Ele deu um exemplo: o modelo pega uma palavra e a divide em três tokens. Se você treinar em português, ele acaba treinando e gravando um token só. Eu queria saber se existe essa diferença, entendeu? Também no fine-tuning, se há diferença por causa da língua,

20:20 entendeu? Pode influenciar na resposta? É, mas hoje os LLMs não são tão limitados nesse aspecto, entendeu? Só que, se você os expuser mais a uma língua, eles vão ser mais versados nela, né? É, se você parar para pensar, Felipe, é a mesma coisa que acontece com um ser humano. Se você for exposto a uma língua mais do que a outra… Você é mais exposto ao português? Tudo bem. Ao inglês? Beleza. Então, você é mais versado em português do que em inglês, mas, se leu em inglês, estudou e tal,

20:52 você tem versatilidade em inglês e até consegue traduzir, né? Mas existe, sim, essa versatilidade, certo? Depende da quantidade de exposição que você tem à língua. Tem gente que faz o treinamento completo só com português, e aí a rede fica sabendo só português. Acontece, tá? Acontece. Muito bom. Obrigado, Luder. O Ludg perguntou aqui no chat: treino versus pré-treino. Ô, Lud, estou chamando de treino aqui o fine-tuning, né? Então, o pré-treino seria o treino do

21:24 LLM, certo? Seria pré-fine-tuning. Ok. Ah, entendi. Ok. Obrigado. Mais uma última pergunta. A última, agora sim. Leonardo Barbosa. Ô, professor, boa noite. Está me ouvindo bem? Sim, estou ouvindo bem. Primeiro, parabéns aí pelo prêmio e parabéns por ajudar muito a comunidade. Dia 6 de outubro saiu. Dia 6 de outubro

21:55 saiu no top 10. Minha esperança é que eu também fique entre esse top 10 aí, né? Porque saí em primeiro lugar na votação, né? Se não sair, a gente faz um reclamaço. É só pedir. Pois é. Professor, é o seguinte. Eu não me lembro se foi o senhor ou outra pessoa que disse que, quando a gente treina, faz fine-tuning com o modelo, de forma bem lúdica, seria como

22:27 se você colocasse um estagiário para aprender com um sênior, né? Aí aquele estagiário vai vendo o sênior trabalhar. Entendi. Esse pode ser um tipo de fine-tuning, Leonardo. Você está chamando isso de destilação. Isso. A destilação é pegar outro LLM mais potente e ensinar um mais fraquinho. Isso mesmo. E a minha pergunta é exatamente: fazer isso também é fine-tuning?

22:57 É porque, tipo assim, o pessoal pegou o GPT-5 e fez um treinamento em cima dele e lançou outro LLM. Falou assim: “Não, agora o nosso LLM é o mais poderoso e tal”. Mas ele pegou lá no piso do Fable 5, treinou algumas coisas e lançou. Só que, quando você perguntava ao modelo quem ele era, ele respondia: “Eu sou Fable”. É isso, né? Mas eu estava aqui treinando a minha máquina, certo? Está

23:28 treinando, agora está treinando aqui. E, antes de eu fazer a próxima, a segunda rodada — porque vocês vão ver mais tarde o que são rodadas, né? —, ele perguntou: “Você não quer fazer destilação?” “Não.” Eu falei: “Não, não, não, destilação não. Vamos deixar do jeito que está. Só quero que você coloque mais dados aqui, assim, assim.” E, como o livro, nesse caso, não era um conjunto de dados fechado, eu submeti o livro para que as próprias LLMs pudessem criar dados sintéticos a partir dele. Então, elas leram o livro e escreveram mais coisas para aumentar a quantidade de dados, entendeu? Porque eu tinha o quê?

23:59 O livro ficou ruim, foi reprovado. Aí coloquei a transcrição, e melhorou. Certo? Agora estou colocando o livro, a transcrição e mais uma cacetada de texto que as próprias LLMs produziram. Como é que é, gente, aquela LLM da Claude? Haiku. É o Riku. Haiku, Sonnet e Sonnet. Eu pedi para

24:30 Haiku e o aluno escreverem, entendeu? Porque são os mais baratinhos. Então, eles escreveram um bocado de texto baseado no meu texto, entende? Para aumentar a quantidade de dados, né? Porque a quantidade de dados tem muita relação com a qualidade da saída, certo? Então é isso. Regis é o último, tá? Régis, agora é o último mesmo, senão a gente continua. Agora, professor, agora fiquei com uma dúvida. Então, qual é a diferença entre destilação e fine-tuning?

25:01 É um tipo de fine-tuning. Ah, tá. Ele também é um tipo de fine-tuning. É um tipo, exatamente. Não tem diferença nenhuma? Não, é um tipo. Em vez de eu ficar colocando só os dados, posso perguntar diretamente coisas ao modelo, entendeu? E o modelo responde para mim; aí o pequenininho vai aprendendo com o grande. É que estão dizendo que a China fez isso com a Anthropic, né? É, provavelmente sim, com certeza,

25:33 né? É, com certeza. Se fosse o contrário, também fariam. Então, assim, o que os americanos estão dizendo? Sabe, não existe ninguém mais sacana que esses caras, né? Agora vão dizer que são os éticos, os éticos, né? Queimando a grana, né, brother? Entendeu? Eles sempre falam isso. Quando chega a vez deles, é: “Não, a ética, não sei o quê”. Ah, tá de sacanagem, né? A guerra, né? Essa é a guerra. Beleza, vamos em frente, então. Esse slide não era para estar aqui.

26:07 >> Melhor tirar esse SFT daí. >> SFT. Pô, [risadas] não, esse slide era para estar aqui, não. Vamos lá. Uma coisa importante: como decidir, certo? Quando eu uso prompt, quando eu uso RAG e quando eu uso fine-tuning? OK? Tem uma coisa que eu sempre falei para vocês, quem já é das antigas, tá? Principalmente na engenharia de software. O que é um engenheiro de software?

26:40 Ele é semelhante — vocês têm que se enxergar assim agora, certo? — a um carpinteiro. Já falei isso quantas vezes aqui, né? Que dentro da bolsa do carpinteiro tem várias ferramentas, certo? E esse cara é habilidoso, conhece muito bem e sabe a hora certa de usar cada ferramenta. OK? Aí tem aquela velha frase batida, né? Para quem só tem martelo, tudo é prego. Beleza? Então, isso para

27:14 quem só tem martelo, tudo é prego. Tem gente que é assim: o cara aprende uma linguagem de programação e quer resolver tudo com aquela linguagem. Beleza. Ah, eu sei essa técnica aqui, então, porque eu sei essa técnica aqui, tudo para mim é essa técnica aqui. Então, eu não quero aprender outras técnicas porque eu sei, só sei essa e quero usar essa em tudo, certo? E não é assim na engenharia de software, certo? Então, para quem só tem martelo, tudo é prego. E, no caso de vocês aqui, são várias técnicas, cada uma se aplica no lugar correto.

27:47 Então, tem gente que já se empolga e diz assim: “Não, isso aqui eu vou fazer um fine-tuning porque tem um nome bonito, que usa GPU, que gasta dinheiro, que usa muito dado.” Então, para encher a boca, diz: “Não, fiz um fine-tuning, cara. Fiz um fine-tuning, mano. Fui lá, baixei o Qwen 12B, né? E aí fiz um fine-tuning, mano, tá ligado?” E aí, mas você vai ver, não precisava fazer o fine-tuning. Mas é porque o cara

28:17 queria dizer que fez fine-tuning, entendeu? Então, é assim, cara. Isso eu já vi com meus 36 anos de carreira na computação, já vi isso a torto e a direito. Sabe como é? O cara mais impróprio na hora errada. Então, precisamos saber em que momento usamos prompt, essas técnicas que são, né, [limpando a garganta] de conversa direta com a LLM. Veja que não estou tratando de harness aqui agora, beleza? Tipo MCP, tá? Nada disso, né? Nada que envolva

28:47 isso ali, né? Skills, né? Nada disso, tá? Então, vamos lá. Comportamento: só use quando o comportamento mudar apenas com boas instruções no prompt. Então, por exemplo, eu falei para vocês lá, né? Ah, eu tenho uma rede neural para a qual poderia passar um filme e ela me dizer se a avaliação é positiva, negativa ou neutra. Só que normalmente ela vai escrever um texto: “Olha, é positiva

29:19 porque esse filme blá-blá-blá começa a encher linguiça, né? Principalmente se for o Claude, que gosta de falar bastante para soltar tokens, para gastar tokens, né? Então, com prompt você resolve, certo? Você não precisa fazer fine-tuning, como acabei de dizer, né? Você não precisa fazer fine-tuning para ela retornar somente se é positivo, negativo ou neutro. Beleza? Você retreina toda a LLM para ela retornar só isso. Você pode simplesmente dizer em um prompt: “Responda somente com

29:50 positivo, negativo ou neutro, e nada mais”. O prompt vai resolver. Então, se o comportamento muda só com um prompt bem-feito, aí você tem que partir para a engenharia de prompt. Pessoal, a engenharia de prompt não morreu, tá? Porque essas técnicas de prompt ainda existem, tá? Não teve loop, não teve grafo, não teve nada que acabasse com prompt. No final das contas, lá no fim da conversa, tudo é prompt, tá? Então, cuidado com o pessoal que fala no YouTube, porque eles

30:21 adoram declarar as coisas mortas por aí. Já viu? Eu falo isso há muito tempo, né? [risadas] A morte dos prompts, né? Tem uma menina no YouTube que é assassina. Ela mata alguma coisa toda semana. Morre, entendeu? A morte do Fable, a morte não sei do quê. Toda semana está matando alguém. Essa aí gosta de matar, viu? Então, né? Já mataram a engenharia de prompt, já

30:52 mataram, né? Já mataram as skills, já mataram os agents. Teve gente que falou assim: >> “É, >> agora é a morte dos agents, só uso skills”. [risadas] Pera aí, né, velho? Skills de quê? Skills de agents. Então, você não matou os agents, né? Não tem como você matar os agents. Então, tem gente que faz isso. Se não muda somente com prompt, falta conhecimento

31:22 ou dados atualizados; aí a engenharia de prompt não resolve. Beleza? É aquela velha história, né? Não gosto de falar de política, mas aqui estamos só entre nós, né? Você sabe muito bem que esse tema é proibido nos grupos do canal, mas aqui vale só pelo exemplo, né? Assim que o ChatGPT foi lançado, logo no início, foi bem na época da posse do Lula, vocês lembram disso? E aí o pessoal perguntava quem era o presidente do Brasil, e o ChatGPT falava que era o Bolsonaro, entendeu? Aí o pessoal dizia: “Está vendo?

31:54 A inteligência artificial é burra, não serve para nada, não sei o quê e tal.” Só que o cara não entendia o quê? Que ela tinha sido treinada com dados do ano passado, né, do ano de 2022. Ela foi lançada em novembro de 2022, digo. Aí o pessoal, no início, lá em janeiro de 2023, perguntava quem era o presidente, e ela errava, dizendo que ainda era o Bolsonaro, né? Então, como é que resolve esse problema? Tenho que dar uma colinha, né? Então, a

32:26 colinha, o que é? A pessoa pergunta no prompt sobre aquela coisa, eu busco numa base de conhecimento, beleza? Trago aquela colinha junto com o prompt e retorno para a LLM. A LLM retorna a resposta correta, que é exatamente o quê? RAG, né? E a gente já tem um treinamento sobre isso aqui. Não vou me aprofundar porque é de outra ordem. A gente fez quase 15 aulas de RAG; só sobre Graph foram cinco aulas que fizemos, aprofundando em detalhes como o gráfico funcionava, né? Então, vale muito a pena esse livro aí, tá, pessoal? Conhecer esse livro vale muito a pena mesmo, é muito profundo. Ele é para leigos, mas a gente vem desenvolvendo técnicas ainda mais profundas. Ficou um livro muito bom, com códigos prontos, né? Explicando os detalhes, tem animações, tem tudo lá. Beleza? É, só um momentinho, tá, Vand? Deixa eu concluir aqui esse slide. Bom, eu preciso de dados atualizados. Se eu preciso sempre de dados

32:57 atualizados, faço RAG ou fine-tuning? Beleza? Por exemplo, se eu perguntar agora para o ChatGPT quanto foi o jogo do Vasco ontem, isso vai vir do fine-tuning ou do RAG, Dudu? Para mim, vem do RAG. >> O quê? >> Por quê?

33:28 >> É >> porque a informação já está lá, né? Não tem refinamento nenhum do dado, né? >> Mas é porque foi ontem, né, Dudu? A informação foi de ontem, entende? >> A resposta seria [risadas] essa. A resposta é de ontem. Não, a resposta é essa. >> Então, ela já está persistida lá, né? >> Não, Dudu, você está certo. Dá para atualizar em tempo real, se você quiser, né? Toda vez que você mandar o prompt, manda um conteúdo a mais, né, professor? >> É, veja bem, a informação é de ontem,

33:59 como é que eu vou treinar uma LLM com a informação de ontem, entendeu? Para ela estar disponível hoje no ChatGPT e eu saber que o Vasco ganhou. Se bem que merecia um treinamento, né? Sinceramente, [risadas] >> Sinceramente, sinceramente, a vitória do Vasco de ontem merecia o treinamento do ChatGPT. Só isso aí. Pode retreinar o modelo do ChatGPT. Ah, >> merecia demais, pô. Está doido, né? [risadas] Beleza. Mas normalmente, quando são dados

34:30 que estão acontecendo ali no calor do momento, um RAGzinho vai resolver tranquilamente. Beleza? >> E, na verdade, qualquer dado que você tenha, beleza? Vai resolver via RAG, tá? Normalmente, quando você quer uma precisão maior na resposta, RAG é o mais aconselhado. Beleza? RAG é o mais aconselhado. Agora, se você precisa mudar o estilo,

35:02 que estão acontecendo ali no calor do momento, um RAGzinho vai resolver tranquilamente. Beleza? >> E, na verdade, qualquer dado que você tenha, beleza? Vai resolver via RAG, tá? Normalmente, quando você quer uma precisão maior na resposta, RAG é o mais aconselhado. Beleza? RAG é o mais aconselhado. Agora, se você precisa mudar o estilo,

35:32 formato, ensinar um domínio inteiro, e isso se repete em volume. Você tem informações em volume para que [limpando a garganta] uma LLM possa treinar, aprender. Aí sim entra o fine-tuning. Beleza? Caso contrário, é dado pontual; um RAG é muito mais eficiente. Beleza? Ah, eu tenho aquela informaçãozinha que está lá naquela parte, não sei o quê. Traz aquela parte para cá, junta com o prompt, manda para a LLM, ela vai conseguir resolver,

36:04 tá? O RAG, tanto é que vocês, não sei se vocês sabem, né? Aqui no livro de RAG… Eu adoro essa, talvez uma das imagens de que mais gostei de ter feito com LLM para um livro foi essa imagem do meu livro de RAG, porque ela expressa bem o que é o RAG, né? Está vendo? Eu tenho esse robô aqui, e tem outro robô passando um bilhetinho, como se fosse uma cola de prova, entendeu? O RAG é uma cola de prova. Alguém pergunta alguma coisa para esse robô aqui, ele não sabe a resposta

36:36 sobre aquilo. Alguém dá uma cola para ele, ele pega aquela cola junto com a pergunta e vai responder, entendeu? Olhando o quê? O conhecimento dele? Não, porque ele não tem o conhecimento. Olhando o quê? A cola. Então, o RAG é basicamente isso. O RAG é uma cola de prova. Tem a pergunta lá. O meu conhecimento não é suficiente para responder. O que eu faço para responder? Pego a colinha, olho lá e respondo, entendeu? Só que essa cola acontece em tempo de

37:08 execução, né, naquele momento da pergunta, tá? Então, tem que existir todo o mecanismo de busca da pergunta ideal, né, da resposta ideal para aquela pergunta na base de dados de conhecimento. Beleza? Então é isso. Já o fine-tuning, não. O fine-tuning já é o quê? Já é aprender estilo, formato, domínio inteiro, e eu tenho que ter volume de informação. Beleza? Por exemplo, meu livro: eu quero

37:39 perguntar coisas sobre o meu livro. O ideal seria o quê? RAG. Se eu quiser fazer fine-tuning, preciso de mais informação, porque só a informação do livro não vai ser suficiente; é pouco, entendeu? Para ele conhecer. Porque a LLM precisa aprender um padrão. Para entender um conhecimento sobre alguma coisa, ela precisa de vários textos e precisa entender aquele padrão. Beleza? É isso. Dúvida? Agora é hora de levantar a mão e perguntar. OK.

38:09 Aí o nome ficou difícil de dizer: CVDM. [risadas] >> É, boa noite. Estão me escutando? >> Estou. Como é teu nome, cara? >> Cláudio, boa noite. >> Ô, Cláudio, beleza? >> Eu tenho uma pergunta que é igual à do Rafa Carvalho aí. Vamos supor que eu tenho um domínio inteiro e vários livros de uma área específica. E, se eu fizer fine-tuning, espero que a LLM não seja determinística. Existe a possibilidade de unir fine-tuning com RAG, pensando…

38:41 >> Seria maravilhoso, entendeu? >> Beleza. >> É o mais aconselhado, viu, Cláudio? Na verdade, você não pode desprezar o RAG em nenhum momento, tá? O RAG é muito poderoso para você desprezar só por causa do fine-tuning. Beleza? >> Entendi. >> Então, eu usaria a combinação das coisas para você ter um pouco mais de assertividade. Eu traria informações pontuais a partir do RAG e usaria muito o estilo da escrita dos textos que estão ali para responder naquele estilo, certo? Aprendido no fine-tuning.

39:13 Então, essas duas combinações — as duas coisas — são altamente aconselhadas, tá? Na literatura, beleza? Nos artigos científicos e tudo mais. Você pode procurar qualquer artigo científico; ele vai falar muito bem sobre essas coisas. Até mesmo na LLM. Se você perguntar para elas: “Se você tivesse que escolher entre fine-tuning e RAG ou as duas coisas?”, ela recomenda as duas coisas. >> Ah, nunca tinha visto alguém falar isso. Ótimo. Essa é minha dúvida. Muito obrigado. >> Pode usar as duas coisas; com certeza absoluta, vai ser muito mais assertivo.

39:44 mais assertivo. Certo. >> Certo. >> Com certeza absoluta. Não tenho a menor dúvida. >> Ótimo. Obrigado. >> Por experiência própria. Tá, [limpando a garganta] Dudu, você demorou para fazer a pergunta. >> Excelente para a aplicação em peças jurídicas, né? Porque o conteúdo é gigantesco, né? Gente, estou fazendo junto com uma aplicação para defesa na área tributária. >> E a junção… >> Principalmente porque os casos se repetem, certo? >> Exato. Se repetem, se repetem, se repetem.

40:15 >> Quando vocês pensarem em dados para LLM ou dados para rede neural, precisam dessa repetição, pessoal. Eu só consigo extrair um padrão de um conjunto de coisas quando tenho repetição, entendem? Então, quando pego lá, sei lá, vamos supor que no Ministério Público tenha 30 milhões de arquivos ali, certo? Quantos problemas tem ali de, sei lá… Dê um exemplo aí, pessoal do Direito.

40:46 >> André. >> Hã? >> André, fala aí. Um problema que se repete. >> André, demais. Assim, no Ministério Público, para resolver problema de família, por exemplo. Ah, sei lá. Tá, eu só faço divórcio. Divórcio ou… Problema de reconhecimento de paternidade. >> Reconhecimento de paternidade. Ótimo. Isso é um problema que se repete muito, certo? Você imagina a quantidade de dados que deve existir dentro do Ministério Público, tá? E a gente tem

41:18 a turma três, a turma do Ministério Público. Não sei se o pessoal do Ministério Público está aqui. Tem alguém? Dá um legalzinho para eu saber. Não, não tem ninguém, mas a turma três da pós-graduação é só o pessoal do Ministério Público, entendeu? E esse objetivo é um deles, né, a gente poder treinar uma rede neural lá. Então, você imagina esse problema de reconhecimento de paternidade dentro do Ministério Público: quantos casos desse tipo se repetem lá,

41:48 certo? E as decisões, entende? Por mais que sejam juízes diferentes, advogados diferentes e argumentações diferentes, isso tudo cria um caldo, cara, entendeu? Para a LLM, assim, ali é para mim: ela vai deitar e rolar, entendeu? Agora, se perguntar uma coisa específica, como quem foi a pessoa que pediu, né? Ah, quem entrou com processo contra André Cinato [risadas]

42:18 no exame de paternidade e tal, o RAG resolve melhor. Beleza? Porque é uma informação pontual, deu para entender? Certo, Alan. Fala, Al. Boa, boa noite. Benção. >> Boa noite. Abençoe, filho. >> Só para ver se eu entendi: no caso, quando tenho uma aplicação com arquivos dentro, onde a minha IA busca essas respostas nesses arquivos, isso é considerado RAG, não é isso? >> É. Quando coloco novos arquivos para ela, para ela poder ter essas novas informações, no caso, seria fine-tuning? >> Não, não. Vamos lá, vamos parar. Quando você tem RAG, vai pegar uma série de arquivos, certo? Vai quebrar esses arquivos em pedaços pequenininhos, que a gente chama de…

42:48 chunks. Beleza? >> Uhum. E esses chunks serão convertidos no que a gente chama de informação vetorial, ok? E isso é guardado na base de dados vetorial. Toda vez que vier uma informação, você a converte e guarda nessa base. Qualquer informação: pode ser hoje, agora; converteu, joga na base vetorial. Está acontecendo um jogo agora, sei lá, está acontecendo alguma notícia. Alguém está escrevendo essa notícia e está jogando dentro da base de dados do jornal. E essa base de dados já está sendo

43:19 capturada, convertida em vetores e adicionada à base de dados vetorial. Se alguém chamar a LLM e buscar informação, ela vai até o RAG e vai ter informação atualizada, porque o RAG está sendo atualizado na hora. Beleza? >> Sim, entendi. >> Agora, o fine-tuning, na verdade, é o seguinte: “Eu juntei uma base de conhecimento grande, dou um tempo, vou tratar essa base de dados e vou fazer o conhecimento ir para dentro da mente do…” >> Entendi! Do robozinho. Deu para entender? >> Sim.

43:51 >> Ele aprende aquele conceito efetivamente e não fica só pegando a colinha, né? >> Sim. >> Então, o que a gente recomenda é o seguinte: conhecimento consolidado, tá? Você treina. Conhecimento alterável, você deixa na base de dados e no RAG, porque esse conhecimento pode até deixar de existir, beleza? Aquele que é alterável. O outro conhecimento, não: se é consolidado da empresa, diretriz e tudo mais, certo? Tudo ali, os casos que

44:22 >> Ele aprende aquele conceito efetivamente e não só fica pegando a colinha, né? >> Sim. >> Então, o que a gente recomenda é o seguinte: conhecimento consolidado, tá? Você treina conhecimento alterável, deixa na base de dados e no RAG, porque esse conhecimento pode até morrer, beleza? Aquele que é alterável. O outro conhecimento, não: se é consolidado da empresa, diretriz e tudo mais, certo? Tudo ali, os casos que

44:54 Aconteceram para trás, dentro do Ministério Público. Aquilo ali está consolidado, jurisprudências e tudo mais, está tudo consolidado. Isso aí vira fine-tuning, certo? >> Entendi. >> Porque é o conhecimento consolidado, tá? O que é? E aí, o que é o fine-tune? O que é o fine-tuning? >> O fine-tuning é a rede neural que vai ler essas informações, certo? E vai aprender com elas. Efetivamente, ela aprende, tá, pessoal? Você não programa o fine-tuning, você treina o fine-tuning, né? Isso que a gente chama de treinamento. Uma rede neural, você não… Uma rede neural você não…

45:24 …programa, né? Quando alguém disser assim: “Não, nós estamos programando uma rede neural”, você pode pensar: “Ih, isso aí não entende rede neural de jeito nenhum”. Uma rede neural é treinada, ela não é programada. Beleza? >> Então, efetivamente, lê os dados e aprende com eles. >> Aham. Então, no caso de um fine-tune, por exemplo, que sei lá, fiz um fine-tune hoje, amanhã ele pode ser considerado um hack também? [tosse, limpando a garganta] >> Não, porque ele está interno, né? A informação está interna. >> Beleza. >> Beleza. >> Então você pode… Você, se o conhecimento…

45:56 …é consolidado e já foi treinado no fine-tuning, e o conhecimento foi para… está na cabeça dele, não precisa. Bom, você poderia reforçar com RAG, com certeza. O Cláudio perguntou aqui agora: “Ah, eu posso treinar com fine-tuning e depois passar um RAG?” Pode, entendeu? Pode, você reforça, não tem problema nenhum. Agora, em alguns casos, se você treinar e a sua base ficar boa, talvez você não precise ficar mandando para o RAG aquela informação que já está consolidada e treinada,

46:27 entendeu? Ela pode sair dali. Tudo isso, pessoal. Infelizmente, vou dizer uma coisa para vocês: meus alunos de inteligência artificial, nos cursos de inteligência artificial por aí, seja na graduação, na disciplina de inteligência artificial ou na de inteligência artificial avançada, nas duas disciplinas, explicam coisas assim. Tudo isso é teste, bicho. Você tem que testar e ver se realmente é isso. Nada em IA é garantido. Você tem que pegar os dados, ir lá, fazer a coisa, experimentar, testar e ver se realmente vai funcionar

46:57 e depois ver por que funcionou e por que não funcionou. É dessa forma, entendeu? É isso. Aí, ó, vai me levar para casa. [risadas] Beleza. >> Deixa a próxima rodada. >> Está virando, está virando. >> É meu sobrinho. Posso fazer isso. >> Boa noite a todos aí. Como é que vai, Sand? Bem? >> Boa noite. Beleza. >> Eu tenho uma questão bem de leigo. Eu gostaria que você me…

47:30 …ajudasse. >> Obrigado. >> Pelo que estou entendendo, com fine-tuning você vai treinar modelos LLM com determinados conjuntos de informações. Em escala menor, eu não vou treinar nenhuma LLM. Em escala menor, posso treinar algum outro tipo de aplicativo, software ou alguma…

48:01 …outra coisa menor? A minha questão é a dimensão, né? Por exemplo, eu tinha entendido, antes desta aula, que fine-tuning era só justificação em prompts, em skills, em agents. Isso não tem nada a ver? >> Não tem nada a ver. Com fine-tuning, a gente vai mexer com a IA mesmo, >> com as LLMs, >> exatamente. A gente vai pegar uma LLM, baixar ela,

48:32 >> certo? E aí a gente vai usar técnicas para poder retreinar ela. É um pouco mais complexo. E aí é que o Fine ajuda, porque ele reduz a complexidade para o nível do leigo, né? >> Ok. >> E, se você fosse fazer na mão, aí teria que ter um nível de conhecimento um pouco mais alto, certo? >> Ok. >> Técnico também, porque precisa, principalmente, cuidar da questão dos dados, né? Tratamento dos dados, aquela coisa, preparar tudo. Então, o Witfine vai ajudar

49:03 nisso, nesse ponto, porque você consegue retreinar uma LLM de ponta a ponta só pela intenção. Tanto é que estou fazendo aqui agora, né? >> Perfeito. >> É isso, Fter. >> Obrigado. >> Valeu. >> Professor, boa noite. Eu tenho uma dúvida. >> Diga lá. >> Os laboratórios lançam tanto modelos de instrução, às vezes, quanto modelos de base, né? >> Uhum. No caso, a gente pode fazer uma continuação do pré-treinamento? Seria tipo um fine-tune ou só quando…

49:34 …eu fizesse mesmo o de instrução, que seria um fine-tune? >> Cara, não entendi. Vamos lá. Repete aí, por favor. >> Assim, eu posso pegar um modelo e fazer uma continuação do pré-treinamento dele, né? >> É, do treinamento dele, né? >> Isso. Isso também seria fine-tuning? Por exemplo, posso pegar minha base de dados lá, sei lá, fiz 10.001 perguntas e respostas sobre ela, né? >> Hum. >> Eu faço um fine-tuning dele ou posso fazer essa continuação do pré-treinamento? [limpando a garganta]

50:04 >> Vamos lá. Você pode fazer… Se você quiser, pode abrir todos os pesos e retreinar tudo, beleza? >> Certo. >> Nada te impede, tá? Só que você tem que considerar o seguinte: vai gastar uma grana, precisa ter máquina para isso e energia para isso, certo? Você pode fazer, com certeza. O recomendado, o ideal… Há um tempo atrás, fiz uma prova, acho que foi uma prova, acho que foi na USP, na USP de São Carlos, numa disciplina de redes neurais aplicadas. Não lembro o que era, cara. Era uma coisa assim. A pergunta era: qual é o ideal, né? Você tem todos os recursos possíveis de máquina e energia. Qual é o ideal? Retreinar tudo, fine-tuning,

50:36 e tal, né? E justifique. Aí eu falei: “Bom, se eu tenho todos os recursos para pegar uma rede e retreinar tudo para um novo problema, né? Se eu tenho todos os recursos possíveis, o retreinamento vai ser melhor, porque aí vou ajustar a rede inteira ao meu problema, não só parte da rede, né?” >> Uhum. >> Entendeu? Então ela vai sair melhor, com certeza vai sair melhor. Beleza?

51:06 Só que normalmente a gente não tem esse recurso, né? Entendeu? Então, por isso que a gente… Por isso que a gente aceita, de certa forma, uma pequena penalidade na acurácia, ok? Mas é possível ajustar ou destravar essas pequenas camadas mais baixas da rede, para ajustar só aqueles pesos ali, certo? Que são valores entre zero e um,

51:37 beleza? Ou entre -1 e 1, certo? Em alguns casos. É bem probabilístico mesmo. Ou colocar o adaptador, né, que a gente vai aprender depois como fazer isso. Beleza? >> Mas você pode fazer como quiser, entende? Não sei se respondi; também não sei se entendi a sua pergunta. É porque, por exemplo, a gente faz o LoRA lá, o LoRA para fazer o fine-tune, né? >> Que é o adaptador. >> Se eu quisesse fazer a continuação do pré-treinamento, também não poderia…

52:07 …colocar só um pedacinho no final do modelo? >> Pode. >> É que eu não precisaria retreinar a rede toda, né? Eu só adicionaria toda essa informação no final dele e depois adicionaria os LoRA do pré-treinamento, né? É, mas é assim: LoRA são adaptadores, beleza? >> Uhum. >> Você não vai abrir exatamente a rede. Só que o fine-tuning mesmo, de verdade, é descongelar os pesos da rede original e retreinar aquela parte.

52:38 Beleza? >> Tá. >> Por que se usa LoRA e QLoRA? Para que eu e você, pobres mortais, que temos placas de vídeo com só 8 GB de memória, possamos treinar, entendeu? >> Sim, sim. Porque, mesmo que você abra só um pouquinho da rede, precisa de 120 GB de memória por baixo, entende? Então, é por isso que estou te falando: você pode fazer, com certeza, sem precisar dos adaptadores. E também pode fazer as duas coisas, né? Pode retreinar a parte de baixo da rede

53:10 Beleza? >> Tá. Não. >> Por que usa LoRA e QLoRA? Para que eu e você, pobres mortais, que temos placas de vídeo com só 8 GB de memória, possamos treinar, entendeu? >> Sim, sim. Porque, mesmo que você abra só um pouquinho da rede, precisa de 120 GB de memória por baixo, entende? Então, é por isso que estou te falando: >> você pode fazer com certeza, certo? Sem precisar dos adaptadores. E você pode fazer as duas coisas também, né? Pode retreinar a parte de baixo da rede

53:40 E você pode colocar os adaptadores, entendeu? Também na frente. >> Não? Beleza, a gente vai tocar nisso em algum momento no livro ou… >> Vamos. Eu vou falar sobre o tema, mas a gente não vai treinar uma rede neural nesse nível, de retreinar. Nós vamos trabalhar com LoRA e QLoRA, certo, professor? >> O LoRA é um pouco… O LoRA é um pouco maior; o QLoRA já é quantizado, beleza? Vai, mas eles são essencialmente como lentes, né? Como lentes que você coloca na frente da rede. É isso. Só

54:10 adaptador. Beleza. >> Marcão. >> Professor, acho que ele quis dizer as instruções, né? Porque quando você treina a rede também faz fine-tuning, >> tem aquela parte em que você coloca as instruções, né? Porque há modelos, por exemplo, que vêm de modelos pré-treinados e que foram feitos com fine-tuning para depois fazer o ajuste para seguir instruções. São instruções. Acho que é isso que ele está querendo dizer, né? Que ele entrou no LoRA, no LoRA ali, né?

54:41 Acho que é sobre isso. Se foi isso que ele quis dizer. >> Uhum. Fala aí, Marcão. Está com o microfone cortado. >> Estava pedindo bênção primeiro. >> Ah, Deus abençoe, cara de boi. [risadas] >> Deixa eu te falar, por exemplo: eu pego o livro de sonetos do Vinícius de Moraes e coloco lá 73 sonetos. Essa parte é mais tranquila de entender: eu vou passar

55:12 um tema, e ele vai conseguir, depois de treinado, escrever no estilo do Poetinha. >> Agora vamos lá: no caso de dados, de dados exatos, vamos supor que eu queira uma aplicação que tenha os resultados do Campeonato Brasileiro e, a cada ano, eu retreine com os dados do ano que acabou de fechar. >> Uhum. Esse tipo de treinamento vai me dar, com especificidade, por exemplo,

55:44 qual foi o placar dos dois jogos do Flamengo contra o Vasco no ano passado? >> Para que isso? Para quê? Para que isso? Para que isso? Para que você quer saber disso? >> É para ficar mais próximo da… >> Não, que palhaçada é essa? Você está até com a camisa do Flamengo, né? >> Estou. >> Eu já falei para você [risadas] não vir com essa merda para as minhas aulas. >> Você tem uma igual, cara. Violência. Você tem uma igual; fica fingindo que desrespeita o professor. Você fica fingindo que é da Adidas, mas tem uma igual. [risadas]

56:19 >> É, vou banir ele. Vou banir ele. Isso é muita provocação. [risadas] [suspiro] >> É igual ao Val, que viu o Viu com a camisa da Argentina na época da Copa também. Fica quieto, que ele ainda não me achou. Fica quieto. [risadas] >> Mas, respondendo à sua pergunta, Marcão, quando você está trabalhando com… Porque, assim, vamos supor que você queira fazer com que ele entenda essa informação dos dados dos jogos, certo? Então, como é que ele saberia

56:53 bem sobre isso? Ele vai ler uma pancada de informações pela internet, beleza? Uhum. >> Nessa varrida, ele vai achar uma pancada de sites falando repetidamente sobre esse tema, pá, pá, né? E ali, por causa do reforço da informação, ele consegue adquirir bem esse conhecimento, beleza? Por causa da repetição. Agora, obviamente, se você quiser fazer o seu

57:23 sistema, para essa informação especificamente, o RAG seria melhor, entende? >> Uhum. >> Depois, é bom até você testar esse tipo de coisa. Você pode até fazer um treinamento pequeno, com uma rede menorzinha. Isso também depende da qualidade dos seus dados, do tamanho da rede neural e de tudo mais, mas você vai perceber que o RAG vai sair melhor. >> Uhum. >> Entendeu? Mas isso não quer dizer que ele não possa aprender, né? E aí também depende de muita coisa, porque você também tem que levar em conta a arquitetura da rede, né? Como é que ela trabalha em

57:54 relação à informação. Tem umas que são mais… Tem umas que são mais fáceis, né? Você já viu que tem rede neural que se sai melhor em coisas matemáticas, coisas de ciência. Isso tudo tem a ver com a forma como o Transformer trabalha lá dentro, certo? Na estrutura do Transformer. Aí, quem quiser saber um pouco mais sobre Transformer, tá? Eu não vou falar aqui porque não é o lugar. Tem uma playlist no meu canal só sobre Transformer, certo? Então, lá você pode ver toda a estrutura dos tokens, como é que ele monta aquela coisa toda. Então, o que acontece

58:25 é exatamente isso. Se você tem um reforço da informação e a rede é mais apropriada para isso, é como, por exemplo, pegar uma rede que seja mais preparada para desenvolver código, certo? Então você percebe que os caras vão construir uma arquitetura que privilegia esse tipo de informação. Como é que é? Então é bem por aí, sabe? E aí você vai ver que o benchmark em código vai ser um pouco mais alto, mas em outro lugar vai ser um pouco mais baixo, né? Isso acontece. Então, respondendo de forma prática à sua

58:57 pergunta, eu colocaria um RAG no sistema para responder de forma pontual e garantida, e o estilo, como você mesmo falou, ficaria mais no fine-tuning, entende? Sandr, só para mencionar aqui: você também está trazendo uma engenharia de prompt mais específica para o caso. Por exemplo, no caso da engenharia, pedir para ele ser um engenheiro, né? Ele vai trazer um especialista em engenharia. Isso aí

59:27 ajuda muito também na hora da resposta, né? >> É, isso é normal, né? Aí, na engenharia de prompt, é normal. Beleza. Agora, você me disse uma coisa: eu não testei isso aqui, porque não disse: “Olha, você é especialista no livro tal”, porque eu peguei a rede e, na hora do prompt, não fiz isso para testar, tá? É uma coisa que eu devia ter feito, para ver qual seria o resultado, né? Porque o fine-tuning não despreza o prompt, né? Digamos assim, a gente não pode desprezar o prompt inerente só porque agora fez um fine-tuning, certo? Ah, fiz o fine-tuning. Agora posso perguntar de qualquer jeito, sem uma preparação antes, né? Então, as técnicas de engenharia de prompt continuam valendo do mesmo jeito. >> A LLM, com OpenCode, LLM local mesmo, para a faculdade, né? Para questões. >> Mas qual LLM? >> Estou usando o Qwen, o Qwen 7… Qwen 3.8, se não me engano. >> Qwen 7. Abre sua câmera aí, bicho.

59:59 >> Eita, eu estou com a cara de quem acabou de acordar, cara. >> Abre aí essa aí. Estou com saudade de ver. É sério. Estou com saudade de ver. Certo mesmo. >> Aí, aí. >> Ô, bicho lindo da Rá. [risadas] >> É o filhinho de papai. É… >> Filho de papai, né? >> Ah, garoto. >> Está na cama ali. >> É. Ah, rapaz. Está tudo bem, né? >> Não está nada. Ah, [risadas] mas estamos aí. >> Tá bom. >> Mas aí, Sab, o que acontece, né? Utilizando a questão das rodadas da LLM e o auxílio de especialistas, eu vejo que ele tem uma resposta bem exata quando utiliza o especialista daquela matéria mesmo, sabe? Então isso aí…

1:00:30 >> Rapaz, você chamou aí, Daniel. Você acabou de fazer uma observação de que eu gostei, cara. Sério, algo que eu tinha deixado passar aqui. A gente não pode realmente esquecer que, por mais que a gente treine uma LLM com os nossos dados,

1:01:01 um bom prompt também ainda vale muito, né? Então eu fiz umas perguntas aqui no meu treinamento que talvez, se eu tivesse usado um prompt ideal, um prompt mais interessante, mais elaborado, com a definição dos especialistas e tal, talvez o resultado teria sido outro. >> E é bom quando você coloca no debate, porque aí ele vê a resposta de cada um e você vê quem acerta e quem não acerta, sabe? O legal é isso. Isso. >> É, além disso, eu tinha criado um chat aqui para conversar com ele e não criei memória, não criei nada. O

1:01:32 Um bom prompt ainda vale muito, né? Então, fiz umas perguntas aqui no meu treinamento que talvez, se eu tivesse usado um prompt ideal, um prompt mais interessante, mais elaborado, com a definição dos especialistas, né, e tal, talvez o resultado tivesse sido outro. >> E é bom quando você coloca no debate, porque aí ele vê a resposta de cada um e você vê quem acerta e quem não acerta, sabe? O legal é isso. Isso, é… >> E, além disso, eu tinha criado um chat aqui para conversar com ele e não criei memória, não criei nada. O

1:02:03 O contexto se perdeu na hora, né? Entendeu? Então é isso, Anderson. Seu microfone está cortado, cara. >> Opa, boa noite. Prazer em conhecer vocês aí. Minha primeira mentoria aqui, né? >> Ô, cara, prazer, hein? Está falando de onde? >> São Paulo capital. >> Ah, legal. >> Zona norte aqui, quem é de São Paulo conhece, né? >> Zona norte, ali perto do Anhembi. Aquela região toda ou não? >> Freguesia do Ó. É um bairro bem antigo, tradicional aqui, né? >> Sim, sim. Conheço demais. >> O Pico do Jaraguá aqui do lado também. >> Sim. Eh, a minha dúvida, quando eu

1:02:37 adquiri o livro, né, e a intenção de aprender fine-tuning, eh, é colocar isso num processo que estou montando hoje. Eu sou gestor de tráfego pago. >> Uhum. >> Faço os anúncios online e tal. Criei um sistema de radar que rastreia e acompanha os leads e depois manda para a Meta, né, via API. Qual era a minha ideia? Treinar uma inteligência artificial ou um chat para ler as conversas. Hoje eu capto todas as conversas do lead

1:03:07 e do vendedor ou cliente >> e treinar alguma inteligência para ela fazer esse atendimento fora do horário comercial. >> Uhum. >> Então, a minha ideia é: consigo fazer isso com fine-tuning? >> É, consegue fazer com fine-tuning e também combinado com RAG, como a gente está falando aqui, né? Estou discutindo isso aqui. >> Se é RAG, eu não cheguei a pegar o livro, né? Mas é bem tranquilo, é bem tranquilo. Você vai ver que não é nada do outro mundo, não. Certo. Eu acho fine-tuning até um pouco mais pesado, mas, se a gente fosse fazer tudo sem fine-tuning, esquece assim,

1:03:40 esse eu acho que o pessoal ia sentir bastante. Mas agora, como a gente tem um framework auxiliando, né, então é tranquilo. Então, é tranquilo de você ver, cara. Você vai ver que tem uns codigozinhos em Python, mas é bem, bem, bem tranquilo mesmo. Eu poderia até criar alguma coisa, né, cara? Poderia criar até >> criar umas skills ou um framework de RAG, alguma coisa assim para simplificar o processo, né? Para a galera também daria certo. Acho que seria massa. >> Oi? >> Deixa ele terminar aí.

1:04:11 >> Oi. Até porque, qual é a minha ideia? A minha massa de informações vai ser as conversas no WhatsApp. É uma demanda grande e é entre vendedor e cliente. Então, acredito que vai ter um padrão ali, né, para ser seguido. >> Com certeza. É, ele vai aprender informações, vai aprender, com certeza, também o padrão de como responder. Beleza? >> É, >> só que você vai… é, só que aí, quando for treinar, você vai ver que até a minha rede, que está treinando aqui agora, tem esse padrão

1:04:42 de pergunta e resposta, né? Então você tem que separar quem é quem, OK? Para ele saber qual é a pergunta e qual é a resposta e [limpando a garganta] aprender essas perguntas e essas respostas, entendeu? E, a partir disso, ele começa a responder apropriadamente. Se você tiver um bom volume de dados, legal para caramba, dados pontuais, um RAG entrando ali, vai de boa. Você vai ver que o RAG é tranquilo de fazer. Você pode conversar com uma LLM ou com um harness como Claude Code, alguma coisa assim. Eu

1:05:13 posso até pensar em fazer alguma coisa, algum framework que facilite, tipo fine-tuning para RAG, não sei. Estou pensando, >> tá? Mas rapidinho você consegue construir isso aí. >> Tá. Só a última dúvida. Eh, qual seria um volume aceitável para você? Assim, em questão de conversa. Vamos dizer… >> Essa pergunta sempre me fazem em todas as aulas de inteligência artificial. Eh, cara, tanto na graduação quanto no mestrado e no doutorado, a resposta vai ser sempre: o máximo que você

1:05:45 quiser e puder. >> Sim. >> Sempre o máximo que você puder, certo? Eh, em alguns casos, você pode até fazer o que a gente chama de aumento de dados. Aumento de dados é algum tipo de técnica de criação de dados sintéticos. Eles realmente não existem, mas, para uma LLM, funcionam como se fossem dados reais. Então você pode pedir para uma LLM simular algumas conversas e respostas de acordo com aquele padrão, entendeu? E aquilo vai entrar como mais volume de informação para o treinamento,

1:06:15 certo? Mas é porque, na verdade, existe um vídeo meu no canal: “O que de fato é machine learning?”. Alguém pergunta… Procura para mim, por favor, no canal Sandeco, “O que de fato é machine learning?”, certo? Então eu digo lá o seguinte: lá tem uma chamada em machine learning que é a mãe do… Bom, eu tenho inteligência artificial; machine learning é uma subárea da inteligência artificial, e deep learning é uma subárea de machine

1:06:47 learning. Beleza? Então, é uma coisa contida na outra, como se fossem aquelas bonequinhas russas, né? Então, LLM está dentro de deep learning, certo? OK. >> Professor, só para informar: já passamos um pouco de 15 minutos e temos duas pessoas também com dúvidas. >> OK, obrigado. Eh, só para concluir agora. Sim, >> o link está aí. >> OK, obrigado. Deixa eu agora… Agora me perdi. Agora me perdi no que eu estava

1:07:18 falando. Teorema de Mitchell. O teorema de Mitchell diz o seguinte: aprendizado de máquina é um conhecimento… >> Uma entidade, né, inteligente, que aprende com cada vez mais experiência. Beleza? O teorema é muito mais complexo do que eu disse agora, mas aqui estou traduzindo de forma simplificada, certo? Mas o que é mais experiência? Quanto mais conversas você tiver, melhor. Quanto mais texto você tiver sobre aquilo, melhor. Mais e mais experiência,

1:07:49 entende? Então, por isso que uma LLM, para ser o que é, tem que ler a internet inteira ou uma quantidade exorbitante de informação. Quanto mais dados ela consumir, melhor. Certo? Então, lembre-se: se eu quero treinar minha LLM para que ela tenha um bom desempenho, a quantidade de dados que você tem nunca é suficiente, tá? Você sempre vai precisar de mais, mais, mais. Você tem que estar… sabe? Quanto mais você tiver, melhor.

1:08:20 OK. >> Felipe. >> Ô, professor, eu de novo. Eh, olhando esse seu gráfico explicativo, tive uma dúvida, tá? Entendo que o RAG é para aqueles dados pontuais, dados mais atualizados, mas quando eu sei que tenho que retreinar e fazer fine-tuning novamente, pensando no ciclo de vida do meu modelo, tá? Uma hora vou ter que fazer o fine-tuning dele, porque vai chegar uma hora em que meu RAG vai estar cheio de documentos. E a minha preocupação, a minha dúvida, é: será que isso não vai afetar a performance?

1:08:53 Porque o teu RAG não vai ter problema de tamanho, porque a busca é vetorial dentro do banco de dados vetorial, né? Então isso está claro. Se ficar gigantesco demais… Mas normalmente os fine-tunings são feitos, são programados com base numa — infelizmente, isso é verdade —, numa questão financeira, tá? Tá, mas daí, para medir esse ciclo de vida, por exemplo: ah, eu sei que de três em três meses preciso, sei lá, com base no meu histórico aqui, fazer um

1:09:26 par… >> com tudo que eu acumulei de conhecimento. >> É, depende da quantidade de informação consolidada que você vai construindo aí ao longo desse tempo. Se perceber que não foi muita coisa, não faz sentido fazer um fine-tuning, beleza? Fazer fine-tuning só por fazer, sabe como é? Gasta dinheiro e gasta tempo. >> Tá. >> É, acho que isso vai mais para o pessoal da medicina, da área jurídica, que deve ter muita atualização, sabe? O texto acaba sendo mais longo. Pensando nesse contexto… >> Coisa que tem muita atualização não vai para o fine-tuning, fica no RAG quietinho lá, tá? Se você vê que tem uma coisa que atualiza muito, muito, muito… Sei lá, tem uma lei lá, lei contábil, é uma desgraça, né? Está sempre atualizando. Não compensa mandar para o fine-tuning, porque, se ela cair, morreu: vai ficar uma coisa treinada com um conhecimento que caiu, desconhecimento, entendeu? Deixa no RAG, que você consegue tirar rápido, né? >> Mesmo que, depois de um tempo, essa lei tenha ficado estável, eu tenho que jogar ela para o conhecimento, para… para, sei lá,

1:09:57 quietinho lá, tá? Se você vê que tem uma coisa que atualiza muito — muito, muito, muito — ao mesmo tempo, sei lá, tem uma lei lá, uma lei contábil, é uma desgraça, né? É, está atualizando. Não compensa mandar para fine-tuning, porque, se ela cair, morreu: vai ficar uma coisa treinada com um conhecimento que caiu, desatualizado, entendeu? Deixa no RAG, que você tem como tirar rápido, né? >> Mesmo se, depois de um tempo, essa lei ficar estável, eu tenho que jogar ela para o conhecimento, para, para, sei

1:10:27 Lá, se eu precisar sobrescrever alguma coisa, deixo ela lá mesmo. É uma coisa que tem uma volatilidade muito grande e sempre vai ficar lá. É claro, né, Felipe? Não é assim, não é uma coisa muito exagerada. O Saneco disse que a lei contábil, todas elas vão ficar aqui, entende? Não é bem assim, mas a gente sabe que é uma coisa que muda muito ali. Normalmente eu deixo no RAG, porque, se eu consolidar aquilo lá, vou ficar tendo que mudar o tempo todo no fine-tuning, né? Isso não dá muito certo, né? É, eu pensei mais no ciclo de evolução do seu modelo, sabe? Entendi. Deixa eu passar para a frente, senão fica só lá.

1:10:59 Vai, Leonardo. Vamos tentar ser mais rápidos nas respostas, pessoal, e nas perguntas, para poder… Tá fechado aí? Fechou. Então, professor, não sei se o senhor… O pessoal começou a testar muito o Fable 5 com aplicações em CAD, AutoCAD, em transformação de… Sim. É, eu testei aqui com o cara do velho. Então, os dois, né? O Fable, o Fabster, usando aqui com Blender, mas isso… Eu estou desenvolvendo com o MVC dele para pegar essas plantas lá.

1:11:32 O problema é que a nossa engenharia aqui faz muitos processos personalizados, né? Hum. Então, a própria resposta que o senhor me deu me deu uma luz, porque ele vai ter que puxar dentro do RAG, em cima do RAG; vai ter que fazer fine-tuning para cada segmento personalizado, para ficar com uma acurácia melhor, para poder usar esse MCP do Blender ou do AutoCAD e refinar

1:12:04 ainda mais esses desenhos. Estou certo, coerente? Esse caminho é legal. Esse caminho por aí é legal. Beleza. Fala, Léo. Ô, professor, boa noite. Queria perguntar se o senhor tem algum direcionamento para dados sintéticos, né? O senhor falou sobre aumento de dados aí e… A gente vai ver isso especificamente, tá? Mais para a frente. Beleza? Show. Beleza. Na hora que a gente for trabalhar com dados, também vamos trabalhar com essas coisas, ver algumas coisas assim. Para terminar, Emerson.

1:12:38 Boa noite, professor. Boa noite. Só para ver se eu compreendi corretamente: vou usar fine-tuning sempre que quiser carregar na LLM uma estrutura que vai ser um padrão, um formato e um padrão que ela vai utilizar para correlacionar ou identificar alguma situação ou algum contexto mais específico, para que eu possa fazer algo mais vertical. E o RAG é onde vou pegar aqueles dados que vão estar sempre mudando, que vão estar sempre recebendo alguma informação. Bate

1:13:09 com o dia a dia, tá? Isso. Isso mesmo. Isso mesmo. A ideia é essa aí. Coisas que mudam, respostas na hora, algo mais pontual, uma resposta mais precisa: RAG. Mas aí, quando tenho uma especialização de modelo mais geral, tenho estilo, formato, ensino o domínio inteiro, aquela coisa toda: fine-tuning. Beleza. Beleza. Isso. Muito bom, pessoal. Muito bom. Então, quando não fazer, quando não

1:13:39 fazer fine-tuning, isso é importante, tá, pessoal? Tudo que a gente faz, a gente tem que ter uma noção de até onde o domínio deve ir. Então, se tenho dados, mas esses dados não têm qualidade, não adianta você socar dados. Não só dados sem qualidade, mas também poucos dados ou dados com pouca informação, né? Como é que você vai extrair um padrão de uma coisa se tem pouca informação sobre aquilo? Entende? Não vai dar certo. Então, é mais interessante deixar no RAG. Então,

1:14:10 certo? Porque ele vai copiar. Coloquei aqui, né? O modelo copia os exemplos que mostram inclusive os erros das respostas ruins, tá? O conhecimento muda todo dia, é o que acabei de falar aqui, né? Então não adianta. É caso de RAG, claro, caso de RAG: preço, agenda, estoque de loja. Essas coisas têm que ficar tudo no RAG, entendeu? E outras coisas, como eu falei lá, né? Se um prompt já resolve, não precisa

1:14:41 fazer fine-tuning. Só para dizer: “Eu fiz um fine-tuning meu, de um modelo”, está entendendo? [risadas] [limpando a garganta] Só para dizer que fez. Entendeu? Ah, beleza. Você tem dinheiro para gastar, né? Está querendo tirar onda, então faz. Mas tem que ter isso. Uma das maiores contribuições que o Google fez à computação, sabe qual foi? A simplicidade da página. A

1:15:13 simplicidade. [roncando] Impressionante a simplicidade da página do Google, como impactou a computação na época. Eu me lembro muito bem, porque o buscador principal era o Yahoo. Vocês lembram do Yahoo? E no Yahoo você encontrava tudo, menos a caixinha de busca, entendeu? E demorava para responder, né? E o Yahoo e o KD. Aí chega o Google com aquela

1:15:44 página sem nada, só aquela caixinha de texto do Google. E, quando você pesquisava, o miserável dizia: “Olha, buscamos em tantos milissegundos”, né? E você não precisava cadastrar seu site, porque ele já estava lá. Então, cara, isso foi uma coisa chocante na época, né? Então, foi demais, sabe? A simplicidade é algo muito importante. Quando você consegue responder uma coisa de forma muito simples, procure fazer por

1:16:15 ela; é a que está certa. Isso tem um nome na filosofia. Não sei se vocês conhecem esse termo, mas eu já falei dele antes. A gente usa esse termo na filosofia. Falo sobre ele nas aulas de inteligência artificial e também nas aulas de inteligência artificial avançada. Chama-se Navalha de Ockham. Fala. Bom, já falei sobre ela aqui. Navalha de Ockham, certo? A Navalha de Ockham diz o seguinte: “Para uma questão, existem duas

1:16:46 respostas. Qual está certa? A mais simples.” Normalmente, a resposta mais simples é a que está correta. O que isso tem a ver com inteligência artificial? Tudo, né? Quando você vai fazer, por exemplo, vou criar uma rede neural. O cara pergunta: “Professor, faço uma rede neural com tantas camadas? Com 10 camadas, 15 camadas, 20 camadas, ou faço com três camadas?” Aí eu falo: Navalha de Ockham. A resposta mais simples é a que vale. O que seria a

1:17:17 Navalha de Ockham nesse caso? A menor possível. A menor que você conseguir com a melhor resposta: essa é a melhor rede, certo? Deu para entender? Então, a simplicidade é algo muito importante e buscado na inteligência artificial. No fine-tuning, o que ele aprende, e o que ele não garante? O que ele aprende bem? Estilo e tom, o jeito de falar da clínica, por exemplo; formato da resposta: curta, direta, com o próximo passo, certo? O formato da resposta ele aprende muito bem. Você treina uma LLM com um tipo de resposta, vou pular; você pegou a ideia. A LLM tem tendência a escrever muito, e você a retreina para responder pouco; ela vai responder pouco, entendeu? Vocabulário do domínio, certo? Aprende muito bem o jeito de raciocinar e a concisão, né? Responde o que foi perguntado e para. O que não garante é

1:17:49 decorar o acervo inteiro, certo? Então, o modelo não vira um arquivo do PDF, beleza? Não adianta, ele não vai fazer isso, tá? Datas e números exatos, nem a pau. Isso é trabalho do RAG. Fatos que mudam são trabalho do RAG, assim como o que já estava nos exemplos, entendeu? Então, uma situação nova, uma resposta imprevisível: essas coisas não fazem parte do fine-tuning. Então, vocês que são engenheiros de inteligência artificial, né? Precisam entender isso, beleza? Não adianta tentar fazer uma coisa que não vai dar certo. Já vão sabendo exatamente qual é o trabalho que querem fazer, onde querem chegar, né? Vocês vão ver depois que o itsine é legal porque é um treinamento. Eu construí o framework para que ele fosse todo intencional, certo? Estou acreditando muito nisso, né? Por exemplo, o Omart mesmo, que a gente estava discutindo hoje num grupo feito pelo

1:18:20 Jage, que é um sistema operacional todo intencional. E o meu, quando eu ligo, já abre o Claude Code automaticamente. É como se ele fosse a interface do Omar, entendeu? Eu já abro para arrumar. Então, tem um atalho lá de que não gostei. Vou lá no Claude Code, mando trocar isso aqui, colocar aquilo lá, trocar esse, e já mando fazer tudo. Por quê? Porque, no sistema operacional Linux, como ele é um sistema aberto,

1:18:51 inteligência artificial, né? Eh, vocês precisam entender isso, beleza? Não adianta tentar fazer uma coisa que não vai dar certo. Já vão sabendo exatamente qual é o trabalho que vocês querem fazer, onde querem chegar, né? Vocês vão ver depois que o fine-tuning é legal porque é um treinamento. Eu construí o framework para que ele fosse todo intencional, certo? Estou acreditando muito nisso, né? Por exemplo, o Omart mesmo, que a gente estava discutindo hoje num grupo lá feito pelo

1:19:21 pelo Jage, que é um sistema operacional todo intencional. E o meu, quando ligo, já abre o Claude Code automaticamente. É como se fosse a interface do Omar, entendeu? Eu já abro para arrumar. Então, tem um atalho lá de que não gostei. Vou lá no Claude Code, mando alterar, trocar isso aqui, colocar aquilo lá, trocar este, e já mando fazer tudo. Por quê? Porque, no sistema operacional do Linux, como ele é um sistema aberto,

1:19:52 Tudo é alterável pela inteligência artificial. A inteligência tem acesso a tudo, não é como no Windows, que é fechado, entendeu? Então eu posso simplesmente fazer o que eu quiser dentro do meu Linux, né? Ele fica com a minha cara, exatamente do jeito que eu quero. Então, eu já não quero mais usar o meu sistema operacional como antes, já não estou mais usando botões, mouse e essas coisas; faço tudo direto no harness, entendeu? Virou só um harness, e eu acredito muito que o

1:20:23 futuro dos sistemas operacionais vai ser esse, né? Por quê? Porque você abre um sistema operacional e ele diz assim: “O que ele mostra para você? O que você pode fazer, né?” Até o Walmart mesmo, quando você abre, é bem assim: “Pô, e agora eu faço o quê, né?” Então você personaliza, né? Você liga o sistema e, vamos supor, quem nunca mexeu com Linux, levanta a mão. Não tem problema nenhum. Ou o Mac, por exemplo. Todo mundo já mexeu com Windows, mas o Mac é algo diferente, né? Eu, por exemplo, não sou um cara versado

1:20:53 em Mac, não sei nem mexer com Mac. Se eu abrir um Mac na minha frente, fico assim: “Bicho, o que eu faço com isso?” Não tenho costume, né? Não é isso que a gente… Por quê? Porque o sistema operacional espera que você… Ele te dá opções do que você pode fazer, entendeu? Já um sistema operacional baseado em intenção diz assim: “Olha, o que você quer fazer?” Então, se você abre o… Eu abro o meu [Omat] e ele já abre o Claude Code. Ele pergunta para mim: “O que você quer fazer?” Eu digo: “Ó, cara, eu

1:21:24 quero instalar uma impressora aqui.” Beleza, faz tal coisa, tal coisa, tal coisa, e está pronto. “Ah, abre tal coisa para mim, faz assim, assim”, entendeu? Então, o uso é diferente, entende? O uso é diferente, completamente diferente, certo? Em vez de você ficar: “Ah, onde é que eu faço tal coisa? Em que botão ou em que comando?”, isso não existe no sistema operacional, certo? Você simplesmente abre e conversa com o sistema operacional, e ele começa a agir, entende? Então, essa ideia é muito legal, tá?

1:21:56 Então, o WFine… Vou falar um pouquinho agora sobre a biblioteca, tá? Ele é um fine-tuning orientado por intenção, certo? Então, até falei num vídeo sobre essa história do bibliotecário, né? Uma biblioteca nada mais é do que um centro de conhecimento muito grande sobre tudo o que a gente tem aqui, tá certo? Então, tem muita informação sobre tudo. Mas, se você quiser trazer a sua informação e inserir essa informação nessa biblioteca

1:22:27 sozinho, vai ter problema, certo? Por quê? Porque existem regras para inserir uma informação nessa biblioteca, beleza? Não é de qualquer jeito, tá? Então, se você tentar colocar uma informaçãozinha lá, ela vai ficar lá, mas ninguém vai encontrar nada, entendeu? Dá para ver que ela vai ficar deslocada dos outros livros, né? Os outros livros têm esses adesivinhos aqui, tá? São organizados em seções certinhas e tudo mais, né? Então, o que é o WFine? O WFine é

1:22:59 como se fosse um bibliotecário, certo? Porque, quando o bibliotecário vai fazer alguma coisa com um livro, ele tem um processo, né? Tem tombamento, classificação, metadados, catalogação, indexação, controle de autoridade; tem tudo isso antes de colocar o livro lá, entende? Para que ele seja encontrado com facilidade e tudo mais. Então, a analogia é perfeita neste caso, porque o framework se encaixa exatamente aí,

1:23:30 tá? Porque, se você não usasse o framework, teria que fazer todo esse processo sozinho, entende? E teria que escrever código para isso, para gerar o treinamento. Então, o WFine faz tudo isso para você durante o processo, e aí a informação é inserida na biblioteca, beleza? De forma apropriada. Então, essa é a ideia: você fala com esse bibliotecário, e ele sabe como conversar com a biblioteca, que, neste caso, é a LLM,

1:24:02 né? Beleza? Então, isso aí é o que a gente chama de WFine, tá? Que é o processo todo de fine-tuning. Vamos passar para a frente. Então, existe um caminho de 11 etapas, uma jornada de 11 paradas, né? Você começa com a intenção, lá no Fine Start, e define qual é o ambiente em que vai trabalhar. Então, pode rodar localmente, pode rodar isso num Colab da vida. Não sei se vocês sabem,

1:24:33 mas todos vocês têm. Se você tem uma conta Google, tem acesso a um servidor do Google, que libera horas de GPU para você gratuitamente. Beleza? Se precisar de mais tempo, pode comprar, e é barato, não fica caro, sabe? Eu já comprei quando precisei treinar algumas coisas e usar lá, né? Na Universidade Federal, a gente tem nossos servidores com GPUs potentes, né? Tipo, melhores do que alguns que se equiparam aos que a gente tem aqui no

1:25:06 Google Colab, mas vocês terão acesso a essa GPU, certo? Você não tem uma GPU no computador, por exemplo. Eu tenho aqui meu computador, é um computador gamer, comprei exatamente para fazer esse tipo de coisa. Quero fazer pequenos treinamentos e tal, está aqui, roda com metade da capacidade. Agora, se não tem, a gente roda no Google Colab, certo? Vai dar aí um tempo de quatro horas de uso por dia, beleza? É mais do que suficiente para fazer o nosso trabalho, tá? E para você aprender como se faz o treinamento, tá? OK. Então, o WFine vai

1:25:37 reconhecer o seu ambiente. O que você vai fazer? Localmente, na nuvem, na sua empresa, numa AWS da vida; ele vai reconhecer tudo isso. Depois tem um processo de tratamento dos dados, tá, pessoal? Essa parte da curadoria dos dados é bem chatinha porque, por exemplo, quando você pega uma série de PDFs, eles têm cabeçalhos, né? Têm rodapés. Tirar tudo aquilo é um saco. Então, o framework também faz isso: a limpeza e a organização dos dados. Por exemplo, você vai fazer algo sobre

1:26:07 perguntas e respostas e transformar os seus dados em perguntas e respostas, né? Em alguns casos, por exemplo, se você não tiver o Ollama local, ele baixa o Ollama, instala na sua máquina, baixa um Qwen automaticamente também, se você quiser, e começa a rodar e a fazer o tratamento dos dados com o Ollama local, entendeu? Então, construir o framework me tomou um tempo, né? Mas achei que ficou legal para ajudar vocês, tá? Aí, depois, o próximo passo é escolher o modelo. Qual é o modelo que a gente vai

1:26:38 retreinar, né? Certo? Ah, vai ser um DeepSeek, vai ser um… Sei lá, um Llama, vai ser um Kimi, vai ser um Qwen. O que a gente vai usar, né? Depois, o processo é definir a régua e o ponto de partida. Ou seja, a gente tem que definir quais são as métricas de aceitação. O que você quer com esse modelo? Ah, quero que ele me responda como eu respondo ao pessoal da clínica. Então, essa é a métrica. Ele tem que fazer isso, entendeu?

1:27:10 Né? Depois, a gente congela esse objetivo, trava para poder fazer… Eu estou em dúvida se esse congelamento do objetivo é uma coisa interessante para a gente, tá? Porque eu estou mexendo com ele aqui algumas vezes. Eu disse: “Não, desse objetivo eu não gostei, quero mexer.” Aí ele falou assim: “Não, mas está congelado.” “Não, eu estou mandando. Pode mandar.” Vocês sabem que eu xingo, eu xingo LLM, né? Aí ela… Ele faz, entendeu? Enfim, ainda estou em dúvida se eu

1:27:41 mexo com isso ou não. Mas vamos lá. A receita é o quê? Ah, vamos treinar a rede inteira? Vamos treinar só a parte de baixo da rede? Vamos colocar LoRA? Vamos colocar QLoRA? Vamos colocar o quê? Certo? A receita, tudo isso a gente vai aprender, tá, pessoal? O conceito e como fazer na prática. Aí tem o ensaio, o treino. Um ensaio nada mais é do que um pequeno teste para ver se está tudo certo, né? Às vezes, é para verificar se o código está rodando. Beleza? E aí vem o retreinamento propriamente dito. Depois disso, tem um processo de

1:28:12 Avaliação. Terminou o retreino, vai levar algumas horas, tá? Tem avaliação, depois tem a exportação. Onde vou colocar isso? Vai ficar na minha máquina, vai ficar no outro servidor, tá? E tudo isso dentro do Fine: você tem que dar autorização para ele mexer, tá? Porque o que acontece? Às vezes, a pessoa quer fazer o retreino do LLM, mas não quer que nenhum outro LLM tenha acesso aos dados, beleza? Então, por exemplo, os dados que são processados aqui, tá? São

1:28:43 códigos em Python construídos para acessar os dados. Não é o LLM que mexe nos dados. O LLM só aciona o programa em Python que vai ler os dados e trabalhar com eles, entendeu? Ele nunca mexe nos dados se você não autorizar. Então vocês vão ver depois que, quando a gente instala o Itfine, há um arquivo de configuração lá dentro, uma série de permissões, e ele já deixa tudo fechado. Você vai ter que abrir esse arquivo manualmente, porque ele diz assim: “Eu não posso mexer, não vou

1:29:15 mexer.” Igual o Reversa também, né? O Reversa não mexe no legado; é proibido. Agora, eu criei um arquivo de configuração para dizer assim: “Não, eu quero mexer.” Então ativa lá, permite o Reversa, e aí ele vai mexer. Beleza? Então, esse conceito eu também trouxe para cá, para o It. Isso é uma coisa do, né? Porque a gente pode, além de estudar conceitos, estudar uma coisa que nós mesmos fizemos, né? A nossa comunidade construiu um framework, uma coisa para a gente mesmo

1:29:46 usar. E o legal é que, se as coisas começarem a dar problema, como aconteceu com o Reversa, né? “Professor, eu estava fazendo tal coisa com o Reversa e deu um problema assim, assim, assim.” Aí eu digo: “Pô, manda para mim que eu vou arrumar”, né? Ou então com o Mira, né? “Estou fazendo uma coisa com o Mira e aconteceu isso, isso, isso. Tem um problema.” Ah, vamos arrumar então. Legal, né? Essas coisas são nossas; a gente é dono delas, né? É legal para caramba. É o pato que anda na água. [risadas] É Jesus. [risadas]

1:30:16 Gostou? >> A Fátima, né? Então, tem a exportação, né? É onde vai rodar efetivamente. Você pode voltar isso: o seu arquivo pode voltar para o modelo no Ollama, e você já pode construir um chat para conversar com ele e testar na sua própria máquina. Ou então isso vai para outra máquina, beleza? Você também pode testar isso no próprio Colab. OK? “Professor, eu construí no Colab e gostaria de testar no Colab, porque não tenho máquina para testar.” Porque tem que ter máquina, pessoal. Infelizmente, para LLM tem que ter

1:30:46 máquina, tá? Não tem como a gente se enganar, tá? Então, se você não tem máquina em casa, vai ter que usar uma máquina remota. E aí tem máquina gratuita e tem máquina paga. Beleza? Agora, lógico, o conhecimento que você vai aprender aqui nessa mentoria vale muito se você precisar fazer alguma coisa específica para a sua empresa, para uma empresa, algo assim, entendeu? Então, isso tem um ganho financeiro que eu acho que vale a pena. E o último passo é a entrega em si,

1:31:18 né? É o fechamento dos 11 trajetos do It’s Fine. Beleza? Então, é legal porque eu acho assim: olha, Fine-tuning, a gente está desde o final do ano passado tentando fazer essa mentoria, não é? Certo? Aí apareceu MCP, e a gente parou e falou: “Não, temos que aprender MCP e a 2A.” Aí fomos

1:31:49 atrás, fizemos, pá. Aí, no início do ano, quando fomos começar o Fine-tuning, apareceu o harness, né? Apareceu o harness, para a gente fazer harness, e fizemos harness. Aí os harness explodiram, e o desenvolvimento com inteligência artificial também explodiu. Então, a gente fez a parte de engenharia de software com o Reversa e tudo mais. Eu acho que a gente está numa hora em que falta AGI, né? [risadas]

1:32:21 Está me provocando, né? Eu acho que a gente entrou numa hora certa para fazer isso, sabe? Porque hoje a gente consegue diminuir bastante, substancialmente, a complexidade para pessoas leigas entrarem numa rede neural de fato e treinarem uma rede neural, né? Retreinarem, entendeu? E o conhecimento técnico de retreino de inteligência artificial é um pouco

1:32:52 puxado. E, em alguns casos, quando a gente está desenvolvendo o código de retreino, de treino, algo assim, pode ser meio maçante, sabe? A pessoa começa a ficar assim: “Hã? Hein? O quê? Você está entendendo?” Então, eu acho que a gente está num momento legal, em que podemos conhecer todos os conceitos, o porquê das coisas e tudo mais. E tem uma ferramenta, o framework It’s Fine, que pode nos ajudar nesse processo, né? E aí aqueles que

1:33:23 querem saber um pouco mais — e sempre tem esses, né, que eu acho massa —, aqueles que querem logo o resultado podem usar o Fine, que serve muito bem. Tem aqueles que querem aprender um pouco mais e saber como é o código por dentro. Aí vão lá, abrem e aprendem, entendeu? O que é massa, entendeu? Então, a gente atende todos os públicos, né? Certo? A gente pode discutir, otimizar o código ali dentro e tal, e ver como a rede neural funciona por dentro de verdade. Legal para caramba, né? Então, quando a gente faz o

1:33:55 mestrado, o doutorado, dá aula nessas graduações, a gente vê a parte matemática da coisa, como funciona, né? É bem escovar bits lá dentro mesmo, porque a pessoa vai ter que criar uma nova arquitetura de LLM. Não é só retreinar, né? Ela tem que entender por dentro e propor uma nova arquitetura, entende? Não é simplesmente pegar uma coisa que já existe e dar aquela treinadinha, não. Isso a gente deixa para o pessoal da graduação, da pós-graduação e tudo mais, né? Agora, no mestrado e no doutorado,

1:34:27 a coisa é mais puxada. Beleza? Então, eu acho que a gente está num momento legal para aprender sobre isso. E, no final das contas, é o assistente funcionando mesmo, né? É o assistente da Marina, veterinária de vacas, [risadas] certo? Que responde direitinho, conforme ela quer, funcionando, tá? OK. Então, o mapa dos nove capítulos: eu estava planejando fazer dois capítulos hoje, né?

1:34:59 Mas aí, como é? A primeira aula sempre tem um pouco mais de perguntas, de dúvidas e tudo mais; é normal. Então, ficamos num pequeno primeiro capítulo, para tirar essas dúvidas gerais. Nas próximas aulas, estou pensando assim: a gente vai começar a acelerar um pouco, entende? É possível acelerar e fazer dois capítulos por aula e tal. Então, esses são os nove capítulos que vamos ver nessa sequência, beleza? Para a gente aprender, tá? É essa trilha importante: projeto e ambiente,

1:35:31 os dados em si, estudar os modelos base, métricas e objetivos, a receita — no caso, LoRA. O que é LoRA? Por que isso surgiu? Como funciona, tá? Sondagem, treino e avaliação, exportação, entrega e alinhamento por preferência. Beleza? São nove capítulos, tá? A mentoria só acaba quando termina, beleza? Nem que dure um ano — não vai durar, não, tá, pessoal? —, mas ela só acaba

1:36:01 quando eu fizer o último capítulo, tá? Às vezes, por exemplo, tem um capítulo que é mais denso, como aconteceu com harness, né? O capítulo de Graph RAG foi muito denso, muito denso. Foram cinco aulas; é como se fossem cinco capítulos. Eu o dividi em cinco partes para a gente poder entender. Mas eu só termino a mentoria quando acabar. Quando terminar o último capítulo, terminou a mentoria. Beleza? É sempre um compromisso que assumo com vocês. E, assim, as aulas são todas

1:36:33 às quartas-feiras, nesse mesmo horário, no canal. E é isso. Beleza. 10h15. Algumas perguntas para terminar também. Agora, vou dar uma descansada na voz. Regis, >> professor, nessa linha que o senhor falou do Fine-tuning, eu fiquei pensando

1:37:05 naquela questão de um conteúdo que é difícil, né, como o direito, que tem vários conceitos por trás e muitas interpretações de um mesmo objetivo. Aí, nesse caso, para fazer o fine-tuning com isso, a gente tem que usar ontologias e tudo mais. Como é isso? >> Como funciona essa história? >> Normalmente, esse, esse, esse, esse, esse

1:37:37 Esse momento tem muito a ver com o tratamento de dados, certo? Talvez, assim, o capítulo três, pessoal de dados, seja o capítulo mais crítico. Os dados são o capítulo mais crítico, certo? De qualquer inteligência artificial baseada em aprendizado de máquina, certo? Porque ela vai aprender com os dados. Então, os seus dados têm que ser volum

1:38:09 volumétricos, digamos assim, e têm que ter qualidade, porque, se você não tiver dados de qualidade e eles forem muito ruidosos… Então, todo dado é muito específico ao domínio em questão, por mais que seja assim: “Ah, mas o direito é sempre assim”, tá? Mas qual é o objetivo que você quer treinar com essa rede? Você quer uma rede geral ou uma rede específica? Sei lá, vamos supor: STF Vittor, vai direcionar. Chegou um caso, lê o caso, o projeto, o

1:38:40 lance dela, o que é? Eu leio o caso e simplesmente direciono para onde tem que ir. É só isso que ela faz, né? Ela não dá resposta de nada, não sei o quê e tal. Foi treinada para isso, tá? Então, ela foi treinada com uma base de dados de quê? Casos, direção, entendeu? Entendi. Então, não vai ter algo do direito que vai falar do penal, do civil, do tributário, do não sei o quê. Isso — não é isso — não. Então, eu estou invertendo as coisas

1:39:10 aqui, de tal forma que um dos dois passos é muito importante. O primeiro, como eu falei, é uma estrutura baseada em intenção. Você precisa definir qual é a sua intenção. Muito bem. Certo? Eu quero que a minha rede neural responda ao produtor rural que mandar uma mensagem para mim, conforme eu respondo e

1:39:42 com o conhecimento interno que eu tenho aqui na empresa, na clínica veterinária. Perceba: a intenção está toda destrinchada em detalhes, certo? Então, é preciso entender qual é a intenção, o que você quer fazer com essa rede neural, certo? Porque, a partir daí, você vai ter uma forma de tratar esses

1:40:14 dados, certo? Eu vou treinar com dados crus? Vou transformar esses dados em perguntas e respostas, certo? Vou treinar esses dados inteiros com uma saída simples, ou a entrada é simples e a saída contém dados inteiros invertidos? Tudo isso depende da intenção que você tem em relação à rede neural. — E a grana, né? — Hã? — E a grana, né? O recurso. — É. E o recurso de treinamento, né? Aí tem o projeto e o ambiente, né? Que é

1:40:44 aquela questão, tá? OK, mas aí vamos treinar qual rede? Quanto maior a rede, né? Quanto melhor for a rede em termos de quantidade de parâmetros, melhor será a rede. Consequentemente, se você tem mais parâmetros, precisa de uma máquina mais potente. Então, é aquela história, né? Na computação, tudo é uma relação de perdas e ganhos. — Perdas e ganhos. — Na computação, tudo é uma relação de perdas e ganhos. Por isso que vocês são engenheiros, são engenheiros, né? Certo? Então, a

1:41:17 engenharia é isso, é uma relação de perdas e ganhos. Você tem que abrir mão de uma coisa para receber outra, certo? Às vezes, você não vai conseguir uma coisa maravilhosa, mas uma coisa aceitável. É isso. A engenharia é isso. — Tem que determinar alguns critérios também, né, professor? No caso, para a escolha até mesmo do seu problema e da sua rede neural ali, né? — Ou do seu LLM, né? — Exatamente. — Professor, mas quando é que se indica usar ontologias?

1:41:50 É, cara, é nesses dados, nesses dados, como você mesmo falou aí, certo? — Deixa eu pensar. — Medicina. Medicina, por exemplo, medicina ou… Mas o que vem à minha cabeça é o direito, que é o mais difícil, né? — Aham. — Eu acho,

1:42:22 — mas eu estou ouvindo muito o pessoal falar de ontologias ligadas ao treinamento da IA e coisas assim. Aí fiquei com essa dúvida, mas a gente pode evoluir depois, podemos ver depois. Eu acho melhor porque, assim… — A ontologia, professor, geralmente… — O pessoal tem falado de ontologia, mas… — Pesquisas, né? Porque você tem que fazer uma pesquisa mais profunda, mais ligada à gente. Ontologia,

1:42:52 — o uso de ontologia é mais de RAG. O pessoal tem falado muito, mas é porque voltou meio que o hype do uso de RAG com gráfico na implementação com LLM, porque o grafo gera um padrão de busca e de conhecimento mais auditável, o que é importante para a detecção de fraude e várias outras coisas. Então, você usa ontologia para poder definir o domínio dos dados e as etiquetas dos metadados. É mais nessa linha. Não é

1:43:25 muito para fazer isso, não. — É mais nas suas tarefas. É onde você está determinando as tarefas que vai usar uma determinada ontologia, porque ontologia serve para vários tipos de tarefa, né? Então, a ontologia é um… que fala sobre ontologia. Então, dependendo do que você for usar, é que vai usar uma determinada ontologia. Por isso, também é necessário fazer uma pesquisa antes. Essa parte da pesquisa também é fundamental, pelo menos do meu ponto de vista, e é nisso que estou trabalhando agora.

1:43:55 É, mas, assim, é porque a ontologia é mais… Como é que eu vou dizer? As definições são mais simples, né? Tipo assim: “Ah, vou pegar um domínio, como, por exemplo, sei lá, uma universidade.” Beleza? Então, lá, o que é ontologia? O professor é uma classe desse domínio, certo? Então, a gente usa

1:44:28 muito isso também na orientação a objetos, beleza? Um aluno é uma classe desse domínio; uma disciplina é uma classe; o professor ministra uma disciplina, beleza? Aí você começa a fazer relações entre os conceitos desse domínio, beleza? Só que, para processar isso dentro de um fine-tuning, você tem que ver qual é, efetivamente, o propósito da saída que você quer dar com essa entrada, entendeu? Ou se você vai transformar essa ontologia em um processo de raciocínio interno. Deu para entender? Como se fosse um passo, e não exatamente o raciocínio como um todo. E aí poderia até ser, tá? Podemos discutir um pouco mais para frente, tá? — Tá bom. Vou falar sobre dados,

1:45:00 — professor. Ontologia se resume à estruturação formal do conhecimento, né? — É, exatamente. Exatamente. Essa questão… Ah, é como, por exemplo… Deixa eu pensar aqui, deixa eu pensar. É, mas ontologia é basicamente isso que eu estou falando. Você tem os conceitos básicos, certo? Aí você define esses conceitos básicos e qual é a relação entre eles, entendeu? Então, você tem lá

1:45:31 conceitos, né? Você tem instâncias, propriedades, relações, beleza? Restrições, regras e tudo mais. Você pode construir isso como algo que a própria LLM consulte, mas isso não quer dizer que tenha que ser uma regra ou um dado de informação, de conhecimento. Está entendendo? Pode ser um raciocínio paralelo ou um

1:46:04 raciocínio, um passo de raciocínio, um ponto, um passo de raciocínio, como se fosse uma cadeia de pensamento, certo? Entendeu? Então, você pode usar isso como recurso. Deu para entender? Agora, transformar os dados em ontologia, não sei se seria tão útil, entende? E também não sei se seria interessante em termos de processamento, né? Deu para entender? Mas é um recurso, com certeza é uma ferramenta utilizável,

1:46:34 certo? É isso que eu queria dizer. Então, podemos ver esse detalhe depois, com calma, sabe? Foi bom você ter lembrado desse tema. É algo que o pessoal realmente tem discutido por aí, né? Porque é uma representação formal dos conceitos, né? Entendeu? Quando você vai fazer uma ontologia, basicamente é isso: uma representação formal dos conceitos, propriedades e relações existentes em um domínio de conhecimento específico. Entendeu? — Professor, um exemplo de ontologia: o que

1:47:05 o senhor está passando para a gente, sabe aquele esquema que o senhor fez? — Isso, o esquema que o senhor está passando para a gente, né? — Da intenção ali, dos quadradinhos, dos 11 quadradinhos. — Sim. — Aquilo é uma ontologia. Se colocar como exemplo, seguindo… — Pode ser, porque você tem os conceitos e como eles se relacionam, né? — Exato. Uma estruturação do conceito, do conhecimento ali, de como vai ser aplicado. Então, tem uma sequência ali de como vai ser aplicado, o cara… — Mas só essa questão de

1:47:37 o senhor está passando para a gente, sabe aquele esquema que o senhor fez? >> Esse é o esquema que o senhor está passando para a gente, né? >> Da intenção ali dos quadradinhos, dos 11 quadradinhos. >> Sim. >> Ali é uma ontologia. Se colocar como exemplo, seguindo… >> Pode ser, porque você tem os conceitos e como eles se relacionam, né? >> Exato. Uma estruturação, né, do conceito, do conhecimento ali, de como vai ser aplicado. Então, tem uma sequência ali, de como vai ser aplicado. O cara… >> Mas só essa questão de

1:48:07 Ontologia, porque veja que existe uma palavra muito forte aqui, que é a relação entre eles, entendeu? Eu tenho um conceito, sei lá, aqui, ó: Sandeco é professor, e A é uma disciplina. Sandeco ministra. Percebe que existem as entidades e a relação entre elas? E, claramente, essa ontologia monta um grafo. >> Exatamente. É a estrutura de grafo, né? >> Então, é por isso que o Emerson falou de

1:48:39 que isso volta com muita força na questão do RAG, entende? Isso não necessariamente tem que ser uma base de conhecimento para treinamento de uma LLM, porque a LLM não faz esse conhecimento em grafo, né? Se bem que pode: você pode fazer o conhecimento em grafo, né? Tem um pessoal que usa conhecimento em grafo; não posso dizer que não. Mas, normalmente, o que acontece? Você pega uma quantidade de dados e vai trabalhar com esses dados lá dentro. Beleza? Normalmente é assim que se faz, né? >> É, dá trabalho fazer, né? Você fazer,

1:49:10 mas veja bem: tudo isso que a gente viu aqui é pré-processamento de dados, né? Ou seja, o conceito de pré-processamento de dados ainda é o mesmo em machine learning, tá? Então, entenda o seguinte, ó: eu sempre digo para meus alunos que, quando vão treinar uma rede de visão computacional, 80% do trabalho de engenharia em cima de uma rede neural, certo?, está no pré-processamento de dados. Tem a ver com pegar o dado, adquirir o dado,

1:49:41 limpar o dado, reconhecer problemas, ruído, tirar ruído, verificar outliers, né? Verificar dados faltantes, certo? E aí você faz uma série de coisas que precisa fazer com texto. Aí, meu, você tem que tirar os cabeçalhos, rodapés, termos que se repetem demais, não sei o quê. É uma limpeza que você faz para poder melhorar aquilo lá, certo? RAG, só a peste. >> O chunk vai voltar, vai que é o outline, né? Você faz muita coisa,

1:50:11 certo? Para poder limpar esses dados, porque, quanto menos ruído você tiver nos dados, melhor ela vai responder, melhor vai conhecer os conceitos, certo? Então, quer queira, quer não, tudo isso vira pré-processamento de dados, certo? Nessa parte de pré-processamento de dados, tem uma vantagem do Witfine: ele é muito bom nessa área, sabe? Porque consegue pegar os dados e dizer assim: “Olha, dá uma limpada aí e organiza”. Você só dá esse comando para ele, ele vai e faz, entende? Se eu fosse

1:50:41 trabalhar com vocês, pessoal, nessa parte de fine-tuning, só na parte de pré-processamento de dados, meu irmão, pode ter certeza: seriam umas cinco ou seis aulas só sobre isso, sabe? E aí vocês encheriam o saco. >> Vai botar um RAG lá com grafo e tudo, né? No framework. [risadas] O Witfine está no GitHub, mas é privado. Só vocês têm acesso ao Witfine, tá, pessoal?

1:51:13 >> Beleza. >> Só o pessoal da mentoria aqui do livro tem acesso ao Witfine, mais ninguém. >> Professor, o senhor já liberou o GitHub para a gente ter acesso? Para você poder… Eu não tenho vocês… Vocês não têm acesso ao GitHub dele; só eu tenho. >> Ah, entendi. >> Você só tem acesso instalando ele com aquele comando de instalação lá. Ah, >> tá no segundo capítulo. Beleza. >> Vai ser, então. Vai ser mais ou menos assim, né? >> Acho que o Cláudio tem uma pergunta, né, Cláudio? >> Sim. Dá para fazer alguma coisa útil

1:51:45 com um Windows gamer com entre 8 e 32 GB de VRAM? >> [roncando] >> Ou não? >> Dá, pô. Claro. [risadas] Mas você tem placa de vídeo nele? >> Sim. >> Qual? >> Uma RTX 3090. >> Dá, dá, sim. Quanta memória? >> Seis. >> 30. Memória RAM. >> De VRAM, né? Memória da GPU. >> 24 de GPU. 24

1:52:17 >> GPU. Dá para rodar uns modelos bons. Tá bem. Caramba, cara. Pô, tem uma dessas, >> estourando aí, pô. [risadas] >> Roda tranquilo. 24. Você pode pegar uma rede, um modelo bom, muito bom para rodar. Ainda dá para usar as memórias dele para fazer compartilhamento, se usar um Tritonzinho ali para fazer a distribuição. É, >> caraca. >> Ó, a última pergunta, tá, pessoal, do João Carlos aí. É só uma observação, Sando. Eu tenho

1:52:51 uma placa, diga, >> com uma RX 580. >> Sim. >> E 32 de RAM. E, de vez em quando, eu apanho, >> certo? >> E, de vez em quando, ela trava. >> É, né? Ah, pessoal, vocês têm que instalar o CUDA nela, certo? Então, vocês vão ter um processo aí, mas podem pedir para o WF ajudar. Ele ensina em sequência.

1:53:21 >> É, então, >> pode ir lá, ó, entra lá no harness. Aí, normalmente, eu… Você olha: “Eu estou com esta placa”, porque ele tem o ambiente de fine-tuning, certo? >> Aham. >> Então, ele vai procurar qual é a configuração da sua máquina. Beleza? Aí ele vai achar, OK? Só que vai dizer: “Olha, é o seguinte: achei sua placa aqui e tal, mas você está sem o CUDA; a gente precisa instalar”. Aí você diz: “Então me ajuda a instalar”. Algumas coisas ele vai baixar; outras, vai indicar o caminho.

1:53:53 Por exemplo, esta minha máquina de que estou falando com vocês estava com um problema: ela tem uma placa de vídeo, mas o driver estava meio zoado. Ele arrumou para mim. Arrumou. É o lance de você ter o harness conversando com o sistema operacional, né? Vira aquele lance da intenção: não é o que eu posso fazer, é o que eu quero fazer. “Eu quero fazer isso, então arruma para mim”, entende? >> Só não conseguimos, só não consegui

1:54:24 ainda instalar a impressora, cara. Impressora é coisa do Satanás. Não tem jeito. Não, no Windows mesmo. Ah, a AMD não roda CUDA; só roda com Vulkan. Aí eu estou apanhando para instalar. >> Ela é AMD. >> É AMD. >> Aí, em vez do CUDA, tem que ser Vulkan. >> E eu estou apanhando para instalar, >> para configurar. >> Eu não conheço essa biblioteca, tá? Porque normalmente trabalho com

1:54:56 CUDA e a gente trabalha com PyTorch, né? >> E aí fica legalzinho, rodando. Beleza. >> Qualquer coisa funciona, com certeza funcionará no Colab, mas você pode treinar no Colab e trazer de volta, entendeu? E ela roda, >> beleza? >> Aí instala o Ollama e manda rodar lá no Ollama. Vai de boa. >> Tá ótimo. >> Pessoal, muito obrigado. Tem agora 80 pessoas online com a gente. Muito bom. Valeu mesmo. Quarta-feira que vem a gente continua.

1:55:26 Então, espero que vocês tenham gostado. Amanhã cedo eu coloco a aula para vocês reverem. Deixa eu parar aqui de gravar, né? A diferenciação também que >> fica gravando até

Transcrição original

[00:00] Que bom que você clicou. O vídeo de hoje vai ser um pouco diferente. Vai ser uma aula completa que eu ministrei ontem da mentoria do livro de Fitani para leigos, tá? É para leigos mesmo. E eu vou deixar completamente aberto aqui gratuito para você. um conteúdo muito rico para você, com muitas discussões e com muitas perguntas, né, e respostas técnicas da minha parte, né, que eu acho que você vai gostar bastante. Além disso, eu tô deixando aqui na descrição o link do

[00:30] primeiro capítulo do livro de Fine Tun para você acompanhar todo esse conteúdo em detalhes. E olha, se você gosta do conteúdo de ados complicada, considere se inscrever no meu canal, ative as notificações e se você quiser falar comigo pessoalmente, vem pro nosso grupo de WhatsApp, o link tá aqui na descrição aqui embaixo e eu vou est lá para responder você. Então é isso, prepara a pipoca, se ajeita no sofá e vamos nessa. [música]

[01:02] [música] Olá, tudo bem? Como é que você tá? tá chegando aqui agora com a gente. Nós estávamos conversando um pouquinho, nós estávamos aqui conversando um pouquinho, mas você que tá vendo agora depois, né, que não teve, não pôde estar com a gente na mentoria, nós estamos começando então mais uma mentoria aqui do canal Sandeco, do Fine Tunning. E a gente vai falar sobre Fine Tunning aqui nessa mentoria de forma mais começando dos da parte bem leiga mesmo até uma parte um pouco mais avançada, né? E entregando também aí nessa mentoria o framework, né, chamado

[01:33] It’s Fine, tá? Eh, toda mentoria é feita para leos, né? Então, a gente tá assim com bastante animação, desenho, usando os recursos do Mira Animator para nos ajudar. E bom, é uma pena que você não pode estar com a gente aqui, mas na próxima vez tenta estar com a gente, vai ser bem legal. Beleza, vamos começar. Então, eu vou compartilhar aqui minha tela pra gente começar. Então, vou começar compartilhar com vocês aqui já minha tela inteira aqui e tal, e pra gente começar a discutir sobre o que

[02:04] que é esse danado desse F Tun que o pessoal sempre fala, né? Mas essencialmente vou contar um probleminha que aconteceu, né, aqui em Goiás, que é a história da Marina que tá dentro do livro aí, que é a história engraçada, porque foi a história de criar um assistentezinho, certo, eh, para uma clínica veterinária, certo? Então o produtor ali, né, na fazenda entrou em contato com a entrou

[02:36] em contato com o WhatsApp para perguntar o que tava acontecendo, que hora que abria, né, o funcionamento e tudo mais, tal. E em algum momento o produtor perguntou o seguinte coisa aqui, ó, doutora, minha vaca tá com mole mole o casco soltando. É tristeza. Olha essa mensagem. [risadas] Não é? Se fosse você, você responderia o quê? Entendeu? Você pode assim: “Ah, vai que o boi morreu, né?” [risadas]

[03:10] Você tá entendendo? Agora, um bote, um bote vai responder o quê? O bote vai responder, né? Sinto muito que você esteja triste. Beleza? Você veja que é um contexto totalmente de fora. Fala, mas respire fundo, beba água, fique tranquilo, certo? [risadas] Peça ajuda a alguém. Quer dizer, a interpretação do bote ali é muito fraca, certo? Tá rodando local. Por quê? Porque nesse caso aqui, né,

[03:41] especificamente, a tristeza tem dois sentidos nesse caso aqui, especificamente, né? Pode ser tristeza em termos de sentimento, mas tristeza para o produtor goiano na vaca tem um nome, é o nome de uma doença que dá, que é essa babesiose, certo? É um, é uma doença que tem. A vaca vai ficando triste assim, tem uns problemas nos cascos. Exatamente. Cácos soltando com moleza. É uma doença, certo? Só que não é que o a Iá não saiba da doença,

[04:12] beleza? Se perguntar é babesiose Iá saberia, mas como o o produtor rural fala na linguagem do goianês, né? Aqui ele não vai entender, entendeu? Então o que a a Marina aqui nesse caso, né, pode fazer, né, é dar informação pra inteligência artificial e prover a informação, né, um contexto ali para pra inteligência artificial, treinando, retreinando, né, em ajuste fino, beleza?

[04:43] Para que agora ela possa conhecer esse problema, beleza? Muito simples. Não é que não é que a IA não presta para nada, é porque é um contexto tão específico, tá? Que ela não vai, não vai saber. Ela não foi não foi exposta, é a história do 9.9 e o 9.11, entendeu? Esse contexto não foi exposto ali, tá vendo? Então, por isso que tá com esse tal do mole mole. E agora quando se manda a mensagem de novo, né, a inteligência artificial pode dizer, né, ah, entendi. Você tá falando da saúde da vaca, né?

[05:14] Entendeu? Então assim, basicamente eu [limpando a garganta] tô trazendo aqui um contexto de informação onde eu trago paraa inteligência artificial não somente a a informação em si, mas também a forma como interpretar o jeito que se fala aqui, entendeu? Então eu posso passar essa informação para que a gente possa eh simplificar e melhorar a conversa entre o produtor rural que tá lá na ponta com a própria clínica aqui no interior de Goiás. Beleza? É isso.

[05:47] [roncando] Então é a mesma pergunta, certo? Com dois duas saídas duas saídas de modelos diferentes, né? Minha vaga tá com tristeza, então o modelo base é genérico, que ele não conhece o domínio. Então, toda vez que você precisa que a sua inteligência artificial conheça o domínio, você precisa de uma de um ajuste aí na sua na sua LLM, beleza? Então, eh, são esses caminhos possíveis que a gente tem aí. Aí tem a metáfora do recém formado, certo? Se a gente for com

[06:19] sempre que eu tento, quando eu eu sempre disse para vocês o seguinte, quando a gente quer resolver um problema de inteligência artificial, olhe para como o ser humano resolve o problema e tente fazer igual. Por quê? Porque a inteligência artificial nada mais é do que a imitação do comportamento humano, né? Eu já falo isso há muito tempo, beleza? Mas vê só que não acontece isso, ó. Imagina que agora, em vez de não ter inteligência artificial, chegou um recémformado em veterinária. Então esse cara, ele sabe sobre fisiologia, ele sabe sobre farmacologia,

[06:50] ele sabe ler um exame, ele sabe tudo, pô. Certo? Só que ele não tem vivência prática no campo, digamos assim, né, da veterinária. OK? O que o que isso acontece em todos os lugares, né? em todas as áreas do conhecimento. Por isso que eu falo que o professor, por exemplo, é algo que nunca vai mudar, nunca vai morrer. Professor de verdade é aquele cara que é mestre e que ele é um cara que é um mentor, digamos assim, né?

[07:21] Por isso que eu gosto da da nossa da nossa nossos encontros se chamarem mentoria, porque a mentoria tem muito a ver com a vivência prática. conhecimento, pessoal. Esse conhecimento você quiser adquirir na nas redes sociais ou conversando com chatt e cloud, você consegue do mesmo jeito. Mas por que que você vem aqui, tem 124 pessoas aqui, compraram o livro e atrás de mim? Porque existe uma vivência, entendeu? Eu tenho uma experiência de de um tempo na área de inteligência artificial que eu posso passar para vocês, mas o conhecimento vocês podem ter, certo? Em

[07:52] qualquer lugar. Então, por isso que eu acho que a educação ela vai para esse caminho, sabe? A educação vai muito para o caminho da da da mentoria, não tanto do ensino, da transmissão do conhecimento, mas sim a transmissão da vivência, né? É igual aquele filme lá, o Gênio Indomável. Que assistiu aquele filme Gênio Indomável. Vocês lembram daquela cena que ele que ele provoca o o o ele provoca o psicólogo e o psicólogo pega no pescoço dele, né? E depois eles

[08:23] se encontram ali numa praça, digamos assim. E aí ele fala: “Não, eu fiquei fiquei relaxado porque depois que eu fui dormir, eu percebi que você é só um garoto. Você você pode falar de amor, mas nunca teve nunca amou alguém, né? Você pode teve falar de guerra, você pode falar todas as guerras que já existiu, mas você nunca esteve em uma guerra com um amigo morrendo no seu colo, entendeu? Então assim, a vivência tem muita diferença, porque a vivência o que que

[08:53] é? É pegar o conhecimento e pôr em ação, né, para para solucionar problemas, que é uma das coisas maiores problemas que a gente tem na computação, né? Nós na computação temos muita solução para muita coisa, mas temos poucos problemas para resolver. Sempre foi um problema pra gente, né? Quando chega no final de curso de computação, começa o desespero dos alunos, né? atrás de tema para TCC. Tema para TCC, né? É, é o maior dor de cabeça que existe na nas faculdades e universidades da área

[09:24] de computação, porque sempre é uma questão muito séria. Eu tô com um aluno meu agora mesmo, tá tá penando para arrumar um tema pro TCCD lá, tá todo nervoso. Enfim, é isso. Por quê? Porque nos falta problemas. A gente sabe solucionar as coisas, mas a gente não tem os problemas para resolver, né? Então, da mesma forma aqui, ó, da mesma forma a o que falta aqui da vivência, né? Ele não sabe que mole molha tristeza, que tem que explicar de uma forma que que não assusta os protocolos

[09:55] da clínica. Isso não quer dizer que esse cara tem que voltar pra faculdade. Olha essa analogia aqui, que interessante, né? Você não precisa, o que que é voltar pra faculdade em termos de LLM? Retreinar tudo. Beleza? Você não precisa retinar a sua LLM inteira para ela se adaptar ao seu problema, à sua empresa, ao seu negócio, entende? Você não precisa, basta você ajustar detalhes, né? É exatamente isso

[10:25] que a nossa veterinária que faz. Passa conhecimento aqui, ó. Passa mais detalhes, né? Certo? de forma que agora ele já sabe o que que é esse que são as coisas, o detalhe, o contexto ali mais próximo do que acontece ali dentro da veterinária, certo? Nessa residência, eu vou chupar uma balinha aqui porque eu tenho que ficar chupando essa balinha o tempo inteiro por causa da gagana. Então a residência serve exatamente para isso, né? O residente em medicina, o residente em eh sei lá, veterinária, o residente,

[10:57] ele tem que fazer isso, né? Ele tem que aprender agora na vivência, né? E não é falta de inteligência, é só falta de vivência, entendeu? E essa falta de vivência vai dar para ele o quê? Mais capacidade, né? Mais capacidade eh técnica no dia a dia. Beleza? OK? Então, veja que fazendo esse paralelo, né, a gente tem exatamente igual o médico e o modelo. Você tem a faculdade, que são anos aprendendo ali, né, no geral aqui. Certo? Deixa eu só fazer uma

[11:28] coisa aqui rapidinho, porque como eu tô no meu, eu preciso ligar aqui o mouse, senão vocês não veem o mouse. Tão vendo o mouse aí? Tá, né? Então, ó. >> Sim, sim, professor. >> Bem que eu poderia fazer outra coisa, né? Dar um pezinho aqui. Eu posso vir aqui me desenhar, né? Então, na faculdade, né? Faculdade aqui. Então, são anos aprendendo a medicina, certo? E a residência é a aplicação, aprendendo aquilo lá que tem que fazer, tá? é o Fanitan. Então os médicos fazem

[11:59] Fanitan também, tá? OK. Então, no caso de uma de um aluno em computação, tem o estágio, né? Você vai lá fazer estágio numa empresa, vai descobrir como é que realmente aí o cara vai chegar lá na estágio da empresa. Nossa, eu não sei de nada, eu achei que sabia as coisas na faculdade. Acontece muito isso, né? Então, na LM também eu tenho aqui o treino e pré-treino, certo? onde o modelo fica pronto. Nessa parte aqui se gasta muito tempo, certo? Se gasta muito tempo dinheiro e tudo mais,

[12:30] recurso. Fit é pegar essa esse modelo pré-treinado e fazer um pequeno ajuste, né, com algumas horas de GPU, um investimento substancialmente menor. Então, quando você pega o modelo, quando aconteceu só aqui, a gente percebe o seguinte, ó. Por que que o Deepsic derrubou as bolsas de valores dos Estados Unidos, né? Porque primeiro o deepsic era um modelo aberto há um tempo atrás, há quase um ano atrás, beleza? Era um modelo aberto

[13:03] que tinha uma capacidade muito próxima do GPT O1 naquela época, certo? E que custou, o GPT custava 60 milhões e ele custou somente 5 milhões. Na época o Gemini tinha custado 200 bilhões, né? Milhões, certo? milhões, é na casa de bilhões, 200 milhões em energia elétrica. Beleza? Então você pensa assim, cara, e o detalhe é o seguinte, o modelo é aberto, qualquer pessoa pode pegar e usar, então eu não preciso fazer todo o

[13:34] processo de retreino porque alguém já fez e entregou, tá? Então quando você pega, eu eu não defendo, eu não defendo nenhum dos dois lados, tá? nem os modelos dos Estados Unidos, nem os modelos chineses. Mas quando você pega os modelos chineses abertos, chegando perto dos modelos fechados dos Estados Unidos, é um avanço, pô. Você tem que você tem que dizer assim, não tem que é legal isso aí, né? Porque agora é um modelo super potente, muito próximo de modelo como, sei lá,

[14:05] Fable ou Astra e que é de peso aberto. Eu não preciso gastar. os milhões que foram gastos para treinar esse modelo, basta eu ter um maquinário para usar, porque o custo de uso é uma coisa, custo de de treinamento é outra completamente fora a tecnologia, o conhecimento técnico, o levantamento dos dados, entendeu? Que é muito mais complexo do que isso aí. Então tem todo esse processo aqui, tá? OK. Então é isso aí, ó. Faculdade igual a

[14:35] pré-treino, a residência é igual a fine e a clínica é o uso do modelo em si. Beleza? Temos dúvida? Agora o pessoal tá com vergonha de levant levantar a mão. É que agora tá sendo gravado. >> Pode falar, João. >> Ô Sandeco, eh, a minha dúvida é o seguinte, eh, a comparação com com skill, tem alguma coisa a ver?

[15:09] >> Com o quê? >> Com as skills. >> Não, não, não tem relação com skill aqui, não. Tá, >> não, não, nenhuma. Beleza. Eh, skill é outra coisa, tá? Tem a ver com o uso, né? A skill tá mais no uso aqui, tá? >> Ah, tá beleza. >> Valeu, >> Felipe. >> Fala, professor. Tudo bem? >> Beleza. >> O fineing, na verdade, então o termo que você tá me falando não é só abrir o e e ajustar os parâmetros do do LLME, a gente imputar mais dados, ou seja, mais

[15:40] tokens novos dentro do contexto que a gente precisa. Principalmente, principalmente, sabe? Esse é o mais importante. Na verdade, >> vocês vão ver já existem dois momentos que quebram o Fitan, né? >> Que se a gente não der a devida importância, a gente pode não ter uma boa, um bom resultado. Primeiro é a quantidade >> e a qualidade dos dados. Beleza? >> Por mais que você >> como >> o o eu ia perguntar se o, por exemplo, você escolheu um modelo lá de 4 bilhões de parâmetros, não é? Não, você não

[16:11] aumenta os a quantidade de parâmetros, você só aumenta a quantidade de conhecimento. É isso. >> Só isso. É você porque na verdade você reajusta os parâmetros, beleza? Você reajusta ali os parâmetros, né? >> Em alguns casos você reajusta os parâmetros. Em outros casos, como eu falei para você, não reajusta, coloca uma lentezinha na frente com adaptador. >> E e no final você pode existe fing que retira contexto do modelo e adiciona novos ou só sempre a penda, sempre adiciona novos.

[16:41] >> É, você pode, na verdade, que que não é que você retira, mas você pode talvez treinar a saída. Isso é uma boa pergunta. Por exemplo, você pegar o modelo, até até tava conversando com com o Cloud aqui sobre, cara, eu tava pensando em fazer uma um Hello World do Fine Tunning. Eh, eu pensei em fazer uma coisa tipo pegar o Bert e treinar com modelo de BBM, que é aqueles dos vídeos, né? Só que eu tô em dúvida qual seria a saída. E aí a gente

[17:13] discutindo ali e tal, chegamos na conclusão que a saída seria o quê? Porque que eu aquele aquele abrazo de dados de filmes, né, é só o quê? É se é bom, ruim, é positivo, negativo ou neutro, a avaliação, entendeu? Então, ao invés dele escrever um texto enorme, você só escreveria positivo, negativo ou neutro. OK? Poderia ser bem besta, né? Porque eu posso conseguir só com prompt, mas é válido pelo conhecimento técnico de treinar, entendeu? De forma que você possa regular o que ele vai dizer, mas o

[17:44] conhecimento não. Beleza? Não, beleza. Eh, eu tenho mais dúvidas sobre >> porque você pode, por exemplo, fazer com que ele fala igual você fala, >> então ele vai pegar o conhecimento dele e quando ele for escrever para fora, ele vai usar o seu estilo para escrever. Essa que é a ideia. >> É, é, essa é uma dúvida, uma bem bem importante que você falou do jeito que a gente fala, né? Porque a gente fala em português, mas os modelos geralmente eles são treinados com parâmetros eh inglês, né, por exemplo. >> Não, eles são treinados os modelos

[18:16] atuais. Bom, >> o GPT2 foi treinado só em inglês, beleza? >> Aham. GPT2, o GPT3 já era, porque veja bem, o Transformer, ele é um modelo de tradução, ele foi construído inicialmente para traduzir textos e ele saiu muito bem nesse processo, tá? Só que quando ele foi treinado, os os pesquisadores injetaram eh texto nele,

[18:47] certo? e pedir para ele traduzir. Só que a ele começou a traduzir, mas começou a dizer também coisas, entendeu? Você perguntava para ele e respondia. Então, descobriu-se o quê? Não, cara, o modelo não é só bom para traduzir, ele também é bom para responder se você perguntar coisas para ele. Entendeu como é que é? Então, ele é ele é construído o Transformer, que é a base de todos os LLMs, né? a rede Transformer. O meu canal tem um vídeo, uma uma playlist de vídeos, né, sobre Transformer. E sábado eu vou dar uma aula completa sobre transformer na na pós-graduação. É uma

[19:18] aula sábado o sábado inteiro só sobre isso, só que a gente vai ver a matemática, como acontece por dentro e tudo mais. Eh, ele foi feito para tradução. Então, inicialmente, então você assim, se ele for exposto a textos, né, em português, inglês e tal, ele vai saber o que que é uma coisa e o que que é outra. >> Não, legal. Eu eu perguntei isso porque eu tava lendo que quando você faz o eh treinamento do modelo só em português, né? O Brasil, não sei se você viu o Brasil lá, ó, eh tá investindo agora na IA, quer ter a soberania. Eu tava lendo

[19:50] sobre isso, que é tem uma diferença quando faz o a tokenização de palavras em português, só que com modelo já padrão lá pela, por exemplo, quen, que já tá acostumado com o inglês e quando você retreina ele eh totalmente em português, por exemplo, ele deu um exemplo lá que ele pega uma palavra, ele quebra em três tokens. Se você treinar em português, ele acaba eh treinando e gravando um token só. Eu queria saber se tem essa diferença, entendeu? também no fin se a diferença da linguagem,

[20:20] entendeu? Pode influenciar na resposta. >> É, mas hoje as as LLMs elas elas não tão tão tão fechadas nisso aí, entendeu? Só que você se você expor mais a uma linguagem, ela vai ser mais versado naquela linguagem, né? >> É, se você parar para pensar, parar para pensar, Felipe, é a mesma coisa como um ser humano. Se você é, se você é exposto a um tipo de língua mais do que a outra, né? Eh, você é exposto mais a português é OK? Inglês, beleza? Então você é mais versado em português que em inglês, mas eh se você leu em inglês, estudou tal,

[20:52] você tem a sua versatilidade em inglês e até traduzir, né? Mas existe sim essa versatilidade, certo? Dependendo da quantidade de exposição que você tem a língua. Tem gente que faz treinamento completo só com português e aí a a rede fica só sabendo português. Acontece, tá? Acontece. >> Muito bom. Obrigado, Luder. O, o Ludg perguntou aqui no chat, eh, treino versus pré-treino. Ô, ô, Lud, eu tô chamando de treino aqui o F Tun, né? Então, o pré-treino seria o treino da

[21:24] Llm, certo? Seria pré-finitan. Ok. >> Ah, entendi. Ok. Grato. >> Mais a última pergunta. A última agora sim. Leonardo Barbosa. >> Ô professor, boa noite. Tá me ouvindo bem? >> Sim, tô ouvindo bem. >> Eh, primeiro lugar, parabéns aí pelo premest e parabéns por >> ajudar muito na comunidade de >> dia 6 de outubro saiu. Dia 6 de outubro

[21:55] saiu top 10. >> Minha esperança é que eu fique também entre esse top 10 aí, né? Porque eu saí em primeiro lugar na votação, né? [risadas] >> Se sair, se [roncando] não sair, a gente faz uma um reclamaço. >> É só pedir. >> Pois é. >> Eh, professor, é o seguinte. Eh, eu não eu me não me lembro se foi o senhor ou se foi uma outra pessoa que disse que eh quando a gente treina, faz um fone com o modelo, >> de de forma bem lúdica, né? Seria como

[22:27] se você tivesse colocando um estagiário para aprender com um sênior, né? Aí aquele estagiário ele vai vendo ou senor trabalhando. Tipo de É, OK, eu entendi. É um tipo de treinar de fin pode ser esse, tá, Leonardo? Você tá chamando isso de destilação. >> Isto >> a destilação é você pegar um outro LLM mais potente. >> Isso. Isso mesmo. >> E ensinando mais fraquinho. >> Isso mesmo. A a e a minha pergunta é ser exatamente respond fazer o faz isso também.

[22:57] >> É porque tipo assim o pessoal pegou o pegou cinco e fez um treinamento em cima e soltou uma outra LM. Falou assim: “Não, agora a nossa LM é a mais poderosa e tal”. Mas porque ele já pegouá lá no piso do Fable 5, treinou algumas coisas e soltou, mas quando você perguntava o modelo quem que é você? Ele respondia: “Eu sou Fable”. [risadas] É, é isso, né? Mas a eu tava aqui treinando a minha máquina, certo? Tá

[23:28] treinando, agora tá treinando aqui. E antes de eu fazer a próxima, a segunda rodada, porque vocês vão ver mais tarde o que que é rodadas, né? Ele perguntou: “Você não quer fazer destilação? Não”. Eu falei assim: “Não, não, não, destilação não, vamos deixa do jeito que tá. Só quero que você coloca mais dados aqui assim, assim. E como o livro não é um não é um, nesse caso não era um dado fechado, né, eu submeti para que a próprias as próprias LLMs pudessem criar dado sintético do livro. Então eles leram o livro e escreveram mais coisas para aumentar a quantidade de dados, entendeu? Ficar só porque eu tinha eu tinha o quê?

[23:59] O livro aí ficou ficou ruim, foi reprovado. Aí coloquei transcrição, aí melhorou. Certo? Aí agora eu tô colocando o livro, transcrição e mais uma cacetada de texto que os próprios LLMs que foi o como é que é, gente, aquela LM lá da do Clou eh, Haiku. >> É o Riku. [limpando a garganta] >> Éiku a Sonit e a Sonit. Eu pedi para

[24:30] Haiku e a aluno escrever, entendeu? Porque são os mais baratinhos. Então eles escreveram um bocado de texto baseado no meu texto, entende? Para aumentar a quantidade de dados, né? Que a quantidade de dados tem muito tem muita relação com a qualidade da saída, certo? Então é isso. Regis é o último, tá? Régis agora é o último mesmo, senão continua. >> Agora ô professor, agora me gerou uma dúvida. Então qual é a diferença de de destilação para finan?

[25:01] >> É um tipo de finan. Ah, tá. Ele é um fentante também, mas é um tipo dele. >> É um tipo D, exatamente. >> Não tem diferença nenhuma, >> não é um tipo D, né? Ao invés deu, ao invés de eu ficar ao invés de eu ficar colocando só os dados, eu posso ir perguntando direto ao modelo coisas, entendeu? E o modelo respondendo para mim e eu vou e aí o pequenininho vai aprendendo com grande, >> tá? É que tão dizendo que a China fez com com a antropic aí, né? É, é, provavelmente sim, com certeza,

[25:33] né? É, com certeza. Se fosse inversiam fazer também. Então assim, americano tá falando de quê? Sabe mais sacana que esses caras não existe, né? Então, tipo, ah, agora vão dizer que são os éticos, os éticos, né? Queimando é a grana, né, brother, né? Entendeu? Eles sempre falam isso. A quando chega na vez dele, não, a ética, não sei o que. Ah, tá de sacanagem, né? A guerra, né? Essa é a guerra. Beleza, vamos em frente, então, ó. Esse slide não era para tá aqui não.

[26:07] >> Melhor tirar esse STF daí. >> SFT. Pô, [risadas] não, esse slide era para est aqui não. Vamos lá. Uma coisa importante, como decidir, certo? Que hora que eu uso prompt, que hora que eu uso hag e que hora que eu uso F Tun. OK? Tem uma coisa que eu sempre falei para vocês, quem já é das antigas, tá? Principalmente na engenharia de software. O que que é um engenheiro de software?

[26:40] Ele é semelhante, vocês têm que agora se ver assim, certo? Semelhante a um carpinteiro. Já falei isso quantas vezes aqui, né? Que dentro dessa bolsa do carpinteiro tem várias ferramentas, certo? E esse cara, ele é o cara habilidoso, conhece muito bem e sabe a hora certa de usar cada ferramenta. OK? Aí tem aquela v aquela velha frase batida, né? Para quem tem só martelo, tudo é prego. Beleza? Então isso para

[27:14] quem tem só martelo, tudo é prego. Tem gente que é assim, o cara aprende uma linguagem de programação, ele quer resolver tudo com aquela linguagem. Beleza. Ah, eu eu sei essa técnica aqui, então porque eu sei essa técnica aqui? Então, tudo para mim é essa técnica aqui. Então, eu não quero aprender outras técnicas porque eu sei, só sei essa e eu quero usar essa em tudo, certo? E não é assim na engenharia de software, certo? Então, para quem tem somatelo, tudo é prego. E no caso de vocês aqui são várias técnicas onde cada uma se aplica no lugar correto.

[27:47] Então tem gente que já se empolga e diz assim: “Não, isso aqui eu vou fazer um fing porque tem um nome bonito, que usa GPU, que gasta dinheiro, que usa muito dano.” Então para ele encher a boca, diz: “Não, fiz um fin, cara. Fiz um fin, mano. Fui lá, baixei o o qu 12B, né? E aí eu fiz um fanitan, mano, tá ligado? E aí, mas você vai ver, não precisava fazer o Faritan. Mas é porque o cara

[28:17] queria dizer que fez a Faritan, entendeu? Então tô assim, cara, isso eu já vi assim com 36 anos na minha carreira na computação, eu já vi isso a torta direito, sabe como é que é? cara mais impróprio na momentinho. Então, precisamos saber em que momento que a gente usa promptânia, essas técnicas que são aí, né, [limpando a garganta] de de conversa de conversa direta com a LLM. Veja que eu não tô tratando nada de harness aqui agora, beleza? Tipo MCPE, tá? Nada disso, né? Nada que envolve

[28:47] ali, né? Skills, né? Nada disso, tá? Então, vamos lá. comportamento só usa comportamento muda só com boas instruções do prompt. Então, por exemplo, eu falei para vocês lá, né? Ah, eu tenho uma rede neural que eu poderia passar para ela um um filme e ela dizer para mim se a avaliação é positiva, negativa ou neutra. Só que no normal ela vai escrever um texto: “Olha, é positiva

[29:19] porque esse filme p pa pa pá pá começa a encher a linguiça, né? Principalmente se for o close, que gosta de falar bastante para soltar token para fora, para gastar os tokens, né? Então com prompt você resolve, certo? Você não precisa fazer um fine turn que eu acabei de dizer, né? Você não precisa fazer um fine tan para ela retornar somente se é positivo, negativo ou neutro. Beleza? você retreinar toda a LLM para ele retornar só isso. Você pode simplesmente em um promp dizer me responda somente com

[29:50] positivo ou negativo ou neutro e nada mais. O promp vai fazer. Então se ele muda o comportamento só com prompt bem feito, aí você tem que partir pra engenharia de prompt. Pessoal, a engenharia de prompt não morreu, tá? Porque essas as técnicas de prompt é ainda existem aí, tá? Não teve, não tem loop, não tem grafo, não tem nenhuma que acaba com promp não. No final das contas, lá no fim da conversa, tudo é prompt, tá? Então cuidado com o pessoal que fala no YouTube, porque eles

[30:21] adoram matar as coisas por aí. Já viu? Eu já falo isso há muito tempo, né? [risadas] A morte dos promptes, né? Tem uma menina no no YouTube que menina mata. A é assassina. Toda semana ela mata alguma coisa. morre, entendeu? A morte do fable, a morte não sei o que lá. Toda semana tá matando alguém. merda, esse aí gosta de matar, viu? Então, né? Então, já mataram a engenharia de promp, já

[30:52] mataram, né? Já mataram as skills, já mataram os agentes. Teve gente que falou assim: >> “Eh, >> a morte dos agentes agora só uso skills”. [risadas] Pera aí, né, velho? É skills de quê? É skills de agentes. Então você não matou os agentes, né? Não tem como você matar os agentes. Então tem gente que faz isso. Se não muda somente com prompt, falta conhecimento

[31:22] ou dados atualizados, aí não, a engenharia de pronto não resolve. Beleza? É aquela velha história, né? Eu não gosto de falar de política, mas aqui como tá só a gente, né? Você sabe muito bem que eu não esse tema é um tema que é ele é proibitivo nos nos grupos do canal, mas aqui vale só pelo exemplo, né? Assim que o chatpt lançou assim logo no início, foi bem na bem na posse do Lula, vocês lembram disso? E aí o pessoal perguntava quem era o presidente do Brasil, aí o chat CPT falava que era o Bolsonaro, entendeu? Aí o pessoal diz: “Tá vendo?

[31:54] A inteligência artificial é burra, não serve para nada, não sei o quê e tal”. Só que o cara não entendia o quê? que ela tinha sido treinada com dados do ano passado, né, do ano de 20, do ano de 20 do 2, né, certo? Ela foi liberada em novembro de 22, digo assim. Aí o pessoal no início, lá em janeiro de 23 perguntava quem era o presidente, ele errava dizendo que ela errava dizendo que era que era ainda o Bolsonaro, né? Então, como é que resolve esse problema? Eu tenho que dar a colinha, né? Então, a

[32:26] colinha o que que é? A pessoa pergunta no prompt o que que aquela coisa, eu busco numa base de conhecimento, beleza? Trago aquela colinha junto com o prompt e retorno para LLM. A LLM retorna a resposta correta, que é exatamente o quê? O RAG, né? E aí a gente já tem um treinamento sobre isso aqui. Não vou me aprofundar porque é de outra ordem. A gente fez aí são quase 15 aulas de hag, só em graf foram cinco aulas que a gente fez. aprofundando no gráfico como é que

[32:57] funcionava em detalhes, né? Então assim, vale muito a pena esse livro aí, tá pessoal? Conhecer esse livro aí, vale muito a pena mesmo, muito profundo. Ele é ele é para leegos, mas a gente vem desenvolvendo até técnicas mais profundas. Ficou muito bom livro, muito bom, com códigos prontos, né? Explicando detalhes, tem animação, tem tudo lá. Beleza? Eh, só um momentinho, tá, Vand? Deixa eu concluir aqui esse slide. Bom, eu preciso de dados atualizados. Se eu preciso sempre de dados

[33:28] atualizados, eu faço hag ou faço fanitani? Beleza? Por exemplo, ah, se eu perguntar agora eh para o chatt, né, quanto que foi o jogo do Vasco ontem? Isso vai vir no vai vir no Fitân ou vai vir no Rag Dudu? Para mim vai vir do Rag. >> O quê? >> Por quê?

[33:59] >> É >> porque a informação já tá lá, né? Não tem refinamento nenhum do dado, né? >> Mas é porque foi de ontem, né, Dudu? Informação foi de ontem, entende? >> A resposta seria [risadas] essa. A resposta é de ontem. Não, a resposta é essa. >> Então, ela tá persistida lá já, né? >> Não, Dudu, você tá bom. atualizar ela em real time, se você quiser, né? Toda vez que você mandar o pronto, você manda um conteúdo a mais, né, professor? >> É, v veja bem, a informação é de ontem,

[34:30] como é que eu vou treinar uma informação, uma LLM com a informação de ontem, entendeu? Para est disponível o chat PT hoje para eu saber que o Vasco ganhou. Se bem que mereci um treinamento, né? Sinceramente, [risadas] >> sinceramente, sinceramente, a vitória do Vasco de ontem merecia o treinamento do chatpt. Só isso aí. Pode retreinar o socimento no chatt. Ah, >> merecia demais, pô. Tá doido, né? [risadas] Beleza. Mas normalmente quando são dados

[35:02] que tão ali acontecendo no calor do momento, um ragzinho vai resolver tranquilamente. Beleza? >> E na verdade qualquer dado que você tenha, beleza? Vai resolver viag, tá? Normalmente, quando você quer uma precisão maior na resposta, Rag é o mais aconselhado. Beleza? O Rag é o mais aconselhado. Agora, se você precisa mudar estilo,

[35:32] formato, ensinar um domínio inteiro e isso se repete em volume, você tem informações em volume para que [limpando a garganta] uma LLM possa treinar, aprender, aí sim entra no F. Beleza? Caso contrário é dado pontual, um rag é muito mais eficiente. Beleza? Ah, eu tenho aquela informaçãozinha lá que tá lá naquela parte não sei o que lá. Traz aquela parte para cá, junta com prompt, manda para Llm, ela vai conseguir resolver,

[36:04] tá? O Rag, tanto é vocês, não sei se vocês sabem, né? aqui no livro de Haag, eu eu adoro essa, talvez uma das imagens que eu mais gostei de ter feito, né, com com LLM para livro foi essa imagem do meu livro de hag, porque ele expressa bem o que que é o Hag, né? Tá vendo? Eu tenho, eu tenho esse robô aqui e tem um outro robô passando um bilhetinho como se fosse uma cola de uma prova, entendeu? O Rag é uma cola de uma prova. Alguém pergunta alguma coisa para esse robô aqui, ele não sabe a resposta

[36:36] sobre aquilo. Alguém dá uma cola para ele, ele pega aquela cola junto com a pergunta e vai responder, entendeu? Olhando quem? O conhecimento dele. Não, porque ele não tem o conhecimento. Olhando quem? O a cola. Então o hag, basicamente é isso. O rag é uma cola de prova. Tem a pergunta lá. O meu conhecimento não é suficiente para responder. Que que eu faço para responder? pego a colinha, olho lá e respondo, entendeu? Só que essa cola ela acontece em tempo de

[37:08] execução, né, naquele momento do da pergunta, tá? Então tem que existir todo o mecanismo de busca da pergunta ideal, né, da resposta ideal para aquela pergunta na base de dados de conhecimento. Beleza? Então é isso. Já o Fitan não, o Fitan já é o quê? já é aprender estilo, formato, domínio inteiro e eu tenho que ter volume de informação. Beleza? Por exemplo, meu livro, eu quero

[37:39] perguntar coisa sobre o meu livro. O ideal seria o quê? Rag. Se eu quiser fazer fanitan, eu preciso de mais informação, porque só a informação do livro não vai ser suficiente, é pouco, entendeu? Para ele conhecer. Porque a LLM ela precisa aprender um padrão. Para ela entender um conhecimento sobre alguma coisa, ela precisa de vários textos e precisa entender aquele padrão. Beleza? É isso. Dúvida? Agora é hora de levantar a mão e perguntar. OK.

[38:09] Aí o nome ficou difícil de dizer CVDM. [risadas] >> É, boa noite. Tão me escutando? >> Tô. Como é teu nome, cara? É, Cláudio, boa noite. Ô, >> Cláudio, beleza? >> Eu tenho uma pergunta que é igual do Rafa Carvalho aí. Eh, eu vamos supor que eu tenho um domínio inteiro e vários livros de uma área específica. >> E se eu fizer o F Tuning, eu espero que o que que o LLM não vai ser determinístico. Existe a possibilidade de unir fin tuning com reg pensando

[38:41] >> seria maravilhoso, entendeu? >> Beleza. >> É o mais aconselhado, viu, Cláudio? Na verdade, você não pode desprezar o hag em nenhum momento, tá? Eh, o hag é muito poderoso para você desprezar só por causa do Fire Tunning. Beleza? >> Entendi. >> Então, eu usaria a combinação das coisas para você ter um pouco mais de assertividade. Eu traria informações pontuais a partir do Rag e usaria muito o estilo da escrita dos textos que tá sendo ali para responder com aquele estilo, certo? Eh, aprendido no Fun.

[39:13] Então essas duas combina, essas combinações aí, as duas coisas é altamente aconselhado, tá? Na literatura, beleza? Na nos artigos científicos e tudo mais. Você pode procurar qualquer artigo científico, ele vai falar muito bem sobre essas coisas. Até mesmo na LLM. Se você perguntar para elas, perguntar, se você tivesse que escolher Faritan e Haga ou as duas coisas, ela dá as duas coisas. >> Ah, nunca tinha visto essa alguém falar isso. Ótimo. Essa é minha dúvida. Muito obrigado. >> Pode usar as duas coisas que vai ser muito mais com certeza absoluta que será

[39:44] mais assertivo. Certo. >> Certo. >> Com certeza absoluta. Não tenho a menor dúvida. >> Ótimo. Obrigado. >> Por experiência própria. Tá, [limpando a garganta] Dudu, >> você demorou fazer pergunta. >> Excelente para paraa aplicação no para peças jurídicas, né? Porque o a o conteúdo é gigantesco, né? Gente, tô fazendo junto com aplicação para defesa na parte tributária >> e o a junção, >> principalmente porque os casos se repetem, certo? >> Exato. Se repetem, se repetem, se repetem.

[40:15] >> Quando vocês pensarem em dados para LLM ou dados paraa rede neural, você precisa dessa repetição, pessoal. Eu só consigo extrair um padrão de um padrão de coisas quando eu tenho a repetição, entende? Então, quando eu pego lá, sei lá, vamos supor, lá no Ministério Público, tem 30 milhões de de arquivos ali, certo? Quantos problemas tem ali de, sei lá, de dá um exemplo aí, vai o o pessoal do da direito aí,

[40:46] >> André. >> Hã, >> André, fala aí. Problema problema que se repete. >> André demais assim, Ministério Público para resolver problema de família, por exemplo. Ah, sei lá. Tá, Eu só faço >> divórcio. Divórcio ouv não eh eh problema de >> reconhecimento de paternidade. >> Reconhecimento de paternidade. Ótimo. Isso é um problema altamente repetido, certo? Você imagina o tanto de de o tanto de dados que devem existir dentro do Ministério Público, tá? E a gente tem

[41:18] a turma três, é a turma do Ministério Público. Eu não sei se o pessoal do Ministério Público tá aqui. Tem alguém? Dá um legalzinho para eu saber. Não, não tem ninguém, mas o Ministério Público, ele tá, a turma três de pós-graduação é só o pessoal do Ministério Público, entendeu? E esse objetivo é um um deles, né, a gente poder treinar uma rede neural lá. Então você imagina esse problema de reconhecimento de paternidade dentro do Ministério Público, quantas quantos casos tem desse lá repetido igual,

[41:48] certo? E que a decisão, entende? Por mais que sejam juízes diferentes e advogados diferentes e as argumentações diferentes, tal, ali cria um caldo, cara, entendeu? Para LLM assim, ali é para mim e ele vai deitar e rolar, entendeu? Agora se perguntar uma coisa específica, quem foi a pessoa que pediu, né? Ah, entrou com processo contra André Cinato, [risadas]

[42:18] né, no exame paternidade e tal, o Rag resolve melhor. Beleza, porque é um uma informação pontual, deu para entender? Certo, Alan. Fala, Al. Boa, boa noite. Bção. >> Boa noite. Abençoe, filho. >> Eh, só para ver se eu entendi, no caso, eh, quando eu tenho uma aplicação com arquivos dentro, onde a minha IA busca

[42:48] essas eh essas respostas nesses arquivos, é considerado o Hag, não é isso? >> É. Eh, quando eu coloco novos arquivos para ela, para ela poder ter essas novas informações, no caso, seria um fine turn. >> Não, não. Vamos lá, você parar. Você quando você tá tem o hag, você vai pegar uma série de arquivos, certo? Você vai quebrar esses arquivos em pedaços pequenininhos, que a gente chama de de

[43:19] chunks. Beleza? >> Uhum. E aí esses chunks eles serão convertidos no que a gente chama de de informação vetorial, ok? E é guardado na base de dados vetorial. Toda vez que vier a informação, você converte e guarda nessa base. Qualquer informação, pode ser hoje, agora converteu, jogar na base vetorial. Tá acontecendo um jogo agora, sei lá, tá acontecendo alguma, alguma alguma notícia tá acontecendo agora. Alguém tá escrevendo essa notícia e tá jogando dentro da base de dados do da do jornal. E essa base de dados já tá sendo

[43:51] pega e colocando, convertendo em vetorial e jogando na na base de dados vetorial. Se alguém chamar o LLM e buscar informação, ele for lá no Rag, ele ele vai ter informação da hora porque o Rag tá sendo atualizado na hora. Beleza? >> Sim, entendi. >> Agora o F Tun, na verdade é o seguinte, o Fine Tun é: “Eu juntei uma base de conhecimento grande, eu dou um tempo, vou tratar essa base de dados e vou fazer o conhecimento ir para dentro e pra mente do >> Entend! do robozinho. Deu para entender? >> Sim.

[44:22] >> Ele aprende aquele conceito efetivamente e não só fica pegando a colinha, né? >> Sim. >> Então, o que a gente recomenda é o seguinte: conhecimento consolidado, tá? Você treina conhecimento alterável, você deixa na base de dados e hag, porque até esse conhecimento ele pode morrer, beleza? Aquele que é alterável. o outro conhecimento não, se ele é consolidado da empresa, diretriz e tudo mais, certo? Tudo ali, os casos que

[44:54] aconteceram para trás dentro do Ministério Público, aquilo ali tá consolidado, jurisprudências e tudo mais tá tá tudo consolidado. Isso aí vira finitân, certo? >> Entendi. >> Porque é o conhecimento consolidado, >> tá? Que que é? E aí, o que que é o Farentan? O que que é o Farentani? >> O Farentan é a rede neural vai ler essas informações, certo? e vai aprender com elas. Efetivamente ela aprende, tá pessoal? Você não programa o F Tun, você treina o F Tun, né? Isso que a gente chama de treinamento. Uma rede neural, você não uma rede neural você não

[45:24] programa ela, né? Quando alguém disser assim: “Não, nós estamos programando uma rede neural”. Você poder, ih, isso aí não entende rede neural de jeito nenhum. Uma rede neural é treinada, ela não é programada. Beleza? >> Eh, então >> efetivamente lê os dados e aprende com eles. >> Aham. Eh, então no caso um fine turn, por exemplo, que sei lá, fiz um um fine turn hoje, amanhã ele pode ser considerado um hack também [tosse][limpando a garganta] >> não, porque ele tá interno, né? A informação tá interna. >> Beleza. >> Beleza. >> Então você pode você se o conhecimento

[45:56] ele é consolidado e já foi treinado no finitan e o conhecimento foi para tá na cabeça do do ele não precisa. Bom, você poderia reforçar com Rag, com certeza. F perguntou aqui agora, né, o Cláudio. Ah, eu posso treinar com o Fanitan depois passar um rag. Pode, entendeu? Pode, você reforça, não tem problema nenhum. Agora, em alguns casos, se você treinar e a sua base ficou bem, talvez você não precise ficar mandando aquela informação que já tá consolidada e treinada para o Rag,

[46:27] entendeu? Ele pode sair dali. Tudo isso, pessoal. Infelizmente, ó, vou dizer uma coisa para vocês, que meus alunos de inteligência artificial na nos no curso de inteligência artificial por aí, se é da graduação, da disciplina de inteligência artificial, inteligência artificial avançada, as duas disciplinas, eles explicam cois assim, tudo isso é é teste, bicho. Você tem que testar e ver se realmente é isso. Nada na IA é garantido. Você tem que pegar os dados, ir lá fazer a coisa, experimentarção, testar e ver se realmente vai funcionar

[46:57] e depois ver por que funcionou e porque que não funcionou. Aí é dessa forma, entendeu? É isso. É aí, ó. Vai me levar para casa, [risadas] Beleza. >> Deixa a próxima rodada. >> Tá virando, tá virando. >> É meu sobrinho. Posso fazer isso. >> Boa noite a todos aí. Como é que vai, Sand? Bem, >> boa noite. Beleza. >> Eh, eu tenho uma questão bem de leigo assim. Eh, que eu gostaria que você me

[47:30] ajudasse. >> Obrigado. >> Eh, Fitan, pelo que eu estou entendendo, eh, você vai treinar modelos LLMs, eh, com determinadas conjunto de informações. Em escala menor, eu não vou treinar LLM nenhum. escala menor, eu posso treinar algum outro tipo de eh de aplicativo, de software, de alguma

[48:01] outra coisa menor? A minha questão é dimensão, né? Por exemplo, eh, eu eu havia entendido que Fan antes dessa aula que era justifos em prompites, em skios, em agentes, isso não tem nada a ver, >> não tem nada a ver. O Fan, a gente vai mexer com a IA mesmo, >> com as LLNs, >> exatamente. A gente vai pegar um LLN, baixar ela,

[48:32] >> certo? E aí a gente vai fazer técnicas para poder retreinar ela. É, é um pouco mais complexo. E aí é que o Fine ajuda porque ele baixa a complexidade para o nível do ligo, né? >> Ok. >> E se você fizer, fosse fazer na mão, aí tem que ter um nível de conhecimento um pouco mais alto, certo? >> OK. >> Técnicoático também, porque precisa, principalmente paraa questão dos dados, né? tratamento dos dados, aquela parada, prepara tudo. Então, Witfine vai ajudar

[49:03] nisso, nesse ponto, porque você consegue retreinar >> uma LLM de ponta a ponta só pela intenção. Tanto é que eu tô fazendo aqui agora, né? >> Perfeito. >> É isso, Fter. >> Obrigado. >> Valeu, >> professor. Boa noite. Eu tenho uma dúvida. >> Diga lá. >> Os laboratórios eles lançam tanto modelos eh de instrução às vezes quanto modelo de base, né? >> Uhum. Eh, no caso, a gente pode fazer um uma continuação de pré-treinamento, seria tipo um fine tune ou ou só quando

[49:34] eu fizesse mesmo o de instrução que seria um fine tune. >> Cara, não entendi não. Vamos lá. Repete aí, por favor. >> Essim, eu posso pegar um modelo, eu posso fazer uma continuação do pré-treinamento dele, né? >> É, do treinamento dele, né? >> Isso. Isso seria também o fine tun, por exemplo, eu posso pegar minha base de dados lá, sei lá, eu fiz 10.000 1 perguntas e respostas sobre ela, né? >> Hum. >> Eu eu faço um fine planning dele ou eu posso fazer um esse essa continuação do pré-treinamento. [limpando a garganta]

[50:04] >> Vamos lá. Você pode fazer você po, >> se você quiser, você pode abrir todos os pesos e retreinar tudo, beleza? >> Certo. >> Nada te impede, tá? Só que você tem que tem que coner o seguinte, você vai gastar uma grana, tem que ter máquina para isso e tem que ter energia para isso, certo? Você pode fazer com certeza. O recomendado é o o ideal. Se você até teve uma uma há um tempo atrás eu fiz um tava fazendo uma uma uma prova, eu acho que foi uma prova, acho

[50:36] que foi na USP, foi na USP. USP de São Carlos, foi uma disciplina de redes neurais aplicada. Eu não lembro o que que era, cara. Era uma coisa assim. Aí a pergunta era qual o ideal, né? Você tem todos os recursos possíveis eh de máquina e de energia. Qual o ideal? Retreinar tudo, furing,

[51:06] tal, né? E justifique. Aí eu falei, bom, se eu tenho todos os recursos para pegar uma rede e retreinar tudo para um novo problema, né? Se eu tenho todos, tenho todos os recursos possíveis, o retreino vai ser melhor, porque aí eu vou ajustar a rede inteira ao meu problema, não só parte da rede, né? >> Uhum. >> Entendeu? Então ela ela vai sair melhor, com certeza vai sair melhor. Beleza? Eh,

[51:37] só que normalmente a gente não tem esse recurso, né? Entendeu? Então, por isso que a gente Então, por isso que a gente aceita de certa forma, >> tem uma penalidade um pouquinho na curácia, OK? Mas eh conseguir colocar ou destravar esses pequenas essas pequenas camadas mais baixas da rede para ajustar ali só aqueles pesos ali, certo? Que são valores ali entre 0 e um,

[52:07] beleza? Ou entre -1 e 1, certo? Em alguns casos. É bem probabilístico mesmo. Ou colocar o adaptador, né, que a gente vai aprender depois como fazer isso. Beleza? >> Mas você pode, você pode fazer como você quiser, entende? Eu não sei se eu te respondi, não sei se eu entendi também sua pergunta. É porque assim, por exemplo, eh, a gente faz a a o Lora lá ou que Lora para fazer o F Tun, né, >> que é o adaptador. >> Se eu quisesse fazer o a continuação do pré-treinamento, não poderia também

[52:38] colocar só um pedacinho no final do modelo também? >> Pode. >> É que eu não precisaria retreinar a rede toda, né? Eu só adicionaria essa informação toda no final dele e depois eu adicionaria o eh os lora do do pré do, né? É, mas é assim, então o loro, o que lore são adaptadores, beleza? Uhum. >> Você não vai abrir exatamente a rede. Só que o fine t mesmo raiz é descongelar pesos da rede original e retreinar aqueles aquela parte.

[53:10] Beleza? >> Tá. Não. >> Por que que usa lor e kelora? Para que eu e você, pobres mortais, que temos placas de vídeo com só 8 GB de memória, possa treinar, entendeu? >> Sim, sim. Porque se você for, mesmo que você abra só um pouquinho da rede, você precisa de 120 GB de memória por baixo, entende? Então assim, é é por isso que eu tô te falando, >> você pode fazer com certeza, certo? Sem precisar dos adaptadores. E você pode fazer as duas coisas também, né? Você pode retreinar a parte de baixo da rede

[53:40] e você pode colocar os adaptadores, entendeu? Também na frente, >> não? Beleza, a gente vai tocar em algum momento no livro sobre isso ou >> vamos, eu vou falar sobre o tema, mas a gente não vai fazer o treinamento de uma rede neural nesse nível, né, de de retreinar. Nós vamos trabalhar com o Loro e o Kelora, certo, >> professor? >> O Lor é um pouco o lor é um pouco maior, o Kelor é já é quantizado, beleza? Vai, mas eles essencialmente são como como lentes, né? como lentes que você coloca na frente da da rede. É isso. Só

[54:10] adaptador. Beleza, >> Marcão. >> Professor, acho que ele quis dizer era sobre as instruções, né? Porque quando você treina a rede também faz o F Tuning, >> tem aquela parte que você coloca as os instructions, né? Porque tem modelos, por exemplo, que sai de modelos pré e que foi feito finit >> para depois fazer o a o instruction. São instruções. Acho que é isso que ele tá querendo dizer, né? Que entre que ele entrou no que lora, no lora ali, né?

[54:41] Acho sobre isso. Se for isso, né? Que ele quis dizer. >> Uhum. Fala aí, Marcão. Cortado o microfone. >> Tava pedindo bção primeiro. >> Ah, Deus abençoe, cara de boi. [risadas] >> Deixa eu te falar, eh, em assim, >> por exemplo, ah, eu pego o livro de sonetos do Vinícius de Morais e coloco lá 73 sonetos. Eh, essa parte é mais tranquila de entender que eu vou passar

[55:12] um tema e ele vai conseguir depois de de treinado escrever no estilo lá do do poetinha. >> Eh, agora vamos lá, se eu quiser, no caso de dados, vamos assim, de dados exatos, vamos supor que eu queira uma aplicação que tenha os resultados do campeonato brasileiro e eu, a cada ano eu retreino com os dados do do ano que acabou de fechar. >> Uhum. Eh, esse esse tipo de de eh de treinamento vai me dar assim com

[55:44] especificidade eh qual foi o placar do dos dois jogos do Flamengo contra o Vasco no no ano passado? >> Para que isso? Para que? Para que isso? Para que isso? Para que você quer saber disso? >> É para para ficar mais próximo da da >> Não, que palhaçada é essa? Você tá até com a camisa do Flamengo, né? >> Tô. >> Eu já falei para [risadas] você, não vim com essa merda paraas minhas aulas. P >> você tem uma igual cara violência. Você tem uma igual, você fica fingindo que desrespeito que o professor você tá >> Você fica fingindo que é da Didas, você tem uma igual. [risadas]

[56:19] >> É, [limpando a garganta] vou vou vou banir ele. Vou banir ele. Isso é [risadas] muita provocação. [suspirando] >> É igual o Val que viu a camisa aqui do Viu com a camisa aqui do do do da Argentina na época da Copa também. Fica quieto que ele não me achou ainda. Fica quieto. [risadas] >> Mas respondendo tua pergunta, Marcão, eh, quando você tá trabalhando com Porque assim, vamos supor que você queira fazer com que ele entenda essa informação dos dados eh do dos jogos, certo? Então, como é que ele saberia

[56:53] bem sobre isso? Ele vai ler a pancada de informação pela internet, beleza? Uhum. >> Nessa varrida, ele vai achar uma pancada de sites que tá falando sobre esse tema repetidamente pá pá, né? E ali ele consegue, por causa da do reforço da informação, ele consegue eh adquirir bem esse conhecimento, beleza? por causa da repetição. Agora, obviamente, se você quiser fazer você o

[57:23] seu sistema, essa informação especificamente com RG seria melhor, entende? >> Uhum. >> Você depois é bom até você testar esse tipo de coisas. Você pode até fazer um um treinamento pequenininho, uma rede menorzinha. Isso também depende da qualidade do seu dado, da tamanho da rede neural e tudo mais, mas você vai perceber que o RAG vai sair melhor. >> Uhum. >> Entendeu? Mas isso não quer dizer que ele não possa aprender, né? E aí também depende de muita coisa, porque você tem que depender também aí da arquitetura da rede, né? Como é que ela trabalha em

[57:54] relação à informação. Tem umas que são mais, tem umas que são mais fáceis, né? Você já viu que tem rede neurólic sai melhor em coisas matemáticas, coisas de ciência. Isso tudo tem a ver como é que o Transformer trabalhando lá dentro, certo? Na estrutura do Transformer. Aí quem quiser saber um pouco mais sobre Transformer, tá? Eu não vou falar aqui porque não >> não é o lugar. tem uma playlist do meu canal só Transformer, certo? Então lá você pode ver toda a estrutura dos tokens, como é que ele monta aquela parada todinha lá. Então o que acontece

[58:25] é exatamente isso. Se você tem um reforço da informação e a rede ela é mais apropriada para isso, é igual você, por exemplo, pegar uma rede e ela ser mais reforçada para desenvolver código, certo? Então você percebe que ela vai ter uma grande uma vai os caras vão construir uma arquitetura que que privilegia esse tipo de informação. Como é que é? Então é é bem por aí. sabe? E aí você vai ver que o benchmark ali em código vai ser um pouco mais alto, mas aí em outro lugar vai ser um pouco mais baixo, né? Que acontece isso. Então, eh, respondendo de forma prática a sua

[58:57] pergunta, eu colocaria no sistema um hag para responder de forma pontual, garantido, e o estilo, como você mesmo falou, mais no fine ting, entende? Sandr, só paraionar aqui, eh eh você também trazendo eh eh uma engenharia de prompt, né, mais específica assim pro caso, por exemplo, no caso da da engenharia, você pedir para ele ser um engenheiro, né, ele vai trazer um especialista em engenharia. Isso aí

[59:27] ajuda muito também, né, na hora da resposta. >> É, isso aí é normal, né, aí na na na engenharia de promptes normal. Beleza. Eh, que tá aí. Agora você me disse uma coisa, eu não testei no meu teste aqui porque eu não disse assim: “Olha, você é um especialista no livro tal, porque eu peguei a rede, né, e eu na hora do promp aqui eu não fiz isso para testar, tá?” É uma coisa que eu devia ter feito, foi para ver qual era o resultado, né? Porque o fine tão não despreza o prompt, né? Digamos assim, a gente não pode desprezar inerit prompt porque agora fez

[59:59] um finan, certo? Ah, eu fiz o Fan. Agora posso perguntar de qualquer de qualquer jeito, sem uma preparação antes, né? Então, as técnicas de engenheiro de promptem. Eu vou mesmo jeito. >> A LM eh, com open code, LM local mesmo, com paraa faculdade, né? Para questões. >> Mas qual LLM? >> Eu tô usando o Quen, né? O o 7 Quen 3.8, se eu não me engano. >> Quen 7. Abre sua câmera aí, bicho.

[1:00:30] >> Eixe, eu tô na cara de acabar cara do meu pai. >> Abre aí essa aí. Tô com sa ver. É sério. Tô com s de L ver. Certo mesmo. >> Aí aí, >> ô bicho lindo da Rá. [risadas] >> É o filhinho de papai. É >> filho de papai, né? >> Ah, garoto. >> Tá na cama ali. >> É. Ah, rapaz. Tá tudo bem, né? >> Tá nada. Ah, [risadas] mas estamos aí. >> Tá bo. >> Mas aí, Sab, o que que acontece, né? eh utilizando a a questão de rodadas, né,

[1:01:01] da da LLM e o auxílio de especialistas, eu vejo que ele tem um um uma resposta bem exata quando ele utiliza o especialista naquela matéria mesmo, sabe? Então isso aí, >> rapaz, você chamou aí, Daniel, você agora fez um levantamento que eu curti, cara. Sério, algo que eu que eu tinha embaçado batido aqui. A gente não pode realmente esquecer de que, por mais que a gente treine uma LLM com os nossos dados,

[1:01:32] um bom promp também ainda vale muito, né? Então eu fiz umas perguntas aqui na meu treinamento que talvez se eu tivesse usado um promp ideal, um promp mais interessante, mais elaborado, com a definição dos especialistas, né, e tal, talvez o resultado teria sido outro. >> E é bom quando você coloca no debate que aí ele vê a resposta de cada um e aí você vê quem que acerta, quem não acerta, sabe? O legal é isso. Isso, é >> é fora também que eu tinha criado um chat aqui para conversar com ele e eu não criei memória, criei nada. O

[1:02:03] contexto se perdeu na hora, né? Entendeu? Então é isso, Anderson. Tá cortado seu microfone, cara. >> Opa, boa noite. Prazer conhecer vocês aí. Minha primeira mentoria aqui, né? >> Ô, cara, prazer, hein? Tá falando de onde? >> São Paulo capital. >> Ah, legal. >> Zona norte aqui de quem é São Paulo conhece, né? >> Zona norte ali perto do Aembi. Aquela parada toda ou não? >> Preguesia do Ó. É um bairro bem antigo, tradicional aqui, né? >> Sim, sim. Conheço demais. >> Pico de Aaraguá aqui do lado também. >> Sim. Eh, a minha minha dúvida quando eu

[1:02:37] adquiri o livro, né, e a intenção de aprender o Faruning, eh, colocar isso num processo que eu estou montando hoje. Eu sou gestor de tráfego pago. >> Uhum. >> Faço os anúncios online e tal, criei um sistema de radar que ele rastreia e traqueia os leads e depois manda pra meta, né, via PI. Qual que era a minha ideia? é treinar inteligência artificial ou um chat ali que ele lê as conversas. Hoje eu capto todas as conversas do lead

[1:03:07] e o vendedor ou cliente >> e treinar alguma inteligência para ela dar essa esse atendimento fora do horário comercial. >> Uhum. >> Então a minha ideia é consigo fazer isso com Farentan? >> É, não consegue. Você consegue fazer com Farentan e também combinado com o Hag, como a gente tá falando aqui, né? Tô discutindo isso aqui. >> Se é o Rag, eu não cheguei a pegar o livro, né? Mas é bem tranquilo, é bem tranquilo. Você vai ver que não é nada do outro mundo, não. Certo. Eu acho tan até um pouco mais pesado, mas se a gente fosse fazer t sem fine, esquece assim,

[1:03:40] esse eu acho que o pessoal ia sentir bastante. Mas agora como a gente tem um framework auxiliando, né, então é tranquilo. Então o é é tranquilo de você ver, cara. Você vai ver tem uns códigozinhos em Python, mas é bem bem bem tranquilo mesmo. Eu poderia até criar alguma coisa, né, cara? poder criar até >> criar umas skills ou um frame de raga, alguma coisa assim para simplificar o processo, né? Pra galera também daria certo. Acho seria massa. >> Oi? >> Deixa ele terminar aí.

[1:04:11] >> Oi. Até porque, qual que é a minha ideia? A minha massa de de informação vai ser as conversas no WhatsApp. É uma demanda grande e é de entre vendedor e cliente. Então, acredito que vai ter um padrão ali, né, para ser seguido. >> Com certeza. É, ele vai aprender informação, ele vai aprender com certeza e também o o padrão de como se responder. Beleza? >> É, >> só que você vai é é só que aí você quando for treinar, você vai ver que até o meu meu meu meu o meu minha rede que tá treinando aqui agora, tem esse padrão

[1:04:42] de pergunta e resposta, né? Então você tem que separar quem é quem, OK? Para ele saber pergunta e resposta e [limpando a garganta] ele aprender essas perguntas e essas respostas, entendeu? E a partir disso aí ele ele começa a responder apropriadamente. Se você tiver um bom volume de de dados, legal para caramba, dados pontuais, um hag entrando ali, vai de boa, você vai ver que o hag é tranquilo de fazer. Você conversar com uma LLM ou com um harness como cloud code, alguma coisa assim, eu

[1:05:13] posso até pensar em fazer alguma coisa tipo algum algum framework, alguma coisa assim que facilite, tipo it’s fine para Haag, eu não sei. Tô pensando, >> tá? Mas rapidinho você consegue construir isso aí, >> tá? Só a última dúvida. Eh, o que que seria uma um volume aceitável para você? Assim, questão de conversa. Vamos se dier >> essa pergunta essa pergunta é sempre que me fazem em todas as aulas de inteligência artificial, eh, cara, entanto, na graduação, no mestrado, doutorado, a resposta vai será, vai ser sempre o máximo que você

[1:05:45] quiser, puder. >> Sim, >> sempre o máximo que você puder, certo? Eh, em alguns casos você pode até fazer o que a gente chama de aumento de dados. Aumento de dados é algum algum tipo de técnica de de criação de dados sintético. Ele realmente não existe, mas que para LLM funciona como se fosse um dado real. Então você pode pedir para um LLM simular algumas conversas e respostas de acordo com aquele padrão, entendeu? E aquilo vai entrar como mais volume de informação pro treinamento,

[1:06:15] certo? Mas a é porque na verdade eh existe um vídeo meu no canal eh o que de fato é machine learning. Alguém pergunta, procura para mim, por favor, no canal Sandeco, o que de fato é machine learning, certo? Então eu digo lá o seguinte, lá tem um chamado em machine learning que é a mãe do bom, eu tenho inteligência artificial, machine learning é uma subárea da inteligência artificial e deep learning é uma subárea de machine

[1:06:47] learning. Beleza? Então tá uma coisa contida na outra, como se fosse aquelas bonequinhas russas, né? Então ilm é dentro de dentro de deep learning, certo? Ok, >> professor, só para informar, levamos um pouco mais de 15 minutos e temos dois pessoas também com dúvidas. >> OK, obrigado. Eh, só para concluir agora. Sim, >> o link tá aí. >> OK, obrigado. Deixa eu agora, agora me perdi. Agora me perdi o que eu tá

[1:07:18] falando. Teorema de mitel. Teorema de MIT fala o seguinte: aprendizado de máquina é uma é uma conhecimento >> entidade, né, inteligente que aprende com mais e mais experiência. Beleza? O teorema é muito mais complexo do que eu disse agora, mas aqui eu tô traduzindo de forma baixa, certo? Mas o que que é mais experiência? Quanto mais conversa você tiver, é melhor. Quanto mais texto você tiver sobre aquilo, melhor. Mais e mais experiência,

[1:07:49] entende? Então, por isso que uma LLM, para ser o que ela é, ela tem que ler a internet inteira ou ler a quantidade exorbitante de informação. Quanto mais ela consumir de dados, melhor. Certo? Então, lembre-se, se eu quero treinar minha LLM para poder que elas tenham um bom desempenho, a quantidade a quantidade d a quantidade de dados que você tem nunca é suficiente, tá? Você sempre vai precisar de mais, mais, mais. Você tem que tá, sabe? O quanto mais você tiver melhor.

[1:08:20] OK. >> Felipe. >> Ô, professor, eu de novo, eh, eu olhando esse seu gráfico explicativo, eu tive uma dúvida, tá? Eu entendo que o hag ele é para aqueles dados pontuais, dados mais atualizados, mas quando eu sei que eu tenho que eh retreinar e fazer um fine tuning novamente, pensando no ciclo de vida do meu modelo, tá? que uma hora eu vou ter que fazer o fning dele para por vai chegar uma hora que meu hag vai tá cheios de documento. E a minha preocupação e a minha dúvida é será que isso não vai apetar performance a afetar

[1:08:53] porque o teu o teu h não vai ter problema de tamanho de porque a busca é vetorial dentro do banco de dados vetorial, né? Então isso tá claro, se você ficar coisa gigante demais, mas normalmente os fines são feitos, são programados baseado numa, infelizmente isso é verdade, baseado numa numa questão financeira, tá? Tá, mas daí para medir esse esse ciclo de vida, por exemplo, ah, eu sei que de três em três meses eu preciso, sei lá, baseado no meu histórico aqui, fazer um

[1:09:26] par >> com tudo que eu acumulei de conhecimento. >> É, depende da depende da quantidade de informação consolidada você vai construindo aí ao longo desse tempo. Se você perceber que não foi muita coisa, não faz sentido você fazer um fin, beleza? Fazer fing só para fazer, sabe como é que é? Gasta dinheiro e gasta tempo, >> tá? >> É, acho que mais vai mais pro pessoal da medicina, do parte jurídica, que deve ter muita atualização, sabe? O texto acaba sendo mais longo. Pensando nesse conte >> coisa que tem muita atualização não vai paraa Fanitan, ele fica no Rack

[1:09:57] quietinho lá, tá? Se você vê que tem uma coisa que atualiza muito ao mesmo tempo muito muito muito sei lá, tem uma lei lá, lei lei contábil, é uma desgraça, né? É, tá atualizando. Não compensa você mandar pro Fan porque se ela cair, morreu, vai ficar uma coisa treinada no conhecimento lá que caiu, desconhecimento, entendeu? Deixa no R que você tem como arrancar rápido, né? >> Mesmo mesmo se depois de um tempo essa lei ela ficou estável, eu tenho que jogar ela pro conhecimento para para sei

[1:10:27] lá sobreescrever alguma coisa, eu deixo ela lá mesmo. É >> uma coisa que tem uma volatilidade muito grande e sempre vai ficar lá. >> É, é claro, né, Felipe? Não assim, não é uma coisa muito exagerada. O Saneco disse que a lei contábel todas elas vão ficar aqui, entende? >> Não é bem assim, mas a gente sabe que é uma coisa que muda muito ali. Normalmente eu deixo no hag, >> porque se eu consolidar aquilo lá, eu vou ficar tendo que mudar o tempo todo no fin, né? >> Isso não dá muito certo, né? >> É, eu pensei, eu pensei mais no ciclo de evolução do seu modelo, sabe? >> Entendi. Deixa eu passar paraa frente que senão fica só lá.

[1:10:59] >> Vai, Leonardo. Vamos tentar ser mais rápido nas respostas, pessoal, nas perguntas para poder Tá fechado aí. >> Fechou. Então, professor, eh, não sei se o senhu, eh tem o pessoal começou a testar muito Fable 5 com, eh, aplicações em CAD, AutoCAD, em transformação de >> Sim. É, eu testei aqui com cara é do velho. >> Então, >> os dois, né? O Fable, o Fabster usando aqui com Blender, mas isso isso. Eu eu tô desenvolvendo >> com o MVC dele pegar essas plantas lá.

[1:11:32] Eh, o problema é que a a nossa engenharia aqui ela faz muitos muitos processos personalizados, né? >> Hum. Então, eh, na própria resposta que o senhor falou e me deu uma uma luz, porque e ele vai ter que puxar dentro do rag, em cima do hag, ele vai ter que fazer o fine tun para cada segmento personalizado, para ele ficar com a curarça melhor, para ele poder eh usar esse MCP ou do Blender ou do AutoCAD e e ele refinar

[1:12:04] ainda mais esses esses desenhos. Tô, tô, tô certo, coerente aí. >> Esse caminho é legal. Esse caminho por aí é legal. Beleza. Fala, Léo. >> Ô, professor, boa noite. Queria perguntar se o senhor tem algum direcionador para dados sintéticos, né? O senhor falou sobre aumento de dados aí e o >> a gente vai ver isso especificamente, tá? Mais para frente. Beleza? >> Show. Beleza. >> Na hora que a gente for trabalhar com dados, aí a gente vai trabalhar com essas coisas também, ver algumas coisas assim. Para terminar, Emerson.

[1:12:38] Boa noite, professor. >> Boa noite. >> Eh, só para ver se eu compreend corretamente, eu vou usar o Fitan sempre que eu quiser carregar na LLM meio que uma estrutura que vai ser um padrão, um formato e um padrão >> que ele vai utilizar para correlacionar ou identificar alguma situação ou algum contexto mais específico para que eu possa fazer algo mais vertical. E o Hag é onde eu vou pegar aqueles dados que vão estar sempre mudando, que vão estar sempre chegando alguma informação. Bate

[1:13:09] dano dia a dia, tá no Isso >> é isso mesmo. [limpando a garganta] >> Isso mesmo. A ideia é essa aí. >> Coisas que mudam, coisas, resposta na hora, algo é mais pontual, uma resposta mais precisa, Ha? >> Mas aí quando eu tenho uma especialização modelo mais geral, eu tenho estilo, formato, ensino domínio inteiro, aquela coisa toda. F. Beleza. >> Beleza. >> Isso. Muito bom, pessoal. Muito bom. Então, quando não fazer, quando não

[1:13:39] fazer finan, isso é importante, tá, pessoal? Tudo que a gente faz, a gente tem que ter uma noção até aonde o domínio deve deve deve deve ir. Então, se eu tenho dados, mas esses dados são sem qualidades, não adianta você socar, não só sem qualidade, mas em pouco em dados com pouca informação ou poucos dados, né? Como é que você vai extrair um padrão de uma coisa se você tem pouca informação sobre aquilo, entende? Não vai dar certo. Então é mais interessante você deixar num rag. Então,

[1:14:10] certo? Porque ele vai copiar, coloquei aqui, né? O modelo copia os exemplos que mostram inclusive os erros das respostas ruins, tá? O conhecimento muda todo dia, é o que eu acabei de falar aqui, né? Então não adianta, é caso de hag, claro, caso de hag, preço, agenda, estoque de loja, essas coisas tem que ficar tudo no hag, entendeu? E outras coisas, quando eu falei lá, né, se um prompt já resolve, não precisa

[1:14:41] fazer fin. Só pode dizer, eu fiz um fin time meu, de um modelo, você tá entendendo? [risadas] [limpando a garganta] Só para dizer que fez. Entendeu? Ah, beleza. Você tem um dinheiro para gastar, né? Tá querendo tirar onda, então faz. Mas tem que ter essa uma das coisas, uma das maiores contribuições que o Google fez à computação. Sabe qual foi? >> A simplicidade da página. A

[1:15:13] simplicidade, [roncando] impressionante a simplicidade da página do Google, como impactou a computação na época. Eu me lembro muito bem, porque a a o buscador principal era o Yarro. Vocês lembram do Yarro? E o Iarro era você encontrava tudo no Iarro, menos a caixinha de busca, entendeu? E demorava para responder, né? E o Yarro e o KD. E aí quando chega o Google com aquela

[1:15:44] com aquela página sem nada, só aquela caixinha de texto Google, e quando você pesquisava o miserável assim: “Olha, buscamos em tantos milissegundos, né, e que você não precisava cadastrar sua seu site que já tava lá”. Então, cara, isso foi uma coisa foi chocante, né, a época. Então, foi é demais, sabe? Então, a simplicidade é algo que é muito, quando você consegue responder uma coisa de forma muito simples, procure fazer por

[1:16:15] ela, é a que tá certa. Isso tem um nome na filosofia, eu não sei se vocês conhecem esse termo, mas já eu já falei ele antes. E a gente usa esse esse termo na filosofia, eu falo sobre ele nas aulas de inteligência artificial e também nas aulas de inteligência artificial avançado. Chama-se Navalha de Ocan. Fala. Bom, >> já falei sobre ela aqui. Navalha de Ocan, certo? A navalha de Ocan diz o seguinte: “Para uma questão existem duas

[1:16:46] respostas. Qual é que tá certa? A mais simples”. Normalmente a resposta mais simples é a que está correta. Que que isso tem a ver com a inteligência artificial? Tudo, né? Que quando você vai fazer, por exemplo, eu vou criar uma rede neural. O cara pergunta: “Professor, eu faço uma rede neural com tantas camadas? Com 10 camadas, 15 camadas, 20 camadas ou eu faço com três camadas?” Aí eu falo navalha de Ocan. A resposta mais simples é que vale. Que que seria a

[1:17:17] nav de OCAN nesse caso aí? A menor possível. A menor que você conseguir com melhor resposta, essa é a melhor rede, certo? Deu para entender? Então, a simplicidade é algo muito importante buscado na na inteligência artificial. Fitan, ele aprende e o que ele não garante, o que que ele aprende bem? Estilo e tom, o jeito de falar da clínica, por exemplo, formato da resposta curta, direta, com o próximo passo, certo? O formato da resposta ele aprende muito bem. Você treinar um fine

[1:17:49] tun uma LLM com um tipo de resposta, vou pular, você pegou LLM, então é uma tendência de escrever muito e você retreina para responder pouco, ele vai responder pouco, entendeu? vocabulário do domínio, certo? Eh, eh, aprende muito bem o jeito de raciocinar e a concisão, né? Responde o que foi perguntado e para, que não garante

[1:18:20] decorar o acervo inteiro, certo? Então, o modelo não vira um arquivo do PDF, beleza? Não adianta, ele não vai fazer isso, tá? datas e números exatos nem a pau. Isso é trabalho do Hag, fatos que mudam trabalho do Hag que já estava nos exemplos, entendeu? Então uma situação nova, uma uma resposta imprevisível, essas coisas não faz parte do Fintun. Então vocês que são os engenheiros aí de

[1:18:51] inteligência artificial, né? Eh, vocês precisam entender isso, beleza? Não adianta tentar fazer uma coisa que não vai dar certo. Já vão sabendo qual é exatamente o trabalho que você quer fazer, onde é que você quer chegar, né? Você vai ver depois que no itsine é legal porque ele é um treinamento. Eu eu construí o framework para que ele fosse todo intencional, certo? Eu eu estou acreditando muito nisso, né? Por exemplo, o Omart mesmo que a gente tava discutindo hoje num grupo lá feito pelo

[1:19:21] pelo Jage, que é um sistema operacional todo intencional. E o meu mesmo quando eu ligo o ele já abre o cloud code automático. É como se ele fosse a interface do Omar, entendeu? Eu já abro arrumar. Então tem um um atalho lá que eu não gostei. Eu vou lá no cloud COD manerar, troca isso aqui, coloca aquilo lá, troca esse, já mando fazer tudo. Por quê? Porque no sistema operacional do Linux lá, como ele é um sistema aberto,

[1:19:52] tudo é alterável pela inteligência artificial. A inteligência tem acesso a tudo, não é como no Windows tá fechado, entendeu? Então eu posso simplesmente fazer o que eu quiser dentro do meu Linux, né? Ele fica com a minha cara exatamente do jeito que eu quero. Então o meu sistema operacional, eu já não quero mais usar mais, eu já não tô usando mais botão, mouse, aquelas é tudo já direto para fazer as coisas já direto no no harness, entendeu? Virou um harness so e eu acredito muito que o

[1:20:23] futuro dos sistemas operacionais vai ser esse, né? Por quê? Porque você abre um sistema operacional e ele diz assim: “O que o que ele mostra para você? O que você pode fazer, né? Até o Walmart mesmo quando você abre é bem assim, pô. E agora eu faço o quê, né? Então você personal assim, né? Você liga ele, vamos supor, quem nunca mexeu com o Linux levanta a mão. Não tem problema nenhum assim. Ou ou o Mac, por exemplo, o Windows todo mundo já mexeu, mas o Mac, alguma coisa diferente assim, né? Eu, por exemplo, não sou um cara versado

[1:20:53] em Mac, eu não sei nem mexer com o Mac. Se eu abrir o Mac na minha frente, eu fico assim, bicho, eu faço o que com essa Não tem costume, né? Não é isso que a gente Por quê? Porque o sistema operacional ele espera que você ele ele te dá opções do que você pode fazer, entendeu? Já um sistema operacional baseado em intenção, ele diz assim: “Olha, o que que você quer fazer?” Então, se você abre o, eu abro o meu omat e ele já abre o cloud code, ele vai, ele pergunta para mim: “O que que você quer fazer?” Eu digo: “Ó, cara, eu

[1:21:24] quero instalar impressor aqui.” Beleza, faz tal coisa, tal coisa, tal coisa, tá pronto? Ah, abre tal coisa para mim, faz assim, assim, entendeu? Então, é, é diferente o uso, entende? É diferente o uso, é completamente diferente, certo? Ao invés de você ficar, ah, onde é que eu faço tal coisa, hein? Em que em que botão ou em que comando que eu não existe isso no sistema operacional, certo? Você simplesmente abre e conversa com o sistema operacional e ele começa a agir, entende? Então, é muito legal essa ideia, tá?

[1:21:56] Então, o WF fine, vou falar um pouquinho agora sobre sobre a biblioteca, tá? Eh, ele é um fine tun orientado por intenção, certo? Então, eu até falei num vídeo sobre essa história do bibliotecário, né, que uma biblioteca nada mais é do que um centro de conhecimento muito grande sobre tudo que a gente tem aqui, tá certo? Então tem muita informação sobre tudo, mas se você quiser você trazer a sua informação e inserir essa informação nessa biblioteca

[1:22:27] sozinho, você vai ter problema, certo? Por quê? Porque essa biblioteca para inserir uma informação nela existem regras, beleza? Não é de qualquer jeito, tá? Então você tentar colocar a informaçãozinha lá, vai ficar lá, mas ninguém acha nada, entendeu? Pode ver que ela vai estar deslocada das outras dos outros livros, né? Que os outros livros têm, né? Esses esses esses esses esses adesivozinhos aqui, tá? Organizado em sessões certinhas e tudo mais, né? Então, o que que é o Itfine? Itfine é

[1:22:59] como se fosse um bibliotecário, certo? Porque o bibliotecário quando ele vai fazer alguma coisa com um livro, ele tem um processo, né? Tem tombamento, tem classificação, tem metadados, tem catalogação, tem indexação, tem controle da autoridade, tem tudo isso para depois você colocar o livro lá, entende? Para que ele seja encontrável de forma fácil e tudo mais. Então, a analogia ela é ela é perfeita nesse caso aqui, porque o o framework ele se encaixa exatamente aí,

[1:23:30] tá? Porque se ele não se você não usasse o framework, né, você teria que fazer você mesmo todo esse processo, entende? e ter que e ter que escrever código para isso, né, para gerar o treinamento. Então, tudo isso fine faz para você no processo e aí o a informação ela é inserida na biblioteca, beleza? De forma apropriada. Então essa que é a ideia, de forma que você fala com esse bibliotecário e ele sabe como conversar com a biblioteca, que no caso é é LLM,

[1:24:02] né? Beleza? Então esse aí é o que a gente chama de it’s fine, tá? Que é o fine turun, o processo todo fine, vamos passar paraa frente. Então existem um caminho de 11, um jornado de 11 paradas, né? você tem você. Aí você começa com a intenção lá com o fine start, define lá qual é o ambiente que você vai trabalhar. Então você pode rodar local, você pode rodar isso num colébio da vida, não sei se vocês sabem,

[1:24:33] mas todos vocês têm. Se você tem uma conta Google, você tem acesso a um servidor do Google, onde ele libera horas de GPUs para você lá gratuitamente. Beleza? Se você precisar de mais tempo, você pode comprar e é barato, não fica caro, sabe? Eu já usei de comprar precisando treinar algumas coisas e usar lá, né? Na Universidade Federal a gente tem nossos servidores lá com GPUs potentes, né? Tipo, melhores do que alguns que se se equiparam a que a gente tenha a gente tem aqui no no

[1:25:06] Google Colab, mas vocês terão acesso a essa GPU, certo? Você não tem um GPU no computador, por exemplo, eu tenho aqui meu computador, ele é um computador gamer, eu comprei para exatamente fazer esse tipo de coisa. Quero fazer pequenos treinamentos, tal, tá aqui, roda meia máquina. Agora não tem, a gente roda no colab do Google, certo? Vai te dar aí um tempo de 4 horas de uso, beleza? Por dia, que é o mais que suficiente para fazer o trabalho nosso, tá? E para você aprender como é que faz o treinamento, tá? OK. Então, o It’s fine, ele vai

[1:25:37] reconhecer o ambiente seu. O que que você vai fazer? local, é na nuvem, é numa empresa sua, é num AWS da vida, tudo isso ele vai reconhecer. Depois tem um processo dos dados, tá pessoal? Essa parte da curadoria dos dados é bem chatinha, porque, por exemplo, quando você pega uma série de PDFs lá e aí os PDFs tem os cabeçalhos, né? Tem os rodapés, aquilo tudo lá para tirar é um saco. Então o framework faz isso também, a limpeza dos dados, organização, colocar, por exemplo, você vai fazer lá

[1:26:07] sobre pergunta e resposta, transformar, né, os seus dados em pergunta e resposta. Em alguns casos, por exemplo, se você não tiver o olhama local, ele baixa o olhama, instala na sua máquina, baixa um quen automaticamente também, se você quiser, e ele começa a rodar e começa a fazer tratamento de dados com olhama local, entendeu? Então, a construção do framework eh me tomou um tempo, né? Mas eu achei que ficou legal para ajudar vocês, tá? Aí depois o próximo passo é a escolha do modelo. Qual é o quem é que a gente vai

[1:26:38] retreinar, né? Certo? Ah, vai ser um deepsic, vai ser um, vai ser, sei lá, um lhama, vai ser um kimi, vai ser um quen, que que a gente vai usar, né? Depois o processo é a definição ali da régua e ponto partida. Ou seja, a gente tem que definir quais são as métricas de aceito. Que que você quer com esse com esse modelo? Ah, eu quero que ele me responda igual eu respondo o pessoal da clínica. Então, essa é a métrica. Ele tem que fazer isso, entendeu?

[1:27:10] Né? Depois a gente congela esse objetivo, trava lá para poder fazer o Eu tô em dúvida se esse congelamento de objetivo é uma coisa interessante pra gente, tá? Porque nos diz que eu tô mexendo com ele aqui [risadas] algumas vezes. Eu disse: “Não, esse objetivo eu não gostei não, eu quero mexer”. Aí ele falou assim: “Não, mas tá congelado”. Não, eu tô mandando, Pode mandar. [risadas] Vocês sabem que eu xingo, eu xingo LLM, né? Aí ela, ele faz, entendeu? Eh, mas enfim, eu tô tô em dúvida ainda se eu

[1:27:41] mexo com isso ou não. Mas vamos lá. A receita é o quê? Ah, vamos usar, vamos, vamos treinar a rede inteira. Vamos treinar só a parte de baixo da rede. Vamos colocar um loro. Vamos colocar um que loro. Vamos colocar o quê? Certo? A receita, tudo isso a gente vai aprender, tá pessoal? O conceito e como fazer na prática. Aí tem o ensaio, o treino. Um ensaio nada mais é um pequeno teste para ver se tá tudo certo, né? Às vezes o código ali para ver se tá rodando. Beleza? E aí vem o retrino efetivamente. Aí depois disso tem um processo de

[1:28:12] avaliação. Terminou o retreino, vai levar algumas horas ali, tá? Tem avaliação, depois tem a exportação. Eu vou colocar isso aonde? Vai ficar na minha máquina, vai ficar no outro servidor, tá? E tudo isso dentro do Fine, você tem que dar autorização para ele mexer, tá? Porque o que acontece? Às vezes a pessoa ela quer fazer o retrain do LLM, mas não quer que nenhuma outra LLM tenha acesso aos dados, beleza? Então, por exemplo, os dados aqui que são processados, tá? São

[1:28:43] códigos em Python construídos para acessar os dados. Não é a LLM que mexe nos dados. A LLM só aciona o programa em Python que vai ler os dados e trabalhar com os dados, entendeu? Ela nunca mexe nos dados se você não autorizar. Então vocês vão ver depois que quando a gente instala o Itfine, dentro dele lá tem um arquivo de configuração, uma série de permissões e ele já abre tudo fechado. Você vai ter que abrir esse arquivo manualmente porque ele fala assim: “Eu não posso mexer, não vou

[1:29:15] mexer.” Igual o Reversa também, né? O reversa não mexe no legado, é proibido. Agora eu criei um arquivo de configuração para dizer assim: “Não, eu quero mexer”. Então ativa lá, permite o reverso aí ele vai mexer. Beleza? Então essa esse conceito eu também trouxe para cá, né, pro It. Isso é uma coisa do né? Porque a gente pode, além de estar estudando conceito, a gente tá estudando uma coisa que nós mesmos fizemos, né? A comunidade nossa aqui construiu uma uma um framework, uma coisa pra gente mesmo

[1:29:46] usar. E o que é legal é que se as coisas começarem tipo assim, igual o reverso, né? Professor, eu tava fazendo tal coisa com revés, deu um problema assim assim assim: “Ô, pô, manda para mim que eu vou arrumar, né? Ou então com mira, né? Tô fazendo uma coisa lá com mira, tal, pá, pá, tem um problema. Ah, vamos arrumar então. Legal, tá essas coisas nossas assim que a gente é nosso, né? É legal para caramba. Eh, o pato que anda na água. [risadas] É Jesus. [risadas]

[1:30:16] Gostou >> a Fátima, né? Então, tem a exportação, né? onde vai onde vai rodar efetivamente. Você pode voltar isso, o o seu arquivo pode voltar lá modelo para o olhama e você já pode construir um chat lá para conversar com ele para testar na sua própria máquina ou então isso vai paraa outra máquina, beleza? Ou você pode testar isso no próprio colab. OK? Professor, eu não eu construí no colab e eu gostaria de testar no Colb porque eu não tenho máquina para testar, porque tem que ter máquina, pessoal. Infelizmente para LLM tem que ter

[1:30:46] máquina, tá? Não tem como a gente se enganar, tá? Então não, se você não tem máquina em casa, vai ter que ter máquina remota e aí tem máquina gratuita e tem máquina paga. Beleza? Agora, lógico, o conhecimento que você vai aprender aqui nessa mentoria, ela vale muito para se você precisar fazer alguma coisa específica para a sua empresa, para uma empresa, coisa assim, entendeu? Então ela tem um ganho financeiro que eu acho que vale a pena. E o último passo é a entrega em em si,

[1:31:18] né, que é o fechamento aí da das 11 da dos 11 trajetos aí da do do It’s fine. Beleza? Então é legal porque eu acho assim e olha fine t a gente tá desde do final do ano passado para fazer essa mentoria, não é? Certo? Aí apareceu MCP, aí a gente parou e falou: “Não, vamos temos que aprender MCP e a 2A.” Aí fomos

[1:31:49] atrás, aí fizemos pá. Aí quando foi no início do ano, vamos agora vai pro Fun, não apareceu o hag, né? Apareceu o hag, pra gente fazer hag e fizemos o hag. Aí os harness explodiram e o desenvolvimento com com inteligência artificial também explodiu. Então a gente fez a questão da engenharia de software com reverse e tudo mais. Eu acho que a gente tá tá numa hora falta GI, né? [risadas]

[1:32:21] Tá me provocando, né? Eu acho que a gente entrou numa hora certa para fazer isso, sabe? Porque hoje a gente consegue diminuir bastante eh substancialmente a complexidade que é para pessoas leigas entrar numa rede neural efetivamente e treinar uma rede neural, né? Retreinar, entendeu? E o conhecimento técnico de retreino de inteligência artificial é um pouco

[1:32:52] puxado. E em alguns casos, quando a gente tá desenvolvendo o código ali, né? eh, do retreino, do treino, uma coisa assim, pode ser meio maçante, sabe? A pessoa começa a ficar assim: “Ã, hein? É o quê? Você tá entendendo?” Então eu acho que a gente tá num momento legal, onde podemos colocar, conhecer todos os conceitos, o porquê das coisas e tudo mais. E tem uma ferramenta como o framework time que pode, it’s fine, que pode nos ajudar, né, nesse processo. E aí aqueles que

[1:33:23] querem saber um pouco mais, que sempre tem esses, né, que eu acho massa, né, tem aqueles que querem o resultado logo, então aí o fine serve muito bem. Tem aqueles que querem aprender um pouco mais e saber como é que é por dentro o código. Aí vai lá e abre e aprende, entendeu? Que é massa, entendeu? Então a gente atende todos os públicos, né? Certo? Onde a gente pode discutir, otimizar código ali dentro e tal e ver como é que funciona efetivamente por dentro da rede neural. Legal para caramba, né? Então quando a gente faz o

[1:33:55] mestrado, doutorado, dar aula nessas nessas graduações, aí a gente vê a parte matemática da coisa, como é que funciona, né? Bem escova bit lá dentro mesmo, porque o cara vai ter que criar um novo, uma nova arquitetura de LLM, não é só retreinar, né? Ele tem que entender por dentro e ele tem que criar uma propor uma nova, entende? Não é simplesmente pegar uma coisa que já existe e dar aquela treinadinha, não. Isso aí a gente deixa o pessoal da graduação, pós-graduação e tudo mais, né? Agora, quando é mestrado, doutorado

[1:34:27] é a coisa é mais puxada. Beleza? Então eu acho que a gente tá num momento legal para aprender sobre isso. E aí no final das contas é o assistente mesmo funcionando, né? É o assistente lá da Marina veterinária de vaca lá, [risadas] certo? Que responde conforme ela quer, direitinho funcionando, tá? OK. Então o mapa dos nove capítulos, eu tava eu tava planejando já fazer dois capítulos hoje, né?

[1:34:59] Mas aí, como assim? Sempre a primeira aula tem um pouco mais de perguntas, mais dúvidas, tudos, mas normal. Então, ficamos num pequeno primeiro capítulo, tava aqui para tirar essas dúvidas gerais aí. Aí nas próximas aulas eu tô pensando assim, a gente vai começar a dar umas aceleradas, entende? É possível a gente dar uma acelerada quear dois capítulos por por aula e tal. Então, esses são os nove capítulos que a gente vai ver nessa sequência, beleza? Pra gente aprender, tá? que é essa trilha importante aí que é projeto e ambiente,

[1:35:31] os dados em si, estudar os modelos base, métricas e objetivos, a receita, no caso laura, o que que é o que lora? Por que que existiu isso? Como é que eles funcionam, tá? Sondagem, treino e avaliação, exportação entrega e o alinhamento por preferência. Beleza? São nove capítulos, tá? Eh, a mentoria só acaba quando termina, beleza? Eh, nem que dure um ano, não dura não, tá, pessoal? Mas ela só acaba

[1:36:01] quando eu fizer o último capítulo, tá? Às vezes, por exemplo, por exemplo, tem um um capítulo que ele é mais denso, foi como a gente fez em hag, né? O capítulo de graph ha, ele foi muito denso, muito denso. Foram cinco aulas, ele é como se fosse cinco capítulos. Eu quebrei ele em cinco partes, né, para poder a gente poder entender. Mas eu só termino a mentoria quando acaba. Quando terminar o último capítulo, terminou a mentoria. Beleza? É sempre um compromisso que eu faço com vocês. E assim, as aulas toda

[1:36:33] quarta-feira, nesse horário mesmo bate canal. E é isso. Beleza. 10:15. algumas perguntas para terminar também. Agora dar uma gerada na minha voz. Regis, >> professor, nessa linha aí do senhor falou do Fin Tani, eh eu fiquei pensando

[1:37:05] aqui naquela questão da da de um de um conteúdo que é difícil, né, como o direito, que tem que tem ali várias conceito por trás, tem muita muitas eh interpretações de um objetivo só. Aí, nesse caso, eh eh para fazer o fine tun com isso aí, aí a gente tem que usar ontologias e e tudo mais. Como é que é isso? >> Como é que funciona essa essa história? >> Normalmente esse esse esse esse esse

[1:37:37] momento aí tem muito a ver com o tratamento de dados, certo? Que é talvez assim, o capítulo três, pessoal de dados, é o capítulo mais crítico. Os dados são é o capítulo mais crítico, certo? de qualquer qualquer qualquer inteligência artificial baseado em aprendizado de máquina, certo? Porque ele vai aprender com os dados. Então os seus dados tem que ser volum

[1:38:09] volumétrico, digamos assim, e tem que ter uma qualidade, porque senão se você não tiver uma qualidade de dado também, se ele for muito ruidoso. Então, todo dado ele é muito específico ao domínio que tá acontecendo, por mais que seja assim, ah, mas o direito é sempre assim, tá? Mas qual é o objetivo que você quer treinar com essa rede? Você quer uma rede geral ou você quer uma rede específica, sei lá, vamos supor STF Vittor, vai direcionar. Chegou um caso, lê o caso, o projeto, o

[1:38:40] lance dela, o que que é? Eu leio o caso, eu simplesmente direciono para onde tem que, para onde tem que ir. É só isso que ela faz, né? Ela não dá resposta de nada, não sei o que e tal. Foi treinada para isso, tá? Então ela foi treinada como a base de dados é o quê? Casos, direção, entendeu? Entendi. Então não vai ter eh algo do direito que vai falar do penal, do civil, do tributário, do não sei o quê. Isso >> não é isso >> não. Então eu eu tô invertendo as coisas

[1:39:10] aqui de tal forma que as uma das o o o dos dois passos são muito importantes. O primeiro, como eu falei, ele é um framework baseado em intenção. Você precisa definir qual a sua intenção. Muito bem. Certo? Eu quero que a minha rede neural responda ao produtor rural que mandar uma mensagem para mim conforme eu respondo e

[1:39:42] com o conhecimento interno que eu tenho aqui na empresa aqui na na na clínica veterinária. Perceba eu a intenção toda destrinchadinha em detalhes, certo? Então, é preciso entender qual é a intenção, o que que você quer fazer com essa rede neural, certo? Porque a partir daí você vai ter um uma forma como você vai tratar esses

[1:40:14] dados, certo? Eu vou treinar com os dados cruz, eu vou transformar esses dados em pergunta resposta, certo? Eu vou treinar esses dados com os dados inteiros em e com uma saída simples ou a saída a entrada é simples e sai com dados inteiros invertidos. Tudo isso depende, depende da intenção que você tem em relação à rede neurômet >> e a grana, né? >> Hã? >> E a grana, né? O recurso. >> É. E o recurso de treinamento, né? Aí aí tem o projeto e ambiente, né? Que é

[1:40:44] aquela questão assim, tá? OK, mas aí vamos treinar que rede? Quanto maior a rede, né? Quanto melhor foi a rede em termos de a quantidade de parâmetros, melhor a rede será. Consequentemente, se você tem mais parâmetros, você precisa de uma máquina mais potente. Então, é aquela história, né? Na computação tudo é um perde ganha. >> Perde ganha. >> Computação, tudo é um per de ganha. Por isso que vocês são engenheiros de são engenheiros, né? Certo? Então a

[1:41:17] engenharia é isso, é um per de ganha. você tem que dar ali e dar receber de cá, certo? Às vezes você não vai conseguir uma coisa maravilhosa, mas uma coisa aceitável. É isso. A engenharia é isso. >> Tem que determinar alguns critérios também, né, professor? No caso, paraa escolha até mesmo, né, do seu problema e da sua rede neural ali >> ou do seu LLM, né? >> Exatamente. >> Professor, mas o a quando é que se indica usar ontologias?

[1:41:50] Eh, cara, é nesse nesses nesses dados que são nesses dados, como você mesmo falou aí, certo? Eh, >> deixa eu pensar. >> Medicina. medicina, por exemplo, medicina ou Mas eu o que vem na minha cabeça é o direito, que é o mais difícil, né? >> Aham. >> Eu acho,

[1:42:22] >> mas eu eu tô ouvindo muito pessoal falar eh eh em ontologias ligada a a a treinamento da IA e coisa e tal. Aí fiquei nessa, mas a gente pode evoluir depois, eu vamosar depois. Eu acho melhor porque assim, eh, >> a ontologia, professor, geralmente, eh, >> pessoal, pessoal tem falado ontologia, mas >> pesquisas, né? Porque você tem que fazer uma pesquisa mais profunda, >> mais ligada à gente. Ontologia,

[1:42:52] >> o uso de ontologia é mais de hag. pessoal tem falado muito, mas é porque tá voltou meio que um hype de uso de gráfico de hag, graf, eh, na implementação com LDM, porque o grafo ele gera um padrão de busca e de conhecimento mais eh auditável, que é importante paraa detecção de fraude, para várias outras coisas. Então você usa ontologia para poder dar o domínio sobre o dado e os tags do dados dos metadados. É mais nessa pegada. Não é

[1:43:25] muito para faz não. >> É mais nas suas tarefas. Éonde tá determinando suas tarefas que você vai usar uma determinada antologia, porque antologia é para vários tipos de tarefa, né? Então a antologia é um serve aí que fala sobre antologia. Então dependendo do que for você for usar é que você vai usar uma determinada antologia. Por isso que necessário também fazer uma pesquisa antes. Essa parte de pesquisa também é fundamental, pelo menos no meu ponto de vista e que eu tô trabalhando agora.

[1:43:55] Eh, mas assim, é porque a antologia ela é mais, como é que eu vou dizer? As definições são mais são mais simples, né? Tipo assim, ah, eu vou pegar um domínio, como por exemplo, sei lá, universidade. Beleza? Então, lá, que é ontologia? Eh, o professor é uma classe dessa desse domínio, certo? Então, que a gente usa

[1:44:28] muito também na orientação objeto, beleza? Um aluno é uma classe desse domínio, disciplina uma classe, o professor ministra disciplina, beleza? Aí você começa a fazer relações entre os conceitos desse domínio, beleza? Só que o processamento disso dentro de um fine tun, você tem que ver qual é o propósito efetivamente de saída que você que você

[1:45:00] quer dar com essa entrada, entendeu? ou se você vai transformar uma essa essa essa ontologia em em processo de raciocínio interno. Deu para entender? Como se fosse um passo e não exatamente como raciocínio como como um todo. E aí poderia até ser, tá? Podemos discutir um pouco mais para frente, tá? >> Tá bom. Vou falar em dados disso,

[1:45:31] >> professor. Antologia se resume a estruturação na eh formal, né, do conhecimento. >> É, exatamente. Exatamente. Essa questão. Ah, é é como, por exemplo, eh, eh, deixa eu pensar aqui, deixa pensar. É, mas é é a ontologia basicamente isso que eu tô falando. Você tem os conceitos básicos, certo? Aí você define esses conceitos básicos e qual é a relação entre eles, entendeu? Então você tem lá

[1:46:04] conceitos, né? Você tem instâncias, você tem propriedades, você tem as relações, beleza? As restrições, as regras e tudo mais. Você pode construir isso como sendo uma uma algo que a própria LLM consulte, mas isso não quer dizer que isso tem que ser uma regra de isso tem que ser uma uma um dado de informação de de conhecimento, você tá entendendo? Pode ser um raciocínio paralelo ou um

[1:46:34] raciocínio, um passo de raciocínio, um ponto, um passo de raciocínio, como se fosse uma cadeia de pensamento, >> certo? >> Entendeu? Então você pode usar isso como recurso. Deu para entender? Agora para transformar os dados em ontologia, não sei se seria tão útil, entende? E também em termos de processamento se seria interessante, né? Deu para entender? Mas é um recurso, com certeza é uma forramenta com certeza usável,

[1:47:05] certo? É isso que eu queria dizer. Então podemos ver depois com calma esse detalhe, sabe? Foi bom você ter lembrado sobre esse sobre esse tema. É um algo que que o pessoal realmente tem discutido aí, né? Porque é uma representação formal, né? Dos conceitos, entendeu? Você quando vai fazer antologia, você basicamente é isso, é uma representação formal dos conceitos, propriedades, relações existentes, tal, de um domínio de conhecimento específico. Entendeu, >> professor? Um exemplo de ontologia o que

[1:47:37] o senhor tá passando pra gente, sabe aquele esquema que o senhor fez? >> Isso é o o esquema que o senhor tá passando pra gente, né, >> da intenção ali dos quadradinhos, dos 11 quadradinhos. >> Sim, >> ali é uma ontologia. se colocar como exemplo seguindo, >> pode ser porque você tem os conceitos e como elas se relacionam, né? >> Exato. Uma estruturação, né, do conceito, né, do conhecimento ali de como vai ser aplicado. Então, tem uma sequência ali, como vai ser aplicado, o cara >> Mas só essa essa essa questão de

[1:48:07] ontologia, porque você veja que existe uma palavra que é muito forte aqui, que é a relação entre eles, entendeu? Eu tenho um conceito, sei lá, aqui, ó, Sandeco é professor e a é uma disciplina. Sandec ministra, percebe que existe as entidades e a relação entre elas. E claramente aqui essa antologia monta um grafo. >> Exatamente. É, é a estrutura de grafo isso, né? >> Então, é por isso que o Emerson falou de

[1:48:39] que isso volta muito forte na questão do Rag, entende? Isso não necessariamente tem que ser uma base de conhecimento, de treinamento de uma LLM, porque a LLM ela não faz esse conhecimento em grafo, né? Se bem que pode, você pode fazer o conhecimento em grafo, né? Que eu tô, tem um pessoal que usa conhecimento em gráfo, não posso dizer que não é, mas normalmente o que que é? Você pega uma quantidade de dados e você vai trabalhar com esses dados lá dentro. Beleza? Normalmente é assim que se faz, né? >> É, dá um trabalho fazer, né? você fazer,

[1:49:10] mas veja bem, tudo mais uma vez o que a gente viu aqui é o pré-processamento de dados, né? Ou seja, o conceito de pré-processamento de dados ainda é o mesmo na na em machine learning, tá? Então entenda o seguinte, ó. Eu sempre digo para meus alunos, quando vai treinar uma regeneral visão computacional, 80% do trabalho de uma engenharia de uma de uma engenharia em cima de uma rede neural, certo? Está no pré-processamento de dados. tem a ver com pegar o dado, adquirir o dado,

[1:49:41] limpar o dado, reconhecer problemas, ruído, tirar ruído, verificar outer, né? Verificar dados faltantes, certo? Ah, e aí você faz uma série de coisas que você tem que fazer em texto. Aí, meu, você tem que tirar lá as cabeçalhos, rodapé, termos que se repete demais, não sei o que lá. Uma limpeza que você faz para poder melhorar aquilo lá, certo? Rec só a peste. >> O o é o Chuck vai voltar, vai que é o outline, né? Você faz muita coisa,

[1:50:11] certo? Para poder limpar esses dados, porque quanto menos ruídos você, quanto menos ruídos você tiver nos dados, melhor ela vai responder, melhor vai conhecer os conceitos, certo? Então, quer ou quer não, tudo isso vira pré-processamento de dados, certo? Nessa parte de pré-processamento de dados aí tem uma vantagem do Itfine, ele tá fodidão nessa área, sabe? Porque ele consegue já pegar os dados, dizer assim: “Olha, dá uma limpada aí e organiza”. Você só dá esse comando para ele, ele vai e faz, entende? Se eu fosse

[1:50:41] trabalhar com vocês, pessoal, nessa parte de fin, só na parte de pré-procimento de dados, meu irmão, pode ter certeza, era uns cinco, seis aulas só sobre isso, sabe? E aí encheu o saco de vocês. >> Vai botar um reg lá com grafo e tudo, né? No no framework. [risadas] Se o Witfine ele está no GitHub, mas ele está privado. Só vocês têm acesso ao Witfine, tá pessoal?

[1:51:13] >> Beleza. >> Só o pessoal da mentoria aqui do livro tem acesso ao Itfine, mais ninguém. >> Professor, o senhor já liberou lá o GitHub para ter acesso lá? você para para você poder, eu não tenho vocês não tm acesso gitub dele, só quem tem sou eu. >> Ah, entendi. >> Você só tem acesso instalando ele naquele comando de instalação lá. Ah, >> tá no segundo capítulo. Beleza. >> Vai será, então. Vai ser meio assim, né? >> Eh, acho que o Cláudio tem uma pergunta, né, Cláudio? >> Sim. Eh, dá para fazer alguma coisa útil

[1:51:45] com um Windows Gamer com entre 8 e 32 GB de ver RAM? >> [roncando] >> ou não >> dá, pô. Claro. [risadas] Mas você tem placa de de vídeo nela? >> Sim. >> Qual? >> Sim. Eh, 3090 RTX. >> Dá, dá assim. Quanto G de memória? >> Seis. >> 30. Memória RAM. >> De V RAM, né? Memória memória é de GPU. >> 24 GPU. 24

[1:52:17] >> GPU. Dar uns modelos bom. Tá bem. Caramba, cara. Pô, tem uma dessa, >> estourando aí, pô. [risadas] >> Roda tranquilo. 24. Você pode pegar uma rede, um modelo bom, modelo muito bom para rodar. Outro ainda dá para usar as memórias dele aí para para fazer compartilhamento. Se usar um tritonzinho ali para fazer o a distribuição. É, >> caraca. >> Ó, a última pergunta, tá, pessoal, do João Carlos aí. Eh, é só uma observação, Sando. Eu tenho

[1:52:51] uma placa, diga, >> com a RX 580. >> Sim. >> E 32 de RAM. E de vez em quando eu apanho, >> certo? >> E de vez em quando ela trava. >> É, né? Ah, pessoal, vocês tm que instalar o CUDA nela, certo? Então vocês vai ter um processo aí, mas vocês podem pedir pro WF ajudar. Ele vai ele ele ele ele ensina em sequência.

[1:53:21] >> É, então >> pode ir lá, ó, entra lá no harness. E aí você normalmente eu >> você, olha, eu tô com a placa porque ele tem >> ele tem o o fine traço environment, certo? >> Aham. >> Então ele ele vai lá procurar o que que você tem de configuração na sua máquina. Beleza? Aí ele vai achar, OK? Só que vai dizer, olha, é o seguinte, tá? Tá, eu achei sua placa aqui e tal, mas você tá sem o cu daqui, a gente precisa instalar. Assim, não, também me ajuda a instalar. É, algumas coisas ele vai baixar, outras coisas ele vai indicar o

[1:53:53] caminho. Por exemplo, essa minha máquina mesmo que eu tô falando com vocês, eu tava com um problema nela que ela tem uma placa de vídeo, mas ela tava com a com o drive meio meio zoado aqui. Ele arrumou para mim. Arrumou. que é o lance de você ter o Harness que conversa com o sistema operacional, né? Vira aquele lance da da intenção. Não é o que eu posso fazer, é o que eu quero fazer. Eu quero fazer isso. Então arruma para mim, entende? >> Só não conseguimos, eu só não consegui

[1:54:24] ainda >> instalar a impressora, cara. Impressor é o grande do Satanás. Não tem jeito. Não, no Window mesmo. Ah, o BR não roda cuda, ela só roda com vulcan. Aí eu tô apanhando para instalar. >> Ela é um MD. >> É a MD. >> Aí em vez do do do >> Cuda, tem que ser vulcan. >> E eu tô apanhando para instalar, >> para configurar. >> Eu não, aí eu não conheço a biblioteca, tá? Porque normalmente eu trabalho com

[1:54:56] cuda e a gente trabalha com pai torche, né? >> E aí fica legalzinho, rodando. Beleza. >> Qualquer coisa funciona, com certeza funcionará no Colb, mas você pode treinar no Colb e trazer de volta, entendeu? E ela roda, >> beleza? >> Que aí instala o Olhama e manda rodar lá no Olhama. Vai de boa. >> Tá ótimo. >> Pessoal, muito obrigado aí. Tem agora 80 pessoas online com a gente aí. Muito bom. Valeu mesmo. Quarta-feira que vem a gente continua.

[1:55:26] Então, espero que vocês tenham gostado. Amanhã cedo eu coloco a aula aí para vocês reverem. Deixa eu parar aqui de gravar, né? diferenciação também que >> fica gravando até