GRÁTIS: AULA COMPLETA 2 HORAS SOBRE FINE-TUNING

Read the Portuguese translation →

Author: Sandeco · Watch on YouTube

Video authored by the channel shown, not by IANIA; all rights belong to the creator. Transcript and summary generated automatically; the original-language content is preserved.

Original language: Portuguese

Original video: GRÁTIS: AULA COMPLETA 2 HORAS SOBRE FINE-TUNING · Channel: Sandeco · 1:55:26 · Watch on YouTube

Topics: Prompt and context engineering, AI models, Local and open-source models, RAG, search and information retrieval

Summary

Sandeco apresenta conceitos de fine-tuning para iniciantes, usando o exemplo de um assistente veterinário que precisa compreender expressões regionais e conhecimentos específicos. A aula compara fine-tuning, prompt e RAG, explicando quando cada abordagem é mais adequada e por que a qualidade e o volume dos dados são importantes. Também apresenta o framework It’s Fine e o fluxo de trabalho planejado para preparar dados, escolher modelos, treinar, avaliar e exportar resultados. Ao longo da sessão, responde a perguntas sobre técnicas de ajuste, dados sintéticos, ontologias, recursos computacionais e combinação de fine-tuning com RAG.

Key points

• Fine-tuning adapta um modelo a estilos, formatos e domínios específicos; não é necessário retreinar o modelo inteiro.
• Prompts bem elaborados podem resolver mudanças de comportamento sem exigir fine-tuning.
• RAG é indicado para informações pontuais ou atualizadas, enquanto o fine-tuning pode incorporar padrões e conhecimentos mais consolidados.
• Combinar RAG e fine-tuning pode ser útil: o primeiro fornece informações específicas e o segundo ajuda a estabelecer estilo ou formato.
• A quantidade e a qualidade dos dados influenciam os resultados; dados ruidosos ou insuficientes podem prejudicar o treinamento.
• Dados sintéticos podem ampliar um conjunto de treinamento, por exemplo, com conversas simuladas por LLMs.
• LoRA e QLoRA são apresentados como adaptadores que permitem ajustar modelos com menos recursos computacionais.
• O framework It’s Fine organiza etapas como curadoria de dados, escolha do modelo, definição de métricas, treinamento, avaliação e exportação.
• O fine-tuning não garante precisão em datas, números exatos ou fatos que mudam com frequência.
• O professor destaca que as escolhas e os resultados precisam ser testados; não há garantia universal de que uma abordagem funcionará.

Chapters

Start	Chapter	Summary
00:00	Apresentação da aula e do fine-tuning	Sandeco apresenta a mentoria e introduz a proposta de explicar fine-tuning desde os conceitos básicos.
02:04	O exemplo da clínica veterinária	A história de uma vaca descrita como estando com “tristeza” mostra como expressões regionais podem exigir contexto especializado.
06:19	A analogia entre residência e ajuste do modelo	O professor compara a experiência prática de um recém-formado ao ajuste de um modelo já pré-treinado.
12:30	Pré-treinamento, modelos abertos e fine-tuning	A aula diferencia o custo do treinamento inicial do ajuste posterior e comenta o acesso a modelos abertos.
15:09	O que o fine-tuning altera	Os participantes perguntam sobre parâmetros, dados, estilo de escrita, idiomas e destilação.
26:07	Como escolher entre prompt, RAG e fine-tuning	Sandeco apresenta as diferentes abordagens como ferramentas que devem ser escolhidas conforme o problema.
32:26	RAG para informações atualizadas	O professor explica como buscar informações em uma base e fornecê-las ao modelo no momento da consulta.
38:09	Combinar RAG e fine-tuning	A conversa aborda o uso conjunto de informações recuperadas e padrões aprendidos pelo modelo.
47:30	Dados, treinamento e recursos computacionais	Os participantes discutem o escopo do fine-tuning, o retreinamento de pesos e o uso de LoRA e QLoRA.
55:12	Casos de uso e ciclo de vida do modelo	A aula compara o uso de RAG e fine-tuning em dados esportivos, aplicações empresariais e informações sujeitas a mudanças.
1:13:39	Limites do fine-tuning e simplicidade	Sandeco explica quando evitar o ajuste, o que ele pode aprender bem e por que não substitui a busca por fatos exatos.
1:21:56	O framework It’s Fine e suas etapas	O professor apresenta o framework como um assistente para organizar dados, escolher modelos, treinar, avaliar e exportar.
1:37:05	Intenção, ontologias e preparação dos dados	A discussão relaciona a intenção do sistema ao tratamento dos dados e explica ontologias como estruturas de conceitos e relações.
1:51:45	Hardware, execução local e encerramento	Os participantes perguntam sobre GPUs e modelos locais, e Sandeco encerra a aula anunciando a continuação da mentoria.

Quotes

Você não precisa retreinar a sua LLM inteira para ela se adaptar ao seu problema, à sua empresa, ao seu negócio. — 09:55

A engenharia de prompt não morreu. — 29:50

O RAG é uma cola de prova. — 36:36

Nada na IA é garantido. Você tem que pegar os dados, ir lá fazer a coisa, experimentar, testar. — 46:27

Concepts and entities

fine-tuning, RAG, prompt, LoRA, QLoRA, destilação, dados sintéticos, ontologia, Transformer, It’s Fine, Google Colab, Ollama, Sandeco

Full transcript (original language)

00:00 Que bom que você clicou. O vídeo de hoje vai ser um pouco diferente. Vai ser uma aula completa que eu ministrei ontem da mentoria do livro de Fitani para leigos, tá? É para leigos mesmo. E eu vou deixar completamente aberto aqui gratuito para você. um conteúdo muito rico para você, com muitas discussões e com muitas perguntas, né, e respostas técnicas da minha parte, né, que eu acho que você vai gostar bastante. Além disso, eu tô deixando aqui na descrição o link do

00:30 primeiro capítulo do livro de Fine Tun para você acompanhar todo esse conteúdo em detalhes. E olha, se você gosta do conteúdo de ados complicada, considere se inscrever no meu canal, ative as notificações e se você quiser falar comigo pessoalmente, vem pro nosso grupo de WhatsApp, o link tá aqui na descrição aqui embaixo e eu vou est lá para responder você. Então é isso, prepara a pipoca, se ajeita no sofá e vamos nessa. [música]

01:02 [música] Olá, tudo bem? Como é que você tá? tá chegando aqui agora com a gente. Nós estávamos conversando um pouquinho, nós estávamos aqui conversando um pouquinho, mas você que tá vendo agora depois, né, que não teve, não pôde estar com a gente na mentoria, nós estamos começando então mais uma mentoria aqui do canal Sandeco, do Fine Tunning. E a gente vai falar sobre Fine Tunning aqui nessa mentoria de forma mais começando dos da parte bem leiga mesmo até uma parte um pouco mais avançada, né? E entregando também aí nessa mentoria o framework, né, chamado

01:33 It’s Fine, tá? Eh, toda mentoria é feita para leos, né? Então, a gente tá assim com bastante animação, desenho, usando os recursos do Mira Animator para nos ajudar. E bom, é uma pena que você não pode estar com a gente aqui, mas na próxima vez tenta estar com a gente, vai ser bem legal. Beleza, vamos começar. Então, eu vou compartilhar aqui minha tela pra gente começar. Então, vou começar compartilhar com vocês aqui já minha tela inteira aqui e tal, e pra gente começar a discutir sobre o que

02:04 que é esse danado desse F Tun que o pessoal sempre fala, né? Mas essencialmente vou contar um probleminha que aconteceu, né, aqui em Goiás, que é a história da Marina que tá dentro do livro aí, que é a história engraçada, porque foi a história de criar um assistentezinho, certo, eh, para uma clínica veterinária, certo? Então o produtor ali, né, na fazenda entrou em contato com a entrou

02:36 em contato com o WhatsApp para perguntar o que tava acontecendo, que hora que abria, né, o funcionamento e tudo mais, tal. E em algum momento o produtor perguntou o seguinte coisa aqui, ó, doutora, minha vaca tá com mole mole o casco soltando. É tristeza. Olha essa mensagem. [risadas] Não é? Se fosse você, você responderia o quê? Entendeu? Você pode assim: “Ah, vai que o boi morreu, né?” [risadas]

03:10 Você tá entendendo? Agora, um bote, um bote vai responder o quê? O bote vai responder, né? Sinto muito que você esteja triste. Beleza? Você veja que é um contexto totalmente de fora. Fala, mas respire fundo, beba água, fique tranquilo, certo? [risadas] Peça ajuda a alguém. Quer dizer, a interpretação do bote ali é muito fraca, certo? Tá rodando local. Por quê? Porque nesse caso aqui, né,

03:41 especificamente, a tristeza tem dois sentidos nesse caso aqui, especificamente, né? Pode ser tristeza em termos de sentimento, mas tristeza para o produtor goiano na vaca tem um nome, é o nome de uma doença que dá, que é essa babesiose, certo? É um, é uma doença que tem. A vaca vai ficando triste assim, tem uns problemas nos cascos. Exatamente. Cácos soltando com moleza. É uma doença, certo? Só que não é que o a Iá não saiba da doença,

04:12 beleza? Se perguntar é babesiose Iá saberia, mas como o o produtor rural fala na linguagem do goianês, né? Aqui ele não vai entender, entendeu? Então o que a a Marina aqui nesse caso, né, pode fazer, né, é dar informação pra inteligência artificial e prover a informação, né, um contexto ali para pra inteligência artificial, treinando, retreinando, né, em ajuste fino, beleza?

04:43 Para que agora ela possa conhecer esse problema, beleza? Muito simples. Não é que não é que a IA não presta para nada, é porque é um contexto tão específico, tá? Que ela não vai, não vai saber. Ela não foi não foi exposta, é a história do 9.9 e o 9.11, entendeu? Esse contexto não foi exposto ali, tá vendo? Então, por isso que tá com esse tal do mole mole. E agora quando se manda a mensagem de novo, né, a inteligência artificial pode dizer, né, ah, entendi. Você tá falando da saúde da vaca, né?

05:14 Entendeu? Então assim, basicamente eu [limpando a garganta] tô trazendo aqui um contexto de informação onde eu trago paraa inteligência artificial não somente a a informação em si, mas também a forma como interpretar o jeito que se fala aqui, entendeu? Então eu posso passar essa informação para que a gente possa eh simplificar e melhorar a conversa entre o produtor rural que tá lá na ponta com a própria clínica aqui no interior de Goiás. Beleza? É isso.

05:47 [roncando] Então é a mesma pergunta, certo? Com dois duas saídas duas saídas de modelos diferentes, né? Minha vaga tá com tristeza, então o modelo base é genérico, que ele não conhece o domínio. Então, toda vez que você precisa que a sua inteligência artificial conheça o domínio, você precisa de uma de um ajuste aí na sua na sua LLM, beleza? Então, eh, são esses caminhos possíveis que a gente tem aí. Aí tem a metáfora do recém formado, certo? Se a gente for com

06:19 sempre que eu tento, quando eu eu sempre disse para vocês o seguinte, quando a gente quer resolver um problema de inteligência artificial, olhe para como o ser humano resolve o problema e tente fazer igual. Por quê? Porque a inteligência artificial nada mais é do que a imitação do comportamento humano, né? Eu já falo isso há muito tempo, beleza? Mas vê só que não acontece isso, ó. Imagina que agora, em vez de não ter inteligência artificial, chegou um recémformado em veterinária. Então esse cara, ele sabe sobre fisiologia, ele sabe sobre farmacologia,

06:50 ele sabe ler um exame, ele sabe tudo, pô. Certo? Só que ele não tem vivência prática no campo, digamos assim, né, da veterinária. OK? O que o que isso acontece em todos os lugares, né? em todas as áreas do conhecimento. Por isso que eu falo que o professor, por exemplo, é algo que nunca vai mudar, nunca vai morrer. Professor de verdade é aquele cara que é mestre e que ele é um cara que é um mentor, digamos assim, né?

07:21 Por isso que eu gosto da da nossa da nossa nossos encontros se chamarem mentoria, porque a mentoria tem muito a ver com a vivência prática. conhecimento, pessoal. Esse conhecimento você quiser adquirir na nas redes sociais ou conversando com chatt e cloud, você consegue do mesmo jeito. Mas por que que você vem aqui, tem 124 pessoas aqui, compraram o livro e atrás de mim? Porque existe uma vivência, entendeu? Eu tenho uma experiência de de um tempo na área de inteligência artificial que eu posso passar para vocês, mas o conhecimento vocês podem ter, certo? Em

07:52 qualquer lugar. Então, por isso que eu acho que a educação ela vai para esse caminho, sabe? A educação vai muito para o caminho da da da mentoria, não tanto do ensino, da transmissão do conhecimento, mas sim a transmissão da vivência, né? É igual aquele filme lá, o Gênio Indomável. Que assistiu aquele filme Gênio Indomável. Vocês lembram daquela cena que ele que ele provoca o o o ele provoca o psicólogo e o psicólogo pega no pescoço dele, né? E depois eles

08:23 se encontram ali numa praça, digamos assim. E aí ele fala: “Não, eu fiquei fiquei relaxado porque depois que eu fui dormir, eu percebi que você é só um garoto. Você você pode falar de amor, mas nunca teve nunca amou alguém, né? Você pode teve falar de guerra, você pode falar todas as guerras que já existiu, mas você nunca esteve em uma guerra com um amigo morrendo no seu colo, entendeu? Então assim, a vivência tem muita diferença, porque a vivência o que que

08:53 é? É pegar o conhecimento e pôr em ação, né, para para solucionar problemas, que é uma das coisas maiores problemas que a gente tem na computação, né? Nós na computação temos muita solução para muita coisa, mas temos poucos problemas para resolver. Sempre foi um problema pra gente, né? Quando chega no final de curso de computação, começa o desespero dos alunos, né? atrás de tema para TCC. Tema para TCC, né? É, é o maior dor de cabeça que existe na nas faculdades e universidades da área

09:24 de computação, porque sempre é uma questão muito séria. Eu tô com um aluno meu agora mesmo, tá tá penando para arrumar um tema pro TCCD lá, tá todo nervoso. Enfim, é isso. Por quê? Porque nos falta problemas. A gente sabe solucionar as coisas, mas a gente não tem os problemas para resolver, né? Então, da mesma forma aqui, ó, da mesma forma a o que falta aqui da vivência, né? Ele não sabe que mole molha tristeza, que tem que explicar de uma forma que que não assusta os protocolos

09:55 da clínica. Isso não quer dizer que esse cara tem que voltar pra faculdade. Olha essa analogia aqui, que interessante, né? Você não precisa, o que que é voltar pra faculdade em termos de LLM? Retreinar tudo. Beleza? Você não precisa retinar a sua LLM inteira para ela se adaptar ao seu problema, à sua empresa, ao seu negócio, entende? Você não precisa, basta você ajustar detalhes, né? É exatamente isso

10:25 que a nossa veterinária que faz. Passa conhecimento aqui, ó. Passa mais detalhes, né? Certo? de forma que agora ele já sabe o que que é esse que são as coisas, o detalhe, o contexto ali mais próximo do que acontece ali dentro da veterinária, certo? Nessa residência, eu vou chupar uma balinha aqui porque eu tenho que ficar chupando essa balinha o tempo inteiro por causa da gagana. Então a residência serve exatamente para isso, né? O residente em medicina, o residente em eh sei lá, veterinária, o residente,

10:57 ele tem que fazer isso, né? Ele tem que aprender agora na vivência, né? E não é falta de inteligência, é só falta de vivência, entendeu? E essa falta de vivência vai dar para ele o quê? Mais capacidade, né? Mais capacidade eh técnica no dia a dia. Beleza? OK? Então, veja que fazendo esse paralelo, né, a gente tem exatamente igual o médico e o modelo. Você tem a faculdade, que são anos aprendendo ali, né, no geral aqui. Certo? Deixa eu só fazer uma

11:28 coisa aqui rapidinho, porque como eu tô no meu, eu preciso ligar aqui o mouse, senão vocês não veem o mouse. Tão vendo o mouse aí? Tá, né? Então, ó. >> Sim, sim, professor. >> Bem que eu poderia fazer outra coisa, né? Dar um pezinho aqui. Eu posso vir aqui me desenhar, né? Então, na faculdade, né? Faculdade aqui. Então, são anos aprendendo a medicina, certo? E a residência é a aplicação, aprendendo aquilo lá que tem que fazer, tá? é o Fanitan. Então os médicos fazem

11:59 Fanitan também, tá? OK. Então, no caso de uma de um aluno em computação, tem o estágio, né? Você vai lá fazer estágio numa empresa, vai descobrir como é que realmente aí o cara vai chegar lá na estágio da empresa. Nossa, eu não sei de nada, eu achei que sabia as coisas na faculdade. Acontece muito isso, né? Então, na LM também eu tenho aqui o treino e pré-treino, certo? onde o modelo fica pronto. Nessa parte aqui se gasta muito tempo, certo? Se gasta muito tempo dinheiro e tudo mais,

12:30 recurso. Fit é pegar essa esse modelo pré-treinado e fazer um pequeno ajuste, né, com algumas horas de GPU, um investimento substancialmente menor. Então, quando você pega o modelo, quando aconteceu só aqui, a gente percebe o seguinte, ó. Por que que o Deepsic derrubou as bolsas de valores dos Estados Unidos, né? Porque primeiro o deepsic era um modelo aberto há um tempo atrás, há quase um ano atrás, beleza? Era um modelo aberto

13:03 que tinha uma capacidade muito próxima do GPT O1 naquela época, certo? E que custou, o GPT custava 60 milhões e ele custou somente 5 milhões. Na época o Gemini tinha custado 200 bilhões, né? Milhões, certo? milhões, é na casa de bilhões, 200 milhões em energia elétrica. Beleza? Então você pensa assim, cara, e o detalhe é o seguinte, o modelo é aberto, qualquer pessoa pode pegar e usar, então eu não preciso fazer todo o

13:34 processo de retreino porque alguém já fez e entregou, tá? Então quando você pega, eu eu não defendo, eu não defendo nenhum dos dois lados, tá? nem os modelos dos Estados Unidos, nem os modelos chineses. Mas quando você pega os modelos chineses abertos, chegando perto dos modelos fechados dos Estados Unidos, é um avanço, pô. Você tem que você tem que dizer assim, não tem que é legal isso aí, né? Porque agora é um modelo super potente, muito próximo de modelo como, sei lá,

14:05 Fable ou Astra e que é de peso aberto. Eu não preciso gastar. os milhões que foram gastos para treinar esse modelo, basta eu ter um maquinário para usar, porque o custo de uso é uma coisa, custo de de treinamento é outra completamente fora a tecnologia, o conhecimento técnico, o levantamento dos dados, entendeu? Que é muito mais complexo do que isso aí. Então tem todo esse processo aqui, tá? OK. Então é isso aí, ó. Faculdade igual a

14:35 pré-treino, a residência é igual a fine e a clínica é o uso do modelo em si. Beleza? Temos dúvida? Agora o pessoal tá com vergonha de levant levantar a mão. É que agora tá sendo gravado. >> Pode falar, João. >> Ô Sandeco, eh, a minha dúvida é o seguinte, eh, a comparação com com skill, tem alguma coisa a ver?

15:09 >> Com o quê? >> Com as skills. >> Não, não, não tem relação com skill aqui, não. Tá, >> não, não, nenhuma. Beleza. Eh, skill é outra coisa, tá? Tem a ver com o uso, né? A skill tá mais no uso aqui, tá? >> Ah, tá beleza. >> Valeu, >> Felipe. >> Fala, professor. Tudo bem? >> Beleza. >> O fineing, na verdade, então o termo que você tá me falando não é só abrir o e e ajustar os parâmetros do do LLME, a gente imputar mais dados, ou seja, mais

15:40 tokens novos dentro do contexto que a gente precisa. Principalmente, principalmente, sabe? Esse é o mais importante. Na verdade, >> vocês vão ver já existem dois momentos que quebram o Fitan, né? >> Que se a gente não der a devida importância, a gente pode não ter uma boa, um bom resultado. Primeiro é a quantidade >> e a qualidade dos dados. Beleza? >> Por mais que você >> como >> o o eu ia perguntar se o, por exemplo, você escolheu um modelo lá de 4 bilhões de parâmetros, não é? Não, você não

16:11 aumenta os a quantidade de parâmetros, você só aumenta a quantidade de conhecimento. É isso. >> Só isso. É você porque na verdade você reajusta os parâmetros, beleza? Você reajusta ali os parâmetros, né? >> Em alguns casos você reajusta os parâmetros. Em outros casos, como eu falei para você, não reajusta, coloca uma lentezinha na frente com adaptador. >> E e no final você pode existe fing que retira contexto do modelo e adiciona novos ou só sempre a penda, sempre adiciona novos.

16:41 >> É, você pode, na verdade, que que não é que você retira, mas você pode talvez treinar a saída. Isso é uma boa pergunta. Por exemplo, você pegar o modelo, até até tava conversando com com o Cloud aqui sobre, cara, eu tava pensando em fazer uma um Hello World do Fine Tunning. Eh, eu pensei em fazer uma coisa tipo pegar o Bert e treinar com modelo de BBM, que é aqueles dos vídeos, né? Só que eu tô em dúvida qual seria a saída. E aí a gente

17:13 discutindo ali e tal, chegamos na conclusão que a saída seria o quê? Porque que eu aquele aquele abrazo de dados de filmes, né, é só o quê? É se é bom, ruim, é positivo, negativo ou neutro, a avaliação, entendeu? Então, ao invés dele escrever um texto enorme, você só escreveria positivo, negativo ou neutro. OK? Poderia ser bem besta, né? Porque eu posso conseguir só com prompt, mas é válido pelo conhecimento técnico de treinar, entendeu? De forma que você possa regular o que ele vai dizer, mas o

17:44 conhecimento não. Beleza? Não, beleza. Eh, eu tenho mais dúvidas sobre >> porque você pode, por exemplo, fazer com que ele fala igual você fala, >> então ele vai pegar o conhecimento dele e quando ele for escrever para fora, ele vai usar o seu estilo para escrever. Essa que é a ideia. >> É, é, essa é uma dúvida, uma bem bem importante que você falou do jeito que a gente fala, né? Porque a gente fala em português, mas os modelos geralmente eles são treinados com parâmetros eh inglês, né, por exemplo. >> Não, eles são treinados os modelos

18:16 atuais. Bom, >> o GPT2 foi treinado só em inglês, beleza? >> Aham. GPT2, o GPT3 já era, porque veja bem, o Transformer, ele é um modelo de tradução, ele foi construído inicialmente para traduzir textos e ele saiu muito bem nesse processo, tá? Só que quando ele foi treinado, os os pesquisadores injetaram eh texto nele,

18:47 certo? e pedir para ele traduzir. Só que a ele começou a traduzir, mas começou a dizer também coisas, entendeu? Você perguntava para ele e respondia. Então, descobriu-se o quê? Não, cara, o modelo não é só bom para traduzir, ele também é bom para responder se você perguntar coisas para ele. Entendeu como é que é? Então, ele é ele é construído o Transformer, que é a base de todos os LLMs, né? a rede Transformer. O meu canal tem um vídeo, uma uma playlist de vídeos, né, sobre Transformer. E sábado eu vou dar uma aula completa sobre transformer na na pós-graduação. É uma

19:18 aula sábado o sábado inteiro só sobre isso, só que a gente vai ver a matemática, como acontece por dentro e tudo mais. Eh, ele foi feito para tradução. Então, inicialmente, então você assim, se ele for exposto a textos, né, em português, inglês e tal, ele vai saber o que que é uma coisa e o que que é outra. >> Não, legal. Eu eu perguntei isso porque eu tava lendo que quando você faz o eh treinamento do modelo só em português, né? O Brasil, não sei se você viu o Brasil lá, ó, eh tá investindo agora na IA, quer ter a soberania. Eu tava lendo

19:50 sobre isso, que é tem uma diferença quando faz o a tokenização de palavras em português, só que com modelo já padrão lá pela, por exemplo, quen, que já tá acostumado com o inglês e quando você retreina ele eh totalmente em português, por exemplo, ele deu um exemplo lá que ele pega uma palavra, ele quebra em três tokens. Se você treinar em português, ele acaba eh treinando e gravando um token só. Eu queria saber se tem essa diferença, entendeu? também no fin se a diferença da linguagem,

20:20 entendeu? Pode influenciar na resposta. >> É, mas hoje as as LLMs elas elas não tão tão tão fechadas nisso aí, entendeu? Só que você se você expor mais a uma linguagem, ela vai ser mais versado naquela linguagem, né? >> É, se você parar para pensar, parar para pensar, Felipe, é a mesma coisa como um ser humano. Se você é, se você é exposto a um tipo de língua mais do que a outra, né? Eh, você é exposto mais a português é OK? Inglês, beleza? Então você é mais versado em português que em inglês, mas eh se você leu em inglês, estudou tal,

20:52 você tem a sua versatilidade em inglês e até traduzir, né? Mas existe sim essa versatilidade, certo? Dependendo da quantidade de exposição que você tem a língua. Tem gente que faz treinamento completo só com português e aí a a rede fica só sabendo português. Acontece, tá? Acontece. >> Muito bom. Obrigado, Luder. O, o Ludg perguntou aqui no chat, eh, treino versus pré-treino. Ô, ô, Lud, eu tô chamando de treino aqui o F Tun, né? Então, o pré-treino seria o treino da

21:24 Llm, certo? Seria pré-finitan. Ok. >> Ah, entendi. Ok. Grato. >> Mais a última pergunta. A última agora sim. Leonardo Barbosa. >> Ô professor, boa noite. Tá me ouvindo bem? >> Sim, tô ouvindo bem. >> Eh, primeiro lugar, parabéns aí pelo premest e parabéns por >> ajudar muito na comunidade de >> dia 6 de outubro saiu. Dia 6 de outubro

21:55 saiu top 10. >> Minha esperança é que eu fique também entre esse top 10 aí, né? Porque eu saí em primeiro lugar na votação, né? [risadas] >> Se sair, se [roncando] não sair, a gente faz uma um reclamaço. >> É só pedir. >> Pois é. >> Eh, professor, é o seguinte. Eh, eu não eu me não me lembro se foi o senhor ou se foi uma outra pessoa que disse que eh quando a gente treina, faz um fone com o modelo, >> de de forma bem lúdica, né? Seria como

22:27 se você tivesse colocando um estagiário para aprender com um sênior, né? Aí aquele estagiário ele vai vendo ou senor trabalhando. Tipo de É, OK, eu entendi. É um tipo de treinar de fin pode ser esse, tá, Leonardo? Você tá chamando isso de destilação. >> Isto >> a destilação é você pegar um outro LLM mais potente. >> Isso. Isso mesmo. >> E ensinando mais fraquinho. >> Isso mesmo. A a e a minha pergunta é ser exatamente respond fazer o faz isso também.

22:57 >> É porque tipo assim o pessoal pegou o pegou cinco e fez um treinamento em cima e soltou uma outra LM. Falou assim: “Não, agora a nossa LM é a mais poderosa e tal”. Mas porque ele já pegouá lá no piso do Fable 5, treinou algumas coisas e soltou, mas quando você perguntava o modelo quem que é você? Ele respondia: “Eu sou Fable”. [risadas] É, é isso, né? Mas a eu tava aqui treinando a minha máquina, certo? Tá

23:28 treinando, agora tá treinando aqui. E antes de eu fazer a próxima, a segunda rodada, porque vocês vão ver mais tarde o que que é rodadas, né? Ele perguntou: “Você não quer fazer destilação? Não”. Eu falei assim: “Não, não, não, destilação não, vamos deixa do jeito que tá. Só quero que você coloca mais dados aqui assim, assim. E como o livro não é um não é um, nesse caso não era um dado fechado, né, eu submeti para que a próprias as próprias LLMs pudessem criar dado sintético do livro. Então eles leram o livro e escreveram mais coisas para aumentar a quantidade de dados, entendeu? Ficar só porque eu tinha eu tinha o quê?

23:59 O livro aí ficou ficou ruim, foi reprovado. Aí coloquei transcrição, aí melhorou. Certo? Aí agora eu tô colocando o livro, transcrição e mais uma cacetada de texto que os próprios LLMs que foi o como é que é, gente, aquela LM lá da do Clou eh, Haiku. >> É o Riku. [limpando a garganta] >> Éiku a Sonit e a Sonit. Eu pedi para

24:30 Haiku e a aluno escrever, entendeu? Porque são os mais baratinhos. Então eles escreveram um bocado de texto baseado no meu texto, entende? Para aumentar a quantidade de dados, né? Que a quantidade de dados tem muito tem muita relação com a qualidade da saída, certo? Então é isso. Regis é o último, tá? Régis agora é o último mesmo, senão continua. >> Agora ô professor, agora me gerou uma dúvida. Então qual é a diferença de de destilação para finan?

25:01 >> É um tipo de finan. Ah, tá. Ele é um fentante também, mas é um tipo dele. >> É um tipo D, exatamente. >> Não tem diferença nenhuma, >> não é um tipo D, né? Ao invés deu, ao invés de eu ficar ao invés de eu ficar colocando só os dados, eu posso ir perguntando direto ao modelo coisas, entendeu? E o modelo respondendo para mim e eu vou e aí o pequenininho vai aprendendo com grande, >> tá? É que tão dizendo que a China fez com com a antropic aí, né? É, é, provavelmente sim, com certeza,

25:33 né? É, com certeza. Se fosse inversiam fazer também. Então assim, americano tá falando de quê? Sabe mais sacana que esses caras não existe, né? Então, tipo, ah, agora vão dizer que são os éticos, os éticos, né? Queimando é a grana, né, brother, né? Entendeu? Eles sempre falam isso. A quando chega na vez dele, não, a ética, não sei o que. Ah, tá de sacanagem, né? A guerra, né? Essa é a guerra. Beleza, vamos em frente, então, ó. Esse slide não era para tá aqui não.

26:07 >> Melhor tirar esse STF daí. >> SFT. Pô, [risadas] não, esse slide era para est aqui não. Vamos lá. Uma coisa importante, como decidir, certo? Que hora que eu uso prompt, que hora que eu uso hag e que hora que eu uso F Tun. OK? Tem uma coisa que eu sempre falei para vocês, quem já é das antigas, tá? Principalmente na engenharia de software. O que que é um engenheiro de software?

26:40 Ele é semelhante, vocês têm que agora se ver assim, certo? Semelhante a um carpinteiro. Já falei isso quantas vezes aqui, né? Que dentro dessa bolsa do carpinteiro tem várias ferramentas, certo? E esse cara, ele é o cara habilidoso, conhece muito bem e sabe a hora certa de usar cada ferramenta. OK? Aí tem aquela v aquela velha frase batida, né? Para quem tem só martelo, tudo é prego. Beleza? Então isso para

27:14 quem tem só martelo, tudo é prego. Tem gente que é assim, o cara aprende uma linguagem de programação, ele quer resolver tudo com aquela linguagem. Beleza. Ah, eu eu sei essa técnica aqui, então porque eu sei essa técnica aqui? Então, tudo para mim é essa técnica aqui. Então, eu não quero aprender outras técnicas porque eu sei, só sei essa e eu quero usar essa em tudo, certo? E não é assim na engenharia de software, certo? Então, para quem tem somatelo, tudo é prego. E no caso de vocês aqui são várias técnicas onde cada uma se aplica no lugar correto.

27:47 Então tem gente que já se empolga e diz assim: “Não, isso aqui eu vou fazer um fing porque tem um nome bonito, que usa GPU, que gasta dinheiro, que usa muito dano.” Então para ele encher a boca, diz: “Não, fiz um fin, cara. Fiz um fin, mano. Fui lá, baixei o o qu 12B, né? E aí eu fiz um fanitan, mano, tá ligado? E aí, mas você vai ver, não precisava fazer o Faritan. Mas é porque o cara

28:17 queria dizer que fez a Faritan, entendeu? Então tô assim, cara, isso eu já vi assim com 36 anos na minha carreira na computação, eu já vi isso a torta direito, sabe como é que é? cara mais impróprio na momentinho. Então, precisamos saber em que momento que a gente usa promptânia, essas técnicas que são aí, né, [limpando a garganta] de de conversa de conversa direta com a LLM. Veja que eu não tô tratando nada de harness aqui agora, beleza? Tipo MCPE, tá? Nada disso, né? Nada que envolve

28:47 ali, né? Skills, né? Nada disso, tá? Então, vamos lá. comportamento só usa comportamento muda só com boas instruções do prompt. Então, por exemplo, eu falei para vocês lá, né? Ah, eu tenho uma rede neural que eu poderia passar para ela um um filme e ela dizer para mim se a avaliação é positiva, negativa ou neutra. Só que no normal ela vai escrever um texto: “Olha, é positiva

29:19 porque esse filme p pa pa pá pá começa a encher a linguiça, né? Principalmente se for o close, que gosta de falar bastante para soltar token para fora, para gastar os tokens, né? Então com prompt você resolve, certo? Você não precisa fazer um fine turn que eu acabei de dizer, né? Você não precisa fazer um fine tan para ela retornar somente se é positivo, negativo ou neutro. Beleza? você retreinar toda a LLM para ele retornar só isso. Você pode simplesmente em um promp dizer me responda somente com

29:50 positivo ou negativo ou neutro e nada mais. O promp vai fazer. Então se ele muda o comportamento só com prompt bem feito, aí você tem que partir pra engenharia de prompt. Pessoal, a engenharia de prompt não morreu, tá? Porque essas as técnicas de prompt é ainda existem aí, tá? Não teve, não tem loop, não tem grafo, não tem nenhuma que acaba com promp não. No final das contas, lá no fim da conversa, tudo é prompt, tá? Então cuidado com o pessoal que fala no YouTube, porque eles

30:21 adoram matar as coisas por aí. Já viu? Eu já falo isso há muito tempo, né? [risadas] A morte dos promptes, né? Tem uma menina no no YouTube que menina mata. A é assassina. Toda semana ela mata alguma coisa. morre, entendeu? A morte do fable, a morte não sei o que lá. Toda semana tá matando alguém. merda, esse aí gosta de matar, viu? Então, né? Então, já mataram a engenharia de promp, já

30:52 mataram, né? Já mataram as skills, já mataram os agentes. Teve gente que falou assim: >> “Eh, >> a morte dos agentes agora só uso skills”. [risadas] Pera aí, né, velho? É skills de quê? É skills de agentes. Então você não matou os agentes, né? Não tem como você matar os agentes. Então tem gente que faz isso. Se não muda somente com prompt, falta conhecimento

31:22 ou dados atualizados, aí não, a engenharia de pronto não resolve. Beleza? É aquela velha história, né? Eu não gosto de falar de política, mas aqui como tá só a gente, né? Você sabe muito bem que eu não esse tema é um tema que é ele é proibitivo nos nos grupos do canal, mas aqui vale só pelo exemplo, né? Assim que o chatpt lançou assim logo no início, foi bem na bem na posse do Lula, vocês lembram disso? E aí o pessoal perguntava quem era o presidente do Brasil, aí o chat CPT falava que era o Bolsonaro, entendeu? Aí o pessoal diz: “Tá vendo?

31:54 A inteligência artificial é burra, não serve para nada, não sei o quê e tal”. Só que o cara não entendia o quê? que ela tinha sido treinada com dados do ano passado, né, do ano de 20, do ano de 20 do 2, né, certo? Ela foi liberada em novembro de 22, digo assim. Aí o pessoal no início, lá em janeiro de 23 perguntava quem era o presidente, ele errava dizendo que ela errava dizendo que era que era ainda o Bolsonaro, né? Então, como é que resolve esse problema? Eu tenho que dar a colinha, né? Então, a

32:26 colinha o que que é? A pessoa pergunta no prompt o que que aquela coisa, eu busco numa base de conhecimento, beleza? Trago aquela colinha junto com o prompt e retorno para LLM. A LLM retorna a resposta correta, que é exatamente o quê? O RAG, né? E aí a gente já tem um treinamento sobre isso aqui. Não vou me aprofundar porque é de outra ordem. A gente fez aí são quase 15 aulas de hag, só em graf foram cinco aulas que a gente fez. aprofundando no gráfico como é que

32:57 funcionava em detalhes, né? Então assim, vale muito a pena esse livro aí, tá pessoal? Conhecer esse livro aí, vale muito a pena mesmo, muito profundo. Ele é ele é para leegos, mas a gente vem desenvolvendo até técnicas mais profundas. Ficou muito bom livro, muito bom, com códigos prontos, né? Explicando detalhes, tem animação, tem tudo lá. Beleza? Eh, só um momentinho, tá, Vand? Deixa eu concluir aqui esse slide. Bom, eu preciso de dados atualizados. Se eu preciso sempre de dados

33:28 atualizados, eu faço hag ou faço fanitani? Beleza? Por exemplo, ah, se eu perguntar agora eh para o chatt, né, quanto que foi o jogo do Vasco ontem? Isso vai vir no vai vir no Fitân ou vai vir no Rag Dudu? Para mim vai vir do Rag. >> O quê? >> Por quê?

33:59 >> É >> porque a informação já tá lá, né? Não tem refinamento nenhum do dado, né? >> Mas é porque foi de ontem, né, Dudu? Informação foi de ontem, entende? >> A resposta seria [risadas] essa. A resposta é de ontem. Não, a resposta é essa. >> Então, ela tá persistida lá já, né? >> Não, Dudu, você tá bom. atualizar ela em real time, se você quiser, né? Toda vez que você mandar o pronto, você manda um conteúdo a mais, né, professor? >> É, v veja bem, a informação é de ontem,

34:30 como é que eu vou treinar uma informação, uma LLM com a informação de ontem, entendeu? Para est disponível o chat PT hoje para eu saber que o Vasco ganhou. Se bem que mereci um treinamento, né? Sinceramente, [risadas] >> sinceramente, sinceramente, a vitória do Vasco de ontem merecia o treinamento do chatpt. Só isso aí. Pode retreinar o socimento no chatt. Ah, >> merecia demais, pô. Tá doido, né? [risadas] Beleza. Mas normalmente quando são dados

35:02 que tão ali acontecendo no calor do momento, um ragzinho vai resolver tranquilamente. Beleza? >> E na verdade qualquer dado que você tenha, beleza? Vai resolver viag, tá? Normalmente, quando você quer uma precisão maior na resposta, Rag é o mais aconselhado. Beleza? O Rag é o mais aconselhado. Agora, se você precisa mudar estilo,

35:32 formato, ensinar um domínio inteiro e isso se repete em volume, você tem informações em volume para que [limpando a garganta] uma LLM possa treinar, aprender, aí sim entra no F. Beleza? Caso contrário é dado pontual, um rag é muito mais eficiente. Beleza? Ah, eu tenho aquela informaçãozinha lá que tá lá naquela parte não sei o que lá. Traz aquela parte para cá, junta com prompt, manda para Llm, ela vai conseguir resolver,

36:04 tá? O Rag, tanto é vocês, não sei se vocês sabem, né? aqui no livro de Haag, eu eu adoro essa, talvez uma das imagens que eu mais gostei de ter feito, né, com com LLM para livro foi essa imagem do meu livro de hag, porque ele expressa bem o que que é o Hag, né? Tá vendo? Eu tenho, eu tenho esse robô aqui e tem um outro robô passando um bilhetinho como se fosse uma cola de uma prova, entendeu? O Rag é uma cola de uma prova. Alguém pergunta alguma coisa para esse robô aqui, ele não sabe a resposta

36:36 sobre aquilo. Alguém dá uma cola para ele, ele pega aquela cola junto com a pergunta e vai responder, entendeu? Olhando quem? O conhecimento dele. Não, porque ele não tem o conhecimento. Olhando quem? O a cola. Então o hag, basicamente é isso. O rag é uma cola de prova. Tem a pergunta lá. O meu conhecimento não é suficiente para responder. Que que eu faço para responder? pego a colinha, olho lá e respondo, entendeu? Só que essa cola ela acontece em tempo de

37:08 execução, né, naquele momento do da pergunta, tá? Então tem que existir todo o mecanismo de busca da pergunta ideal, né, da resposta ideal para aquela pergunta na base de dados de conhecimento. Beleza? Então é isso. Já o Fitan não, o Fitan já é o quê? já é aprender estilo, formato, domínio inteiro e eu tenho que ter volume de informação. Beleza? Por exemplo, meu livro, eu quero

37:39 perguntar coisa sobre o meu livro. O ideal seria o quê? Rag. Se eu quiser fazer fanitan, eu preciso de mais informação, porque só a informação do livro não vai ser suficiente, é pouco, entendeu? Para ele conhecer. Porque a LLM ela precisa aprender um padrão. Para ela entender um conhecimento sobre alguma coisa, ela precisa de vários textos e precisa entender aquele padrão. Beleza? É isso. Dúvida? Agora é hora de levantar a mão e perguntar. OK.

38:09 Aí o nome ficou difícil de dizer CVDM. [risadas] >> É, boa noite. Tão me escutando? >> Tô. Como é teu nome, cara? É, Cláudio, boa noite. Ô, >> Cláudio, beleza? >> Eu tenho uma pergunta que é igual do Rafa Carvalho aí. Eh, eu vamos supor que eu tenho um domínio inteiro e vários livros de uma área específica. >> E se eu fizer o F Tuning, eu espero que o que que o LLM não vai ser determinístico. Existe a possibilidade de unir fin tuning com reg pensando

38:41 >> seria maravilhoso, entendeu? >> Beleza. >> É o mais aconselhado, viu, Cláudio? Na verdade, você não pode desprezar o hag em nenhum momento, tá? Eh, o hag é muito poderoso para você desprezar só por causa do Fire Tunning. Beleza? >> Entendi. >> Então, eu usaria a combinação das coisas para você ter um pouco mais de assertividade. Eu traria informações pontuais a partir do Rag e usaria muito o estilo da escrita dos textos que tá sendo ali para responder com aquele estilo, certo? Eh, aprendido no Fun.

39:13 Então essas duas combina, essas combinações aí, as duas coisas é altamente aconselhado, tá? Na literatura, beleza? Na nos artigos científicos e tudo mais. Você pode procurar qualquer artigo científico, ele vai falar muito bem sobre essas coisas. Até mesmo na LLM. Se você perguntar para elas, perguntar, se você tivesse que escolher Faritan e Haga ou as duas coisas, ela dá as duas coisas. >> Ah, nunca tinha visto essa alguém falar isso. Ótimo. Essa é minha dúvida. Muito obrigado. >> Pode usar as duas coisas que vai ser muito mais com certeza absoluta que será

39:44 mais assertivo. Certo. >> Certo. >> Com certeza absoluta. Não tenho a menor dúvida. >> Ótimo. Obrigado. >> Por experiência própria. Tá, [limpando a garganta] Dudu, >> você demorou fazer pergunta. >> Excelente para paraa aplicação no para peças jurídicas, né? Porque o a o conteúdo é gigantesco, né? Gente, tô fazendo junto com aplicação para defesa na parte tributária >> e o a junção, >> principalmente porque os casos se repetem, certo? >> Exato. Se repetem, se repetem, se repetem.

40:15 >> Quando vocês pensarem em dados para LLM ou dados paraa rede neural, você precisa dessa repetição, pessoal. Eu só consigo extrair um padrão de um padrão de coisas quando eu tenho a repetição, entende? Então, quando eu pego lá, sei lá, vamos supor, lá no Ministério Público, tem 30 milhões de de arquivos ali, certo? Quantos problemas tem ali de, sei lá, de dá um exemplo aí, vai o o pessoal do da direito aí,

40:46 >> André. >> Hã, >> André, fala aí. Problema problema que se repete. >> André demais assim, Ministério Público para resolver problema de família, por exemplo. Ah, sei lá. Tá, Eu só faço >> divórcio. Divórcio ouv não eh eh problema de >> reconhecimento de paternidade. >> Reconhecimento de paternidade. Ótimo. Isso é um problema altamente repetido, certo? Você imagina o tanto de de o tanto de dados que devem existir dentro do Ministério Público, tá? E a gente tem

41:18 a turma três, é a turma do Ministério Público. Eu não sei se o pessoal do Ministério Público tá aqui. Tem alguém? Dá um legalzinho para eu saber. Não, não tem ninguém, mas o Ministério Público, ele tá, a turma três de pós-graduação é só o pessoal do Ministério Público, entendeu? E esse objetivo é um um deles, né, a gente poder treinar uma rede neural lá. Então você imagina esse problema de reconhecimento de paternidade dentro do Ministério Público, quantas quantos casos tem desse lá repetido igual,

41:48 certo? E que a decisão, entende? Por mais que sejam juízes diferentes e advogados diferentes e as argumentações diferentes, tal, ali cria um caldo, cara, entendeu? Para LLM assim, ali é para mim e ele vai deitar e rolar, entendeu? Agora se perguntar uma coisa específica, quem foi a pessoa que pediu, né? Ah, entrou com processo contra André Cinato, [risadas]

42:18 né, no exame paternidade e tal, o Rag resolve melhor. Beleza, porque é um uma informação pontual, deu para entender? Certo, Alan. Fala, Al. Boa, boa noite. Bção. >> Boa noite. Abençoe, filho. >> Eh, só para ver se eu entendi, no caso, eh, quando eu tenho uma aplicação com arquivos dentro, onde a minha IA busca

42:48 essas eh essas respostas nesses arquivos, é considerado o Hag, não é isso? >> É. Eh, quando eu coloco novos arquivos para ela, para ela poder ter essas novas informações, no caso, seria um fine turn. >> Não, não. Vamos lá, você parar. Você quando você tá tem o hag, você vai pegar uma série de arquivos, certo? Você vai quebrar esses arquivos em pedaços pequenininhos, que a gente chama de de

43:19 chunks. Beleza? >> Uhum. E aí esses chunks eles serão convertidos no que a gente chama de de informação vetorial, ok? E é guardado na base de dados vetorial. Toda vez que vier a informação, você converte e guarda nessa base. Qualquer informação, pode ser hoje, agora converteu, jogar na base vetorial. Tá acontecendo um jogo agora, sei lá, tá acontecendo alguma, alguma alguma notícia tá acontecendo agora. Alguém tá escrevendo essa notícia e tá jogando dentro da base de dados do da do jornal. E essa base de dados já tá sendo

43:51 pega e colocando, convertendo em vetorial e jogando na na base de dados vetorial. Se alguém chamar o LLM e buscar informação, ele for lá no Rag, ele ele vai ter informação da hora porque o Rag tá sendo atualizado na hora. Beleza? >> Sim, entendi. >> Agora o F Tun, na verdade é o seguinte, o Fine Tun é: “Eu juntei uma base de conhecimento grande, eu dou um tempo, vou tratar essa base de dados e vou fazer o conhecimento ir para dentro e pra mente do >> Entend! do robozinho. Deu para entender? >> Sim.

44:22 >> Ele aprende aquele conceito efetivamente e não só fica pegando a colinha, né? >> Sim. >> Então, o que a gente recomenda é o seguinte: conhecimento consolidado, tá? Você treina conhecimento alterável, você deixa na base de dados e hag, porque até esse conhecimento ele pode morrer, beleza? Aquele que é alterável. o outro conhecimento não, se ele é consolidado da empresa, diretriz e tudo mais, certo? Tudo ali, os casos que

44:54 aconteceram para trás dentro do Ministério Público, aquilo ali tá consolidado, jurisprudências e tudo mais tá tá tudo consolidado. Isso aí vira finitân, certo? >> Entendi. >> Porque é o conhecimento consolidado, >> tá? Que que é? E aí, o que que é o Farentan? O que que é o Farentani? >> O Farentan é a rede neural vai ler essas informações, certo? e vai aprender com elas. Efetivamente ela aprende, tá pessoal? Você não programa o F Tun, você treina o F Tun, né? Isso que a gente chama de treinamento. Uma rede neural, você não uma rede neural você não

45:24 programa ela, né? Quando alguém disser assim: “Não, nós estamos programando uma rede neural”. Você poder, ih, isso aí não entende rede neural de jeito nenhum. Uma rede neural é treinada, ela não é programada. Beleza? >> Eh, então >> efetivamente lê os dados e aprende com eles. >> Aham. Eh, então no caso um fine turn, por exemplo, que sei lá, fiz um um fine turn hoje, amanhã ele pode ser considerado um hack também [tosse][limpando a garganta] >> não, porque ele tá interno, né? A informação tá interna. >> Beleza. >> Beleza. >> Então você pode você se o conhecimento

45:56 ele é consolidado e já foi treinado no finitan e o conhecimento foi para tá na cabeça do do ele não precisa. Bom, você poderia reforçar com Rag, com certeza. F perguntou aqui agora, né, o Cláudio. Ah, eu posso treinar com o Fanitan depois passar um rag. Pode, entendeu? Pode, você reforça, não tem problema nenhum. Agora, em alguns casos, se você treinar e a sua base ficou bem, talvez você não precise ficar mandando aquela informação que já tá consolidada e treinada para o Rag,

46:27 entendeu? Ele pode sair dali. Tudo isso, pessoal. Infelizmente, ó, vou dizer uma coisa para vocês, que meus alunos de inteligência artificial na nos no curso de inteligência artificial por aí, se é da graduação, da disciplina de inteligência artificial, inteligência artificial avançada, as duas disciplinas, eles explicam cois assim, tudo isso é é teste, bicho. Você tem que testar e ver se realmente é isso. Nada na IA é garantido. Você tem que pegar os dados, ir lá fazer a coisa, experimentarção, testar e ver se realmente vai funcionar

46:57 e depois ver por que funcionou e porque que não funcionou. Aí é dessa forma, entendeu? É isso. É aí, ó. Vai me levar para casa, [risadas] Beleza. >> Deixa a próxima rodada. >> Tá virando, tá virando. >> É meu sobrinho. Posso fazer isso. >> Boa noite a todos aí. Como é que vai, Sand? Bem, >> boa noite. Beleza. >> Eh, eu tenho uma questão bem de leigo assim. Eh, que eu gostaria que você me

47:30 ajudasse. >> Obrigado. >> Eh, Fitan, pelo que eu estou entendendo, eh, você vai treinar modelos LLMs, eh, com determinadas conjunto de informações. Em escala menor, eu não vou treinar LLM nenhum. escala menor, eu posso treinar algum outro tipo de eh de aplicativo, de software, de alguma

48:01 outra coisa menor? A minha questão é dimensão, né? Por exemplo, eh, eu eu havia entendido que Fan antes dessa aula que era justifos em prompites, em skios, em agentes, isso não tem nada a ver, >> não tem nada a ver. O Fan, a gente vai mexer com a IA mesmo, >> com as LLNs, >> exatamente. A gente vai pegar um LLN, baixar ela,

48:32 >> certo? E aí a gente vai fazer técnicas para poder retreinar ela. É, é um pouco mais complexo. E aí é que o Fine ajuda porque ele baixa a complexidade para o nível do ligo, né? >> Ok. >> E se você fizer, fosse fazer na mão, aí tem que ter um nível de conhecimento um pouco mais alto, certo? >> OK. >> Técnicoático também, porque precisa, principalmente paraa questão dos dados, né? tratamento dos dados, aquela parada, prepara tudo. Então, Witfine vai ajudar

49:03 nisso, nesse ponto, porque você consegue retreinar >> uma LLM de ponta a ponta só pela intenção. Tanto é que eu tô fazendo aqui agora, né? >> Perfeito. >> É isso, Fter. >> Obrigado. >> Valeu, >> professor. Boa noite. Eu tenho uma dúvida. >> Diga lá. >> Os laboratórios eles lançam tanto modelos eh de instrução às vezes quanto modelo de base, né? >> Uhum. Eh, no caso, a gente pode fazer um uma continuação de pré-treinamento, seria tipo um fine tune ou ou só quando

49:34 eu fizesse mesmo o de instrução que seria um fine tune. >> Cara, não entendi não. Vamos lá. Repete aí, por favor. >> Essim, eu posso pegar um modelo, eu posso fazer uma continuação do pré-treinamento dele, né? >> É, do treinamento dele, né? >> Isso. Isso seria também o fine tun, por exemplo, eu posso pegar minha base de dados lá, sei lá, eu fiz 10.000 1 perguntas e respostas sobre ela, né? >> Hum. >> Eu eu faço um fine planning dele ou eu posso fazer um esse essa continuação do pré-treinamento. [limpando a garganta]

50:04 >> Vamos lá. Você pode fazer você po, >> se você quiser, você pode abrir todos os pesos e retreinar tudo, beleza? >> Certo. >> Nada te impede, tá? Só que você tem que tem que coner o seguinte, você vai gastar uma grana, tem que ter máquina para isso e tem que ter energia para isso, certo? Você pode fazer com certeza. O recomendado é o o ideal. Se você até teve uma uma há um tempo atrás eu fiz um tava fazendo uma uma uma prova, eu acho que foi uma prova, acho

50:36 que foi na USP, foi na USP. USP de São Carlos, foi uma disciplina de redes neurais aplicada. Eu não lembro o que que era, cara. Era uma coisa assim. Aí a pergunta era qual o ideal, né? Você tem todos os recursos possíveis eh de máquina e de energia. Qual o ideal? Retreinar tudo, furing,

51:06 tal, né? E justifique. Aí eu falei, bom, se eu tenho todos os recursos para pegar uma rede e retreinar tudo para um novo problema, né? Se eu tenho todos, tenho todos os recursos possíveis, o retreino vai ser melhor, porque aí eu vou ajustar a rede inteira ao meu problema, não só parte da rede, né? >> Uhum. >> Entendeu? Então ela ela vai sair melhor, com certeza vai sair melhor. Beleza? Eh,

51:37 só que normalmente a gente não tem esse recurso, né? Entendeu? Então, por isso que a gente Então, por isso que a gente aceita de certa forma, >> tem uma penalidade um pouquinho na curácia, OK? Mas eh conseguir colocar ou destravar esses pequenas essas pequenas camadas mais baixas da rede para ajustar ali só aqueles pesos ali, certo? Que são valores ali entre 0 e um,

52:07 beleza? Ou entre -1 e 1, certo? Em alguns casos. É bem probabilístico mesmo. Ou colocar o adaptador, né, que a gente vai aprender depois como fazer isso. Beleza? >> Mas você pode, você pode fazer como você quiser, entende? Eu não sei se eu te respondi, não sei se eu entendi também sua pergunta. É porque assim, por exemplo, eh, a gente faz a a o Lora lá ou que Lora para fazer o F Tun, né, >> que é o adaptador. >> Se eu quisesse fazer o a continuação do pré-treinamento, não poderia também

52:38 colocar só um pedacinho no final do modelo também? >> Pode. >> É que eu não precisaria retreinar a rede toda, né? Eu só adicionaria essa informação toda no final dele e depois eu adicionaria o eh os lora do do pré do, né? É, mas é assim, então o loro, o que lore são adaptadores, beleza? Uhum. >> Você não vai abrir exatamente a rede. Só que o fine t mesmo raiz é descongelar pesos da rede original e retreinar aqueles aquela parte.

53:10 Beleza? >> Tá. Não. >> Por que que usa lor e kelora? Para que eu e você, pobres mortais, que temos placas de vídeo com só 8 GB de memória, possa treinar, entendeu? >> Sim, sim. Porque se você for, mesmo que você abra só um pouquinho da rede, você precisa de 120 GB de memória por baixo, entende? Então assim, é é por isso que eu tô te falando, >> você pode fazer com certeza, certo? Sem precisar dos adaptadores. E você pode fazer as duas coisas também, né? Você pode retreinar a parte de baixo da rede

53:40 e você pode colocar os adaptadores, entendeu? Também na frente, >> não? Beleza, a gente vai tocar em algum momento no livro sobre isso ou >> vamos, eu vou falar sobre o tema, mas a gente não vai fazer o treinamento de uma rede neural nesse nível, né, de de retreinar. Nós vamos trabalhar com o Loro e o Kelora, certo, >> professor? >> O Lor é um pouco o lor é um pouco maior, o Kelor é já é quantizado, beleza? Vai, mas eles essencialmente são como como lentes, né? como lentes que você coloca na frente da da rede. É isso. Só

54:10 adaptador. Beleza, >> Marcão. >> Professor, acho que ele quis dizer era sobre as instruções, né? Porque quando você treina a rede também faz o F Tuning, >> tem aquela parte que você coloca as os instructions, né? Porque tem modelos, por exemplo, que sai de modelos pré e que foi feito finit >> para depois fazer o a o instruction. São instruções. Acho que é isso que ele tá querendo dizer, né? Que entre que ele entrou no que lora, no lora ali, né?

54:41 Acho sobre isso. Se for isso, né? Que ele quis dizer. >> Uhum. Fala aí, Marcão. Cortado o microfone. >> Tava pedindo bção primeiro. >> Ah, Deus abençoe, cara de boi. [risadas] >> Deixa eu te falar, eh, em assim, >> por exemplo, ah, eu pego o livro de sonetos do Vinícius de Morais e coloco lá 73 sonetos. Eh, essa parte é mais tranquila de entender que eu vou passar

55:12 um tema e ele vai conseguir depois de de treinado escrever no estilo lá do do poetinha. >> Eh, agora vamos lá, se eu quiser, no caso de dados, vamos assim, de dados exatos, vamos supor que eu queira uma aplicação que tenha os resultados do campeonato brasileiro e eu, a cada ano eu retreino com os dados do do ano que acabou de fechar. >> Uhum. Eh, esse esse tipo de de eh de treinamento vai me dar assim com

55:44 especificidade eh qual foi o placar do dos dois jogos do Flamengo contra o Vasco no no ano passado? >> Para que isso? Para que? Para que isso? Para que isso? Para que você quer saber disso? >> É para para ficar mais próximo da da >> Não, que palhaçada é essa? Você tá até com a camisa do Flamengo, né? >> Tô. >> Eu já falei para [risadas] você, não vim com essa merda paraas minhas aulas. P >> você tem uma igual cara violência. Você tem uma igual, você fica fingindo que desrespeito que o professor você tá >> Você fica fingindo que é da Didas, você tem uma igual. [risadas]

56:19 >> É, [limpando a garganta] vou vou vou banir ele. Vou banir ele. Isso é [risadas] muita provocação. [suspirando] >> É igual o Val que viu a camisa aqui do Viu com a camisa aqui do do do da Argentina na época da Copa também. Fica quieto que ele não me achou ainda. Fica quieto. [risadas] >> Mas respondendo tua pergunta, Marcão, eh, quando você tá trabalhando com Porque assim, vamos supor que você queira fazer com que ele entenda essa informação dos dados eh do dos jogos, certo? Então, como é que ele saberia

56:53 bem sobre isso? Ele vai ler a pancada de informação pela internet, beleza? Uhum. >> Nessa varrida, ele vai achar uma pancada de sites que tá falando sobre esse tema repetidamente pá pá, né? E ali ele consegue, por causa da do reforço da informação, ele consegue eh adquirir bem esse conhecimento, beleza? por causa da repetição. Agora, obviamente, se você quiser fazer você o

57:23 seu sistema, essa informação especificamente com RG seria melhor, entende? >> Uhum. >> Você depois é bom até você testar esse tipo de coisas. Você pode até fazer um um treinamento pequenininho, uma rede menorzinha. Isso também depende da qualidade do seu dado, da tamanho da rede neural e tudo mais, mas você vai perceber que o RAG vai sair melhor. >> Uhum. >> Entendeu? Mas isso não quer dizer que ele não possa aprender, né? E aí também depende de muita coisa, porque você tem que depender também aí da arquitetura da rede, né? Como é que ela trabalha em

57:54 relação à informação. Tem umas que são mais, tem umas que são mais fáceis, né? Você já viu que tem rede neurólic sai melhor em coisas matemáticas, coisas de ciência. Isso tudo tem a ver como é que o Transformer trabalhando lá dentro, certo? Na estrutura do Transformer. Aí quem quiser saber um pouco mais sobre Transformer, tá? Eu não vou falar aqui porque não >> não é o lugar. tem uma playlist do meu canal só Transformer, certo? Então lá você pode ver toda a estrutura dos tokens, como é que ele monta aquela parada todinha lá. Então o que acontece

58:25 é exatamente isso. Se você tem um reforço da informação e a rede ela é mais apropriada para isso, é igual você, por exemplo, pegar uma rede e ela ser mais reforçada para desenvolver código, certo? Então você percebe que ela vai ter uma grande uma vai os caras vão construir uma arquitetura que que privilegia esse tipo de informação. Como é que é? Então é é bem por aí. sabe? E aí você vai ver que o benchmark ali em código vai ser um pouco mais alto, mas aí em outro lugar vai ser um pouco mais baixo, né? Que acontece isso. Então, eh, respondendo de forma prática a sua

58:57 pergunta, eu colocaria no sistema um hag para responder de forma pontual, garantido, e o estilo, como você mesmo falou, mais no fine ting, entende? Sandr, só paraionar aqui, eh eh você também trazendo eh eh uma engenharia de prompt, né, mais específica assim pro caso, por exemplo, no caso da da engenharia, você pedir para ele ser um engenheiro, né, ele vai trazer um especialista em engenharia. Isso aí

59:27 ajuda muito também, né, na hora da resposta. >> É, isso aí é normal, né, aí na na na engenharia de promptes normal. Beleza. Eh, que tá aí. Agora você me disse uma coisa, eu não testei no meu teste aqui porque eu não disse assim: “Olha, você é um especialista no livro tal, porque eu peguei a rede, né, e eu na hora do promp aqui eu não fiz isso para testar, tá?” É uma coisa que eu devia ter feito, foi para ver qual era o resultado, né? Porque o fine tão não despreza o prompt, né? Digamos assim, a gente não pode desprezar inerit prompt porque agora fez

59:59 um finan, certo? Ah, eu fiz o Fan. Agora posso perguntar de qualquer de qualquer jeito, sem uma preparação antes, né? Então, as técnicas de engenheiro de promptem. Eu vou mesmo jeito. >> A LM eh, com open code, LM local mesmo, com paraa faculdade, né? Para questões. >> Mas qual LLM? >> Eu tô usando o Quen, né? O o 7 Quen 3.8, se eu não me engano. >> Quen 7. Abre sua câmera aí, bicho.

1:00:30 >> Eixe, eu tô na cara de acabar cara do meu pai. >> Abre aí essa aí. Tô com sa ver. É sério. Tô com s de L ver. Certo mesmo. >> Aí aí, >> ô bicho lindo da Rá. [risadas] >> É o filhinho de papai. É >> filho de papai, né? >> Ah, garoto. >> Tá na cama ali. >> É. Ah, rapaz. Tá tudo bem, né? >> Tá nada. Ah, [risadas] mas estamos aí. >> Tá bo. >> Mas aí, Sab, o que que acontece, né? eh utilizando a a questão de rodadas, né,

1:01:01 da da LLM e o auxílio de especialistas, eu vejo que ele tem um um uma resposta bem exata quando ele utiliza o especialista naquela matéria mesmo, sabe? Então isso aí, >> rapaz, você chamou aí, Daniel, você agora fez um levantamento que eu curti, cara. Sério, algo que eu que eu tinha embaçado batido aqui. A gente não pode realmente esquecer de que, por mais que a gente treine uma LLM com os nossos dados,

1:01:32 um bom promp também ainda vale muito, né? Então eu fiz umas perguntas aqui na meu treinamento que talvez se eu tivesse usado um promp ideal, um promp mais interessante, mais elaborado, com a definição dos especialistas, né, e tal, talvez o resultado teria sido outro. >> E é bom quando você coloca no debate que aí ele vê a resposta de cada um e aí você vê quem que acerta, quem não acerta, sabe? O legal é isso. Isso, é >> é fora também que eu tinha criado um chat aqui para conversar com ele e eu não criei memória, criei nada. O

1:02:03 contexto se perdeu na hora, né? Entendeu? Então é isso, Anderson. Tá cortado seu microfone, cara. >> Opa, boa noite. Prazer conhecer vocês aí. Minha primeira mentoria aqui, né? >> Ô, cara, prazer, hein? Tá falando de onde? >> São Paulo capital. >> Ah, legal. >> Zona norte aqui de quem é São Paulo conhece, né? >> Zona norte ali perto do Aembi. Aquela parada toda ou não? >> Preguesia do Ó. É um bairro bem antigo, tradicional aqui, né? >> Sim, sim. Conheço demais. >> Pico de Aaraguá aqui do lado também. >> Sim. Eh, a minha minha dúvida quando eu

1:02:37 adquiri o livro, né, e a intenção de aprender o Faruning, eh, colocar isso num processo que eu estou montando hoje. Eu sou gestor de tráfego pago. >> Uhum. >> Faço os anúncios online e tal, criei um sistema de radar que ele rastreia e traqueia os leads e depois manda pra meta, né, via PI. Qual que era a minha ideia? é treinar inteligência artificial ou um chat ali que ele lê as conversas. Hoje eu capto todas as conversas do lead

1:03:07 e o vendedor ou cliente >> e treinar alguma inteligência para ela dar essa esse atendimento fora do horário comercial. >> Uhum. >> Então a minha ideia é consigo fazer isso com Farentan? >> É, não consegue. Você consegue fazer com Farentan e também combinado com o Hag, como a gente tá falando aqui, né? Tô discutindo isso aqui. >> Se é o Rag, eu não cheguei a pegar o livro, né? Mas é bem tranquilo, é bem tranquilo. Você vai ver que não é nada do outro mundo, não. Certo. Eu acho tan até um pouco mais pesado, mas se a gente fosse fazer t sem fine, esquece assim,

1:03:40 esse eu acho que o pessoal ia sentir bastante. Mas agora como a gente tem um framework auxiliando, né, então é tranquilo. Então o é é tranquilo de você ver, cara. Você vai ver tem uns códigozinhos em Python, mas é bem bem bem tranquilo mesmo. Eu poderia até criar alguma coisa, né, cara? poder criar até >> criar umas skills ou um frame de raga, alguma coisa assim para simplificar o processo, né? Pra galera também daria certo. Acho seria massa. >> Oi? >> Deixa ele terminar aí.

1:04:11 >> Oi. Até porque, qual que é a minha ideia? A minha massa de de informação vai ser as conversas no WhatsApp. É uma demanda grande e é de entre vendedor e cliente. Então, acredito que vai ter um padrão ali, né, para ser seguido. >> Com certeza. É, ele vai aprender informação, ele vai aprender com certeza e também o o padrão de como se responder. Beleza? >> É, >> só que você vai é é só que aí você quando for treinar, você vai ver que até o meu meu meu meu o meu minha rede que tá treinando aqui agora, tem esse padrão

1:04:42 de pergunta e resposta, né? Então você tem que separar quem é quem, OK? Para ele saber pergunta e resposta e [limpando a garganta] ele aprender essas perguntas e essas respostas, entendeu? E a partir disso aí ele ele começa a responder apropriadamente. Se você tiver um bom volume de de dados, legal para caramba, dados pontuais, um hag entrando ali, vai de boa, você vai ver que o hag é tranquilo de fazer. Você conversar com uma LLM ou com um harness como cloud code, alguma coisa assim, eu

1:05:13 posso até pensar em fazer alguma coisa tipo algum algum framework, alguma coisa assim que facilite, tipo it’s fine para Haag, eu não sei. Tô pensando, >> tá? Mas rapidinho você consegue construir isso aí, >> tá? Só a última dúvida. Eh, o que que seria uma um volume aceitável para você? Assim, questão de conversa. Vamos se dier >> essa pergunta essa pergunta é sempre que me fazem em todas as aulas de inteligência artificial, eh, cara, entanto, na graduação, no mestrado, doutorado, a resposta vai será, vai ser sempre o máximo que você

1:05:45 quiser, puder. >> Sim, >> sempre o máximo que você puder, certo? Eh, em alguns casos você pode até fazer o que a gente chama de aumento de dados. Aumento de dados é algum algum tipo de técnica de de criação de dados sintético. Ele realmente não existe, mas que para LLM funciona como se fosse um dado real. Então você pode pedir para um LLM simular algumas conversas e respostas de acordo com aquele padrão, entendeu? E aquilo vai entrar como mais volume de informação pro treinamento,

1:06:15 certo? Mas a é porque na verdade eh existe um vídeo meu no canal eh o que de fato é machine learning. Alguém pergunta, procura para mim, por favor, no canal Sandeco, o que de fato é machine learning, certo? Então eu digo lá o seguinte, lá tem um chamado em machine learning que é a mãe do bom, eu tenho inteligência artificial, machine learning é uma subárea da inteligência artificial e deep learning é uma subárea de machine

1:06:47 learning. Beleza? Então tá uma coisa contida na outra, como se fosse aquelas bonequinhas russas, né? Então ilm é dentro de dentro de deep learning, certo? Ok, >> professor, só para informar, levamos um pouco mais de 15 minutos e temos dois pessoas também com dúvidas. >> OK, obrigado. Eh, só para concluir agora. Sim, >> o link tá aí. >> OK, obrigado. Deixa eu agora, agora me perdi. Agora me perdi o que eu tá

1:07:18 falando. Teorema de mitel. Teorema de MIT fala o seguinte: aprendizado de máquina é uma é uma conhecimento >> entidade, né, inteligente que aprende com mais e mais experiência. Beleza? O teorema é muito mais complexo do que eu disse agora, mas aqui eu tô traduzindo de forma baixa, certo? Mas o que que é mais experiência? Quanto mais conversa você tiver, é melhor. Quanto mais texto você tiver sobre aquilo, melhor. Mais e mais experiência,

1:07:49 entende? Então, por isso que uma LLM, para ser o que ela é, ela tem que ler a internet inteira ou ler a quantidade exorbitante de informação. Quanto mais ela consumir de dados, melhor. Certo? Então, lembre-se, se eu quero treinar minha LLM para poder que elas tenham um bom desempenho, a quantidade a quantidade d a quantidade de dados que você tem nunca é suficiente, tá? Você sempre vai precisar de mais, mais, mais. Você tem que tá, sabe? O quanto mais você tiver melhor.

1:08:20 OK. >> Felipe. >> Ô, professor, eu de novo, eh, eu olhando esse seu gráfico explicativo, eu tive uma dúvida, tá? Eu entendo que o hag ele é para aqueles dados pontuais, dados mais atualizados, mas quando eu sei que eu tenho que eh retreinar e fazer um fine tuning novamente, pensando no ciclo de vida do meu modelo, tá? que uma hora eu vou ter que fazer o fning dele para por vai chegar uma hora que meu hag vai tá cheios de documento. E a minha preocupação e a minha dúvida é será que isso não vai apetar performance a afetar

1:08:53 porque o teu o teu h não vai ter problema de tamanho de porque a busca é vetorial dentro do banco de dados vetorial, né? Então isso tá claro, se você ficar coisa gigante demais, mas normalmente os fines são feitos, são programados baseado numa, infelizmente isso é verdade, baseado numa numa questão financeira, tá? Tá, mas daí para medir esse esse ciclo de vida, por exemplo, ah, eu sei que de três em três meses eu preciso, sei lá, baseado no meu histórico aqui, fazer um

1:09:26 par >> com tudo que eu acumulei de conhecimento. >> É, depende da depende da quantidade de informação consolidada você vai construindo aí ao longo desse tempo. Se você perceber que não foi muita coisa, não faz sentido você fazer um fin, beleza? Fazer fing só para fazer, sabe como é que é? Gasta dinheiro e gasta tempo, >> tá? >> É, acho que mais vai mais pro pessoal da medicina, do parte jurídica, que deve ter muita atualização, sabe? O texto acaba sendo mais longo. Pensando nesse conte >> coisa que tem muita atualização não vai paraa Fanitan, ele fica no Rack

1:09:57 quietinho lá, tá? Se você vê que tem uma coisa que atualiza muito ao mesmo tempo muito muito muito sei lá, tem uma lei lá, lei lei contábil, é uma desgraça, né? É, tá atualizando. Não compensa você mandar pro Fan porque se ela cair, morreu, vai ficar uma coisa treinada no conhecimento lá que caiu, desconhecimento, entendeu? Deixa no R que você tem como arrancar rápido, né? >> Mesmo mesmo se depois de um tempo essa lei ela ficou estável, eu tenho que jogar ela pro conhecimento para para sei

1:10:27 lá sobreescrever alguma coisa, eu deixo ela lá mesmo. É >> uma coisa que tem uma volatilidade muito grande e sempre vai ficar lá. >> É, é claro, né, Felipe? Não assim, não é uma coisa muito exagerada. O Saneco disse que a lei contábel todas elas vão ficar aqui, entende? >> Não é bem assim, mas a gente sabe que é uma coisa que muda muito ali. Normalmente eu deixo no hag, >> porque se eu consolidar aquilo lá, eu vou ficar tendo que mudar o tempo todo no fin, né? >> Isso não dá muito certo, né? >> É, eu pensei, eu pensei mais no ciclo de evolução do seu modelo, sabe? >> Entendi. Deixa eu passar paraa frente que senão fica só lá.

1:10:59 >> Vai, Leonardo. Vamos tentar ser mais rápido nas respostas, pessoal, nas perguntas para poder Tá fechado aí. >> Fechou. Então, professor, eh, não sei se o senhu, eh tem o pessoal começou a testar muito Fable 5 com, eh, aplicações em CAD, AutoCAD, em transformação de >> Sim. É, eu testei aqui com cara é do velho. >> Então, >> os dois, né? O Fable, o Fabster usando aqui com Blender, mas isso isso. Eu eu tô desenvolvendo >> com o MVC dele pegar essas plantas lá.

1:11:32 Eh, o problema é que a a nossa engenharia aqui ela faz muitos muitos processos personalizados, né? >> Hum. Então, eh, na própria resposta que o senhor falou e me deu uma uma luz, porque e ele vai ter que puxar dentro do rag, em cima do hag, ele vai ter que fazer o fine tun para cada segmento personalizado, para ele ficar com a curarça melhor, para ele poder eh usar esse MCP ou do Blender ou do AutoCAD e e ele refinar

1:12:04 ainda mais esses esses desenhos. Tô, tô, tô certo, coerente aí. >> Esse caminho é legal. Esse caminho por aí é legal. Beleza. Fala, Léo. >> Ô, professor, boa noite. Queria perguntar se o senhor tem algum direcionador para dados sintéticos, né? O senhor falou sobre aumento de dados aí e o >> a gente vai ver isso especificamente, tá? Mais para frente. Beleza? >> Show. Beleza. >> Na hora que a gente for trabalhar com dados, aí a gente vai trabalhar com essas coisas também, ver algumas coisas assim. Para terminar, Emerson.

1:12:38 Boa noite, professor. >> Boa noite. >> Eh, só para ver se eu compreend corretamente, eu vou usar o Fitan sempre que eu quiser carregar na LLM meio que uma estrutura que vai ser um padrão, um formato e um padrão >> que ele vai utilizar para correlacionar ou identificar alguma situação ou algum contexto mais específico para que eu possa fazer algo mais vertical. E o Hag é onde eu vou pegar aqueles dados que vão estar sempre mudando, que vão estar sempre chegando alguma informação. Bate

1:13:09 dano dia a dia, tá no Isso >> é isso mesmo. [limpando a garganta] >> Isso mesmo. A ideia é essa aí. >> Coisas que mudam, coisas, resposta na hora, algo é mais pontual, uma resposta mais precisa, Ha? >> Mas aí quando eu tenho uma especialização modelo mais geral, eu tenho estilo, formato, ensino domínio inteiro, aquela coisa toda. F. Beleza. >> Beleza. >> Isso. Muito bom, pessoal. Muito bom. Então, quando não fazer, quando não

1:13:39 fazer finan, isso é importante, tá, pessoal? Tudo que a gente faz, a gente tem que ter uma noção até aonde o domínio deve deve deve deve ir. Então, se eu tenho dados, mas esses dados são sem qualidades, não adianta você socar, não só sem qualidade, mas em pouco em dados com pouca informação ou poucos dados, né? Como é que você vai extrair um padrão de uma coisa se você tem pouca informação sobre aquilo, entende? Não vai dar certo. Então é mais interessante você deixar num rag. Então,

1:14:10 certo? Porque ele vai copiar, coloquei aqui, né? O modelo copia os exemplos que mostram inclusive os erros das respostas ruins, tá? O conhecimento muda todo dia, é o que eu acabei de falar aqui, né? Então não adianta, é caso de hag, claro, caso de hag, preço, agenda, estoque de loja, essas coisas tem que ficar tudo no hag, entendeu? E outras coisas, quando eu falei lá, né, se um prompt já resolve, não precisa

1:14:41 fazer fin. Só pode dizer, eu fiz um fin time meu, de um modelo, você tá entendendo? [risadas] [limpando a garganta] Só para dizer que fez. Entendeu? Ah, beleza. Você tem um dinheiro para gastar, né? Tá querendo tirar onda, então faz. Mas tem que ter essa uma das coisas, uma das maiores contribuições que o Google fez à computação. Sabe qual foi? >> A simplicidade da página. A

1:15:13 simplicidade, [roncando] impressionante a simplicidade da página do Google, como impactou a computação na época. Eu me lembro muito bem, porque a a o buscador principal era o Yarro. Vocês lembram do Yarro? E o Iarro era você encontrava tudo no Iarro, menos a caixinha de busca, entendeu? E demorava para responder, né? E o Yarro e o KD. E aí quando chega o Google com aquela

1:15:44 com aquela página sem nada, só aquela caixinha de texto Google, e quando você pesquisava o miserável assim: “Olha, buscamos em tantos milissegundos, né, e que você não precisava cadastrar sua seu site que já tava lá”. Então, cara, isso foi uma coisa foi chocante, né, a época. Então, foi é demais, sabe? Então, a simplicidade é algo que é muito, quando você consegue responder uma coisa de forma muito simples, procure fazer por

1:16:15 ela, é a que tá certa. Isso tem um nome na filosofia, eu não sei se vocês conhecem esse termo, mas já eu já falei ele antes. E a gente usa esse esse termo na filosofia, eu falo sobre ele nas aulas de inteligência artificial e também nas aulas de inteligência artificial avançado. Chama-se Navalha de Ocan. Fala. Bom, >> já falei sobre ela aqui. Navalha de Ocan, certo? A navalha de Ocan diz o seguinte: “Para uma questão existem duas

1:16:46 respostas. Qual é que tá certa? A mais simples”. Normalmente a resposta mais simples é a que está correta. Que que isso tem a ver com a inteligência artificial? Tudo, né? Que quando você vai fazer, por exemplo, eu vou criar uma rede neural. O cara pergunta: “Professor, eu faço uma rede neural com tantas camadas? Com 10 camadas, 15 camadas, 20 camadas ou eu faço com três camadas?” Aí eu falo navalha de Ocan. A resposta mais simples é que vale. Que que seria a

1:17:17 nav de OCAN nesse caso aí? A menor possível. A menor que você conseguir com melhor resposta, essa é a melhor rede, certo? Deu para entender? Então, a simplicidade é algo muito importante buscado na na inteligência artificial. Fitan, ele aprende e o que ele não garante, o que que ele aprende bem? Estilo e tom, o jeito de falar da clínica, por exemplo, formato da resposta curta, direta, com o próximo passo, certo? O formato da resposta ele aprende muito bem. Você treinar um fine

1:17:49 tun uma LLM com um tipo de resposta, vou pular, você pegou LLM, então é uma tendência de escrever muito e você retreina para responder pouco, ele vai responder pouco, entendeu? vocabulário do domínio, certo? Eh, eh, aprende muito bem o jeito de raciocinar e a concisão, né? Responde o que foi perguntado e para, que não garante

1:18:20 decorar o acervo inteiro, certo? Então, o modelo não vira um arquivo do PDF, beleza? Não adianta, ele não vai fazer isso, tá? datas e números exatos nem a pau. Isso é trabalho do Hag, fatos que mudam trabalho do Hag que já estava nos exemplos, entendeu? Então uma situação nova, uma uma resposta imprevisível, essas coisas não faz parte do Fintun. Então vocês que são os engenheiros aí de

1:18:51 inteligência artificial, né? Eh, vocês precisam entender isso, beleza? Não adianta tentar fazer uma coisa que não vai dar certo. Já vão sabendo qual é exatamente o trabalho que você quer fazer, onde é que você quer chegar, né? Você vai ver depois que no itsine é legal porque ele é um treinamento. Eu eu construí o framework para que ele fosse todo intencional, certo? Eu eu estou acreditando muito nisso, né? Por exemplo, o Omart mesmo que a gente tava discutindo hoje num grupo lá feito pelo

1:19:21 pelo Jage, que é um sistema operacional todo intencional. E o meu mesmo quando eu ligo o ele já abre o cloud code automático. É como se ele fosse a interface do Omar, entendeu? Eu já abro arrumar. Então tem um um atalho lá que eu não gostei. Eu vou lá no cloud COD manerar, troca isso aqui, coloca aquilo lá, troca esse, já mando fazer tudo. Por quê? Porque no sistema operacional do Linux lá, como ele é um sistema aberto,

1:19:52 tudo é alterável pela inteligência artificial. A inteligência tem acesso a tudo, não é como no Windows tá fechado, entendeu? Então eu posso simplesmente fazer o que eu quiser dentro do meu Linux, né? Ele fica com a minha cara exatamente do jeito que eu quero. Então o meu sistema operacional, eu já não quero mais usar mais, eu já não tô usando mais botão, mouse, aquelas é tudo já direto para fazer as coisas já direto no no harness, entendeu? Virou um harness so e eu acredito muito que o

1:20:23 futuro dos sistemas operacionais vai ser esse, né? Por quê? Porque você abre um sistema operacional e ele diz assim: “O que o que ele mostra para você? O que você pode fazer, né? Até o Walmart mesmo quando você abre é bem assim, pô. E agora eu faço o quê, né? Então você personal assim, né? Você liga ele, vamos supor, quem nunca mexeu com o Linux levanta a mão. Não tem problema nenhum assim. Ou ou o Mac, por exemplo, o Windows todo mundo já mexeu, mas o Mac, alguma coisa diferente assim, né? Eu, por exemplo, não sou um cara versado

1:20:53 em Mac, eu não sei nem mexer com o Mac. Se eu abrir o Mac na minha frente, eu fico assim, bicho, eu faço o que com essa Não tem costume, né? Não é isso que a gente Por quê? Porque o sistema operacional ele espera que você ele ele te dá opções do que você pode fazer, entendeu? Já um sistema operacional baseado em intenção, ele diz assim: “Olha, o que que você quer fazer?” Então, se você abre o, eu abro o meu omat e ele já abre o cloud code, ele vai, ele pergunta para mim: “O que que você quer fazer?” Eu digo: “Ó, cara, eu

1:21:24 quero instalar impressor aqui.” Beleza, faz tal coisa, tal coisa, tal coisa, tá pronto? Ah, abre tal coisa para mim, faz assim, assim, entendeu? Então, é, é diferente o uso, entende? É diferente o uso, é completamente diferente, certo? Ao invés de você ficar, ah, onde é que eu faço tal coisa, hein? Em que em que botão ou em que comando que eu não existe isso no sistema operacional, certo? Você simplesmente abre e conversa com o sistema operacional e ele começa a agir, entende? Então, é muito legal essa ideia, tá?

1:21:56 Então, o WF fine, vou falar um pouquinho agora sobre sobre a biblioteca, tá? Eh, ele é um fine tun orientado por intenção, certo? Então, eu até falei num vídeo sobre essa história do bibliotecário, né, que uma biblioteca nada mais é do que um centro de conhecimento muito grande sobre tudo que a gente tem aqui, tá certo? Então tem muita informação sobre tudo, mas se você quiser você trazer a sua informação e inserir essa informação nessa biblioteca

1:22:27 sozinho, você vai ter problema, certo? Por quê? Porque essa biblioteca para inserir uma informação nela existem regras, beleza? Não é de qualquer jeito, tá? Então você tentar colocar a informaçãozinha lá, vai ficar lá, mas ninguém acha nada, entendeu? Pode ver que ela vai estar deslocada das outras dos outros livros, né? Que os outros livros têm, né? Esses esses esses esses esses adesivozinhos aqui, tá? Organizado em sessões certinhas e tudo mais, né? Então, o que que é o Itfine? Itfine é

1:22:59 como se fosse um bibliotecário, certo? Porque o bibliotecário quando ele vai fazer alguma coisa com um livro, ele tem um processo, né? Tem tombamento, tem classificação, tem metadados, tem catalogação, tem indexação, tem controle da autoridade, tem tudo isso para depois você colocar o livro lá, entende? Para que ele seja encontrável de forma fácil e tudo mais. Então, a analogia ela é ela é perfeita nesse caso aqui, porque o o framework ele se encaixa exatamente aí,

1:23:30 tá? Porque se ele não se você não usasse o framework, né, você teria que fazer você mesmo todo esse processo, entende? e ter que e ter que escrever código para isso, né, para gerar o treinamento. Então, tudo isso fine faz para você no processo e aí o a informação ela é inserida na biblioteca, beleza? De forma apropriada. Então essa que é a ideia, de forma que você fala com esse bibliotecário e ele sabe como conversar com a biblioteca, que no caso é é LLM,

1:24:02 né? Beleza? Então esse aí é o que a gente chama de it’s fine, tá? Que é o fine turun, o processo todo fine, vamos passar paraa frente. Então existem um caminho de 11, um jornado de 11 paradas, né? você tem você. Aí você começa com a intenção lá com o fine start, define lá qual é o ambiente que você vai trabalhar. Então você pode rodar local, você pode rodar isso num colébio da vida, não sei se vocês sabem,

1:24:33 mas todos vocês têm. Se você tem uma conta Google, você tem acesso a um servidor do Google, onde ele libera horas de GPUs para você lá gratuitamente. Beleza? Se você precisar de mais tempo, você pode comprar e é barato, não fica caro, sabe? Eu já usei de comprar precisando treinar algumas coisas e usar lá, né? Na Universidade Federal a gente tem nossos servidores lá com GPUs potentes, né? Tipo, melhores do que alguns que se se equiparam a que a gente tenha a gente tem aqui no no

1:25:06 Google Colab, mas vocês terão acesso a essa GPU, certo? Você não tem um GPU no computador, por exemplo, eu tenho aqui meu computador, ele é um computador gamer, eu comprei para exatamente fazer esse tipo de coisa. Quero fazer pequenos treinamentos, tal, tá aqui, roda meia máquina. Agora não tem, a gente roda no colab do Google, certo? Vai te dar aí um tempo de 4 horas de uso, beleza? Por dia, que é o mais que suficiente para fazer o trabalho nosso, tá? E para você aprender como é que faz o treinamento, tá? OK. Então, o It’s fine, ele vai

1:25:37 reconhecer o ambiente seu. O que que você vai fazer? local, é na nuvem, é numa empresa sua, é num AWS da vida, tudo isso ele vai reconhecer. Depois tem um processo dos dados, tá pessoal? Essa parte da curadoria dos dados é bem chatinha, porque, por exemplo, quando você pega uma série de PDFs lá e aí os PDFs tem os cabeçalhos, né? Tem os rodapés, aquilo tudo lá para tirar é um saco. Então o framework faz isso também, a limpeza dos dados, organização, colocar, por exemplo, você vai fazer lá

1:26:07 sobre pergunta e resposta, transformar, né, os seus dados em pergunta e resposta. Em alguns casos, por exemplo, se você não tiver o olhama local, ele baixa o olhama, instala na sua máquina, baixa um quen automaticamente também, se você quiser, e ele começa a rodar e começa a fazer tratamento de dados com olhama local, entendeu? Então, a construção do framework eh me tomou um tempo, né? Mas eu achei que ficou legal para ajudar vocês, tá? Aí depois o próximo passo é a escolha do modelo. Qual é o quem é que a gente vai

1:26:38 retreinar, né? Certo? Ah, vai ser um deepsic, vai ser um, vai ser, sei lá, um lhama, vai ser um kimi, vai ser um quen, que que a gente vai usar, né? Depois o processo é a definição ali da régua e ponto partida. Ou seja, a gente tem que definir quais são as métricas de aceito. Que que você quer com esse com esse modelo? Ah, eu quero que ele me responda igual eu respondo o pessoal da clínica. Então, essa é a métrica. Ele tem que fazer isso, entendeu?

1:27:10 Né? Depois a gente congela esse objetivo, trava lá para poder fazer o Eu tô em dúvida se esse congelamento de objetivo é uma coisa interessante pra gente, tá? Porque nos diz que eu tô mexendo com ele aqui [risadas] algumas vezes. Eu disse: “Não, esse objetivo eu não gostei não, eu quero mexer”. Aí ele falou assim: “Não, mas tá congelado”. Não, eu tô mandando, Pode mandar. [risadas] Vocês sabem que eu xingo, eu xingo LLM, né? Aí ela, ele faz, entendeu? Eh, mas enfim, eu tô tô em dúvida ainda se eu

1:27:41 mexo com isso ou não. Mas vamos lá. A receita é o quê? Ah, vamos usar, vamos, vamos treinar a rede inteira. Vamos treinar só a parte de baixo da rede. Vamos colocar um loro. Vamos colocar um que loro. Vamos colocar o quê? Certo? A receita, tudo isso a gente vai aprender, tá pessoal? O conceito e como fazer na prática. Aí tem o ensaio, o treino. Um ensaio nada mais é um pequeno teste para ver se tá tudo certo, né? Às vezes o código ali para ver se tá rodando. Beleza? E aí vem o retrino efetivamente. Aí depois disso tem um processo de

1:28:12 avaliação. Terminou o retreino, vai levar algumas horas ali, tá? Tem avaliação, depois tem a exportação. Eu vou colocar isso aonde? Vai ficar na minha máquina, vai ficar no outro servidor, tá? E tudo isso dentro do Fine, você tem que dar autorização para ele mexer, tá? Porque o que acontece? Às vezes a pessoa ela quer fazer o retrain do LLM, mas não quer que nenhuma outra LLM tenha acesso aos dados, beleza? Então, por exemplo, os dados aqui que são processados, tá? São

1:28:43 códigos em Python construídos para acessar os dados. Não é a LLM que mexe nos dados. A LLM só aciona o programa em Python que vai ler os dados e trabalhar com os dados, entendeu? Ela nunca mexe nos dados se você não autorizar. Então vocês vão ver depois que quando a gente instala o Itfine, dentro dele lá tem um arquivo de configuração, uma série de permissões e ele já abre tudo fechado. Você vai ter que abrir esse arquivo manualmente porque ele fala assim: “Eu não posso mexer, não vou

1:29:15 mexer.” Igual o Reversa também, né? O reversa não mexe no legado, é proibido. Agora eu criei um arquivo de configuração para dizer assim: “Não, eu quero mexer”. Então ativa lá, permite o reverso aí ele vai mexer. Beleza? Então essa esse conceito eu também trouxe para cá, né, pro It. Isso é uma coisa do né? Porque a gente pode, além de estar estudando conceito, a gente tá estudando uma coisa que nós mesmos fizemos, né? A comunidade nossa aqui construiu uma uma um framework, uma coisa pra gente mesmo

1:29:46 usar. E o que é legal é que se as coisas começarem tipo assim, igual o reverso, né? Professor, eu tava fazendo tal coisa com revés, deu um problema assim assim assim: “Ô, pô, manda para mim que eu vou arrumar, né? Ou então com mira, né? Tô fazendo uma coisa lá com mira, tal, pá, pá, tem um problema. Ah, vamos arrumar então. Legal, tá essas coisas nossas assim que a gente é nosso, né? É legal para caramba. Eh, o pato que anda na água. [risadas] É Jesus. [risadas]

1:30:16 Gostou >> a Fátima, né? Então, tem a exportação, né? onde vai onde vai rodar efetivamente. Você pode voltar isso, o o seu arquivo pode voltar lá modelo para o olhama e você já pode construir um chat lá para conversar com ele para testar na sua própria máquina ou então isso vai paraa outra máquina, beleza? Ou você pode testar isso no próprio colab. OK? Professor, eu não eu construí no colab e eu gostaria de testar no Colb porque eu não tenho máquina para testar, porque tem que ter máquina, pessoal. Infelizmente para LLM tem que ter

1:30:46 máquina, tá? Não tem como a gente se enganar, tá? Então não, se você não tem máquina em casa, vai ter que ter máquina remota e aí tem máquina gratuita e tem máquina paga. Beleza? Agora, lógico, o conhecimento que você vai aprender aqui nessa mentoria, ela vale muito para se você precisar fazer alguma coisa específica para a sua empresa, para uma empresa, coisa assim, entendeu? Então ela tem um ganho financeiro que eu acho que vale a pena. E o último passo é a entrega em em si,

1:31:18 né, que é o fechamento aí da das 11 da dos 11 trajetos aí da do do It’s fine. Beleza? Então é legal porque eu acho assim e olha fine t a gente tá desde do final do ano passado para fazer essa mentoria, não é? Certo? Aí apareceu MCP, aí a gente parou e falou: “Não, vamos temos que aprender MCP e a 2A.” Aí fomos

1:31:49 atrás, aí fizemos pá. Aí quando foi no início do ano, vamos agora vai pro Fun, não apareceu o hag, né? Apareceu o hag, pra gente fazer hag e fizemos o hag. Aí os harness explodiram e o desenvolvimento com com inteligência artificial também explodiu. Então a gente fez a questão da engenharia de software com reverse e tudo mais. Eu acho que a gente tá tá numa hora falta GI, né? [risadas]

1:32:21 Tá me provocando, né? Eu acho que a gente entrou numa hora certa para fazer isso, sabe? Porque hoje a gente consegue diminuir bastante eh substancialmente a complexidade que é para pessoas leigas entrar numa rede neural efetivamente e treinar uma rede neural, né? Retreinar, entendeu? E o conhecimento técnico de retreino de inteligência artificial é um pouco

1:32:52 puxado. E em alguns casos, quando a gente tá desenvolvendo o código ali, né? eh, do retreino, do treino, uma coisa assim, pode ser meio maçante, sabe? A pessoa começa a ficar assim: “Ã, hein? É o quê? Você tá entendendo?” Então eu acho que a gente tá num momento legal, onde podemos colocar, conhecer todos os conceitos, o porquê das coisas e tudo mais. E tem uma ferramenta como o framework time que pode, it’s fine, que pode nos ajudar, né, nesse processo. E aí aqueles que

1:33:23 querem saber um pouco mais, que sempre tem esses, né, que eu acho massa, né, tem aqueles que querem o resultado logo, então aí o fine serve muito bem. Tem aqueles que querem aprender um pouco mais e saber como é que é por dentro o código. Aí vai lá e abre e aprende, entendeu? Que é massa, entendeu? Então a gente atende todos os públicos, né? Certo? Onde a gente pode discutir, otimizar código ali dentro e tal e ver como é que funciona efetivamente por dentro da rede neural. Legal para caramba, né? Então quando a gente faz o

1:33:55 mestrado, doutorado, dar aula nessas nessas graduações, aí a gente vê a parte matemática da coisa, como é que funciona, né? Bem escova bit lá dentro mesmo, porque o cara vai ter que criar um novo, uma nova arquitetura de LLM, não é só retreinar, né? Ele tem que entender por dentro e ele tem que criar uma propor uma nova, entende? Não é simplesmente pegar uma coisa que já existe e dar aquela treinadinha, não. Isso aí a gente deixa o pessoal da graduação, pós-graduação e tudo mais, né? Agora, quando é mestrado, doutorado

1:34:27 é a coisa é mais puxada. Beleza? Então eu acho que a gente tá num momento legal para aprender sobre isso. E aí no final das contas é o assistente mesmo funcionando, né? É o assistente lá da Marina veterinária de vaca lá, [risadas] certo? Que responde conforme ela quer, direitinho funcionando, tá? OK. Então o mapa dos nove capítulos, eu tava eu tava planejando já fazer dois capítulos hoje, né?

1:34:59 Mas aí, como assim? Sempre a primeira aula tem um pouco mais de perguntas, mais dúvidas, tudos, mas normal. Então, ficamos num pequeno primeiro capítulo, tava aqui para tirar essas dúvidas gerais aí. Aí nas próximas aulas eu tô pensando assim, a gente vai começar a dar umas aceleradas, entende? É possível a gente dar uma acelerada quear dois capítulos por por aula e tal. Então, esses são os nove capítulos que a gente vai ver nessa sequência, beleza? Pra gente aprender, tá? que é essa trilha importante aí que é projeto e ambiente,

1:35:31 os dados em si, estudar os modelos base, métricas e objetivos, a receita, no caso laura, o que que é o que lora? Por que que existiu isso? Como é que eles funcionam, tá? Sondagem, treino e avaliação, exportação entrega e o alinhamento por preferência. Beleza? São nove capítulos, tá? Eh, a mentoria só acaba quando termina, beleza? Eh, nem que dure um ano, não dura não, tá, pessoal? Mas ela só acaba

1:36:01 quando eu fizer o último capítulo, tá? Às vezes, por exemplo, por exemplo, tem um um capítulo que ele é mais denso, foi como a gente fez em hag, né? O capítulo de graph ha, ele foi muito denso, muito denso. Foram cinco aulas, ele é como se fosse cinco capítulos. Eu quebrei ele em cinco partes, né, para poder a gente poder entender. Mas eu só termino a mentoria quando acaba. Quando terminar o último capítulo, terminou a mentoria. Beleza? É sempre um compromisso que eu faço com vocês. E assim, as aulas toda

1:36:33 quarta-feira, nesse horário mesmo bate canal. E é isso. Beleza. 10:15. algumas perguntas para terminar também. Agora dar uma gerada na minha voz. Regis, >> professor, nessa linha aí do senhor falou do Fin Tani, eh eu fiquei pensando

1:37:05 aqui naquela questão da da de um de um conteúdo que é difícil, né, como o direito, que tem que tem ali várias conceito por trás, tem muita muitas eh interpretações de um objetivo só. Aí, nesse caso, eh eh para fazer o fine tun com isso aí, aí a gente tem que usar ontologias e e tudo mais. Como é que é isso? >> Como é que funciona essa essa história? >> Normalmente esse esse esse esse esse

1:37:37 momento aí tem muito a ver com o tratamento de dados, certo? Que é talvez assim, o capítulo três, pessoal de dados, é o capítulo mais crítico. Os dados são é o capítulo mais crítico, certo? de qualquer qualquer qualquer inteligência artificial baseado em aprendizado de máquina, certo? Porque ele vai aprender com os dados. Então os seus dados tem que ser volum

1:38:09 volumétrico, digamos assim, e tem que ter uma qualidade, porque senão se você não tiver uma qualidade de dado também, se ele for muito ruidoso. Então, todo dado ele é muito específico ao domínio que tá acontecendo, por mais que seja assim, ah, mas o direito é sempre assim, tá? Mas qual é o objetivo que você quer treinar com essa rede? Você quer uma rede geral ou você quer uma rede específica, sei lá, vamos supor STF Vittor, vai direcionar. Chegou um caso, lê o caso, o projeto, o

1:38:40 lance dela, o que que é? Eu leio o caso, eu simplesmente direciono para onde tem que, para onde tem que ir. É só isso que ela faz, né? Ela não dá resposta de nada, não sei o que e tal. Foi treinada para isso, tá? Então ela foi treinada como a base de dados é o quê? Casos, direção, entendeu? Entendi. Então não vai ter eh algo do direito que vai falar do penal, do civil, do tributário, do não sei o quê. Isso >> não é isso >> não. Então eu eu tô invertendo as coisas

1:39:10 aqui de tal forma que as uma das o o o dos dois passos são muito importantes. O primeiro, como eu falei, ele é um framework baseado em intenção. Você precisa definir qual a sua intenção. Muito bem. Certo? Eu quero que a minha rede neural responda ao produtor rural que mandar uma mensagem para mim conforme eu respondo e

1:39:42 com o conhecimento interno que eu tenho aqui na empresa aqui na na na clínica veterinária. Perceba eu a intenção toda destrinchadinha em detalhes, certo? Então, é preciso entender qual é a intenção, o que que você quer fazer com essa rede neural, certo? Porque a partir daí você vai ter um uma forma como você vai tratar esses

1:40:14 dados, certo? Eu vou treinar com os dados cruz, eu vou transformar esses dados em pergunta resposta, certo? Eu vou treinar esses dados com os dados inteiros em e com uma saída simples ou a saída a entrada é simples e sai com dados inteiros invertidos. Tudo isso depende, depende da intenção que você tem em relação à rede neurômet >> e a grana, né? >> Hã? >> E a grana, né? O recurso. >> É. E o recurso de treinamento, né? Aí aí tem o projeto e ambiente, né? Que é

1:40:44 aquela questão assim, tá? OK, mas aí vamos treinar que rede? Quanto maior a rede, né? Quanto melhor foi a rede em termos de a quantidade de parâmetros, melhor a rede será. Consequentemente, se você tem mais parâmetros, você precisa de uma máquina mais potente. Então, é aquela história, né? Na computação tudo é um perde ganha. >> Perde ganha. >> Computação, tudo é um per de ganha. Por isso que vocês são engenheiros de são engenheiros, né? Certo? Então a

1:41:17 engenharia é isso, é um per de ganha. você tem que dar ali e dar receber de cá, certo? Às vezes você não vai conseguir uma coisa maravilhosa, mas uma coisa aceitável. É isso. A engenharia é isso. >> Tem que determinar alguns critérios também, né, professor? No caso, paraa escolha até mesmo, né, do seu problema e da sua rede neural ali >> ou do seu LLM, né? >> Exatamente. >> Professor, mas o a quando é que se indica usar ontologias?

1:41:50 Eh, cara, é nesse nesses nesses dados que são nesses dados, como você mesmo falou aí, certo? Eh, >> deixa eu pensar. >> Medicina. medicina, por exemplo, medicina ou Mas eu o que vem na minha cabeça é o direito, que é o mais difícil, né? >> Aham. >> Eu acho,

1:42:22 >> mas eu eu tô ouvindo muito pessoal falar eh eh em ontologias ligada a a a treinamento da IA e coisa e tal. Aí fiquei nessa, mas a gente pode evoluir depois, eu vamosar depois. Eu acho melhor porque assim, eh, >> a ontologia, professor, geralmente, eh, >> pessoal, pessoal tem falado ontologia, mas >> pesquisas, né? Porque você tem que fazer uma pesquisa mais profunda, >> mais ligada à gente. Ontologia,

1:42:52 >> o uso de ontologia é mais de hag. pessoal tem falado muito, mas é porque tá voltou meio que um hype de uso de gráfico de hag, graf, eh, na implementação com LDM, porque o grafo ele gera um padrão de busca e de conhecimento mais eh auditável, que é importante paraa detecção de fraude, para várias outras coisas. Então você usa ontologia para poder dar o domínio sobre o dado e os tags do dados dos metadados. É mais nessa pegada. Não é

1:43:25 muito para faz não. >> É mais nas suas tarefas. Éonde tá determinando suas tarefas que você vai usar uma determinada antologia, porque antologia é para vários tipos de tarefa, né? Então a antologia é um serve aí que fala sobre antologia. Então dependendo do que for você for usar é que você vai usar uma determinada antologia. Por isso que necessário também fazer uma pesquisa antes. Essa parte de pesquisa também é fundamental, pelo menos no meu ponto de vista e que eu tô trabalhando agora.

1:43:55 Eh, mas assim, é porque a antologia ela é mais, como é que eu vou dizer? As definições são mais são mais simples, né? Tipo assim, ah, eu vou pegar um domínio, como por exemplo, sei lá, universidade. Beleza? Então, lá, que é ontologia? Eh, o professor é uma classe dessa desse domínio, certo? Então, que a gente usa

1:44:28 muito também na orientação objeto, beleza? Um aluno é uma classe desse domínio, disciplina uma classe, o professor ministra disciplina, beleza? Aí você começa a fazer relações entre os conceitos desse domínio, beleza? Só que o processamento disso dentro de um fine tun, você tem que ver qual é o propósito efetivamente de saída que você que você

1:45:00 quer dar com essa entrada, entendeu? ou se você vai transformar uma essa essa essa ontologia em em processo de raciocínio interno. Deu para entender? Como se fosse um passo e não exatamente como raciocínio como como um todo. E aí poderia até ser, tá? Podemos discutir um pouco mais para frente, tá? >> Tá bom. Vou falar em dados disso,

1:45:31 >> professor. Antologia se resume a estruturação na eh formal, né, do conhecimento. >> É, exatamente. Exatamente. Essa questão. Ah, é é como, por exemplo, eh, eh, deixa eu pensar aqui, deixa pensar. É, mas é é a ontologia basicamente isso que eu tô falando. Você tem os conceitos básicos, certo? Aí você define esses conceitos básicos e qual é a relação entre eles, entendeu? Então você tem lá

1:46:04 conceitos, né? Você tem instâncias, você tem propriedades, você tem as relações, beleza? As restrições, as regras e tudo mais. Você pode construir isso como sendo uma uma algo que a própria LLM consulte, mas isso não quer dizer que isso tem que ser uma regra de isso tem que ser uma uma um dado de informação de de conhecimento, você tá entendendo? Pode ser um raciocínio paralelo ou um

1:46:34 raciocínio, um passo de raciocínio, um ponto, um passo de raciocínio, como se fosse uma cadeia de pensamento, >> certo? >> Entendeu? Então você pode usar isso como recurso. Deu para entender? Agora para transformar os dados em ontologia, não sei se seria tão útil, entende? E também em termos de processamento se seria interessante, né? Deu para entender? Mas é um recurso, com certeza é uma forramenta com certeza usável,

1:47:05 certo? É isso que eu queria dizer. Então podemos ver depois com calma esse detalhe, sabe? Foi bom você ter lembrado sobre esse sobre esse tema. É um algo que que o pessoal realmente tem discutido aí, né? Porque é uma representação formal, né? Dos conceitos, entendeu? Você quando vai fazer antologia, você basicamente é isso, é uma representação formal dos conceitos, propriedades, relações existentes, tal, de um domínio de conhecimento específico. Entendeu, >> professor? Um exemplo de ontologia o que

1:47:37 o senhor tá passando pra gente, sabe aquele esquema que o senhor fez? >> Isso é o o esquema que o senhor tá passando pra gente, né, >> da intenção ali dos quadradinhos, dos 11 quadradinhos. >> Sim, >> ali é uma ontologia. se colocar como exemplo seguindo, >> pode ser porque você tem os conceitos e como elas se relacionam, né? >> Exato. Uma estruturação, né, do conceito, né, do conhecimento ali de como vai ser aplicado. Então, tem uma sequência ali, como vai ser aplicado, o cara >> Mas só essa essa essa questão de

1:48:07 ontologia, porque você veja que existe uma palavra que é muito forte aqui, que é a relação entre eles, entendeu? Eu tenho um conceito, sei lá, aqui, ó, Sandeco é professor e a é uma disciplina. Sandec ministra, percebe que existe as entidades e a relação entre elas. E claramente aqui essa antologia monta um grafo. >> Exatamente. É, é a estrutura de grafo isso, né? >> Então, é por isso que o Emerson falou de

1:48:39 que isso volta muito forte na questão do Rag, entende? Isso não necessariamente tem que ser uma base de conhecimento, de treinamento de uma LLM, porque a LLM ela não faz esse conhecimento em grafo, né? Se bem que pode, você pode fazer o conhecimento em grafo, né? Que eu tô, tem um pessoal que usa conhecimento em gráfo, não posso dizer que não é, mas normalmente o que que é? Você pega uma quantidade de dados e você vai trabalhar com esses dados lá dentro. Beleza? Normalmente é assim que se faz, né? >> É, dá um trabalho fazer, né? você fazer,

1:49:10 mas veja bem, tudo mais uma vez o que a gente viu aqui é o pré-processamento de dados, né? Ou seja, o conceito de pré-processamento de dados ainda é o mesmo na na em machine learning, tá? Então entenda o seguinte, ó. Eu sempre digo para meus alunos, quando vai treinar uma regeneral visão computacional, 80% do trabalho de uma engenharia de uma de uma engenharia em cima de uma rede neural, certo? Está no pré-processamento de dados. tem a ver com pegar o dado, adquirir o dado,

1:49:41 limpar o dado, reconhecer problemas, ruído, tirar ruído, verificar outer, né? Verificar dados faltantes, certo? Ah, e aí você faz uma série de coisas que você tem que fazer em texto. Aí, meu, você tem que tirar lá as cabeçalhos, rodapé, termos que se repete demais, não sei o que lá. Uma limpeza que você faz para poder melhorar aquilo lá, certo? Rec só a peste. >> O o é o Chuck vai voltar, vai que é o outline, né? Você faz muita coisa,

1:50:11 certo? Para poder limpar esses dados, porque quanto menos ruídos você, quanto menos ruídos você tiver nos dados, melhor ela vai responder, melhor vai conhecer os conceitos, certo? Então, quer ou quer não, tudo isso vira pré-processamento de dados, certo? Nessa parte de pré-processamento de dados aí tem uma vantagem do Itfine, ele tá fodidão nessa área, sabe? Porque ele consegue já pegar os dados, dizer assim: “Olha, dá uma limpada aí e organiza”. Você só dá esse comando para ele, ele vai e faz, entende? Se eu fosse

1:50:41 trabalhar com vocês, pessoal, nessa parte de fin, só na parte de pré-procimento de dados, meu irmão, pode ter certeza, era uns cinco, seis aulas só sobre isso, sabe? E aí encheu o saco de vocês. >> Vai botar um reg lá com grafo e tudo, né? No no framework. [risadas] Se o Witfine ele está no GitHub, mas ele está privado. Só vocês têm acesso ao Witfine, tá pessoal?

1:51:13 >> Beleza. >> Só o pessoal da mentoria aqui do livro tem acesso ao Itfine, mais ninguém. >> Professor, o senhor já liberou lá o GitHub para ter acesso lá? você para para você poder, eu não tenho vocês não tm acesso gitub dele, só quem tem sou eu. >> Ah, entendi. >> Você só tem acesso instalando ele naquele comando de instalação lá. Ah, >> tá no segundo capítulo. Beleza. >> Vai será, então. Vai ser meio assim, né? >> Eh, acho que o Cláudio tem uma pergunta, né, Cláudio? >> Sim. Eh, dá para fazer alguma coisa útil

1:51:45 com um Windows Gamer com entre 8 e 32 GB de ver RAM? >> [roncando] >> ou não >> dá, pô. Claro. [risadas] Mas você tem placa de de vídeo nela? >> Sim. >> Qual? >> Sim. Eh, 3090 RTX. >> Dá, dá assim. Quanto G de memória? >> Seis. >> 30. Memória RAM. >> De V RAM, né? Memória memória é de GPU. >> 24 GPU. 24

1:52:17 >> GPU. Dar uns modelos bom. Tá bem. Caramba, cara. Pô, tem uma dessa, >> estourando aí, pô. [risadas] >> Roda tranquilo. 24. Você pode pegar uma rede, um modelo bom, modelo muito bom para rodar. Outro ainda dá para usar as memórias dele aí para para fazer compartilhamento. Se usar um tritonzinho ali para fazer o a distribuição. É, >> caraca. >> Ó, a última pergunta, tá, pessoal, do João Carlos aí. Eh, é só uma observação, Sando. Eu tenho

1:52:51 uma placa, diga, >> com a RX 580. >> Sim. >> E 32 de RAM. E de vez em quando eu apanho, >> certo? >> E de vez em quando ela trava. >> É, né? Ah, pessoal, vocês tm que instalar o CUDA nela, certo? Então vocês vai ter um processo aí, mas vocês podem pedir pro WF ajudar. Ele vai ele ele ele ele ensina em sequência.

1:53:21 >> É, então >> pode ir lá, ó, entra lá no harness. E aí você normalmente eu >> você, olha, eu tô com a placa porque ele tem >> ele tem o o fine traço environment, certo? >> Aham. >> Então ele ele vai lá procurar o que que você tem de configuração na sua máquina. Beleza? Aí ele vai achar, OK? Só que vai dizer, olha, é o seguinte, tá? Tá, eu achei sua placa aqui e tal, mas você tá sem o cu daqui, a gente precisa instalar. Assim, não, também me ajuda a instalar. É, algumas coisas ele vai baixar, outras coisas ele vai indicar o

1:53:53 caminho. Por exemplo, essa minha máquina mesmo que eu tô falando com vocês, eu tava com um problema nela que ela tem uma placa de vídeo, mas ela tava com a com o drive meio meio zoado aqui. Ele arrumou para mim. Arrumou. que é o lance de você ter o Harness que conversa com o sistema operacional, né? Vira aquele lance da da intenção. Não é o que eu posso fazer, é o que eu quero fazer. Eu quero fazer isso. Então arruma para mim, entende? >> Só não conseguimos, eu só não consegui

1:54:24 ainda >> instalar a impressora, cara. Impressor é o grande do Satanás. Não tem jeito. Não, no Window mesmo. Ah, o BR não roda cuda, ela só roda com vulcan. Aí eu tô apanhando para instalar. >> Ela é um MD. >> É a MD. >> Aí em vez do do do >> Cuda, tem que ser vulcan. >> E eu tô apanhando para instalar, >> para configurar. >> Eu não, aí eu não conheço a biblioteca, tá? Porque normalmente eu trabalho com

1:54:56 cuda e a gente trabalha com pai torche, né? >> E aí fica legalzinho, rodando. Beleza. >> Qualquer coisa funciona, com certeza funcionará no Colb, mas você pode treinar no Colb e trazer de volta, entendeu? E ela roda, >> beleza? >> Que aí instala o Olhama e manda rodar lá no Olhama. Vai de boa. >> Tá ótimo. >> Pessoal, muito obrigado aí. Tem agora 80 pessoas online com a gente aí. Muito bom. Valeu mesmo. Quarta-feira que vem a gente continua.

1:55:26 Então, espero que vocês tenham gostado. Amanhã cedo eu coloco a aula aí para vocês reverem. Deixa eu parar aqui de gravar, né? diferenciação também que >> fica gravando até