Habilidades essenciais para se tornar engenheiro de IA: RAG, agentes de IA e mais

Autoria: IBM Technology · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Essential Skills for Becoming an AI Engineer: RAG, AI Agents, & More · Canal: IBM Technology · 10:42 · Assistir no YouTube

Tópicos: Agentes de IA, Engenharia de software com IA, RAG, busca e recuperação de informação

Resumo

O vídeo explica o papel do engenheiro de IA, que constrói sistemas úteis com modelos existentes, em contraste com pesquisadores que treinam modelos fundamentais. Apresenta três níveis de habilidades: fundamentos como Python, Git, CLI, Linux e APIs; técnicas de IA como embedding, busca vetorial, RAG e agentes; e competências para colocar soluções em produção. Também destaca a importância de implantação, observabilidade, monitoramento e segurança. Por fim, recomenda desenvolver projetos em áreas como RAG, agentes com ferramentas e aplicações implantadas.

Pontos-chave

Engenheiros de IA integram modelos existentes a sistemas que resolvem problemas práticos; não precisam necessariamente treinar modelos do zero.
O julgamento técnico — decidir o que construir e como estruturar uma solução — é cada vez mais importante com a geração de código por ferramentas de IA.
Os fundamentos incluem Python, Git, CLI, Linux e APIs.
Embeddings e busca vetorial ajudam a encontrar informações por similaridade de significado, não apenas por palavras-chave.
RAG fornece informações relevantes ao LLM para fundamentar respostas em dados específicos.
Agentes podem escolher dinamicamente os próximos passos, usar ferramentas e agir com base nos resultados observados.
Levar soluções a usuários exige conhecimentos de conteinerização, Kubernetes, observabilidade, monitoramento e segurança.
Entre os casos de uso citados estão sistemas de conhecimento com RAG, agentes que consultam bancos de dados e aplicações de IA implantadas.

Capítulos

Início	Capítulo	Resumo
00:00	O papel do engenheiro de IA	O vídeo diferencia o engenheiro de IA do pesquisador de machine learning e apresenta a importância do julgamento técnico.
02:19	Nível 1: fundamentos técnicos	São apresentados Python, Git, CLI, Linux e APIs como bases para construir sistemas de IA.
04:36	Nível 2: RAG, embeddings e agentes	O vídeo explica embeddings, busca vetorial e RAG, além de distinguir agentes de workflows predefinidos.
07:54	Nível 3: implantação e operação	O foco passa para conteinerização, Kubernetes, observabilidade, monitoramento e segurança em produção.
09:36	Casos de uso e projetos para desenvolver	São destacados sistemas de conhecimento com RAG, agentes que usam ferramentas e aplicações de IA implantadas.

Citações

O código em si já não é a parte difícil; a parte difícil é o julgamento. — 00:35

Se os pesquisadores de machine learning constroem o motor, os engenheiros de IA constroem o carro. — 02:19

Agentes nos permitem passar de responder perguntas para realmente fazer coisas. — 06:42

Eles constroem sistemas em torno de modelos de linguagem usando essas três camadas de habilidades. — 10:09

Conceitos e entidades

AI Engineer (conceito): Profissional que integra modelos existentes a dados, ferramentas e sistemas para criar soluções úteis.
Python (ferramenta): Linguagem cuja leitura e compreensão ajudam a trabalhar com bibliotecas de machine learning e código gerado por agentes.
Git (ferramenta): Ferramenta para trabalhar com projetos e compartilhar código com outras pessoas.
CLI (ferramenta): Interface de linha de comando usada para interagir com ferramentas e sistemas.
Linux (ferramenta): Sistema operacional relevante para trabalhar com ferramentas de IA e ambientes de implantação.
API (conceito): Interface que permite conectar diferentes componentes de software e fazer chamadas programáticas a modelos.
PyTorch (ferramenta): Biblioteca de machine learning citada como exemplo de ferramenta que usa Python.
TensorFlow (ferramenta): Biblioteca de machine learning citada como exemplo de ferramenta que usa Python.
embedding (conceito): Representação numérica de dados usada para comparar significados e encontrar itens semelhantes.
RAG (conceito): Abordagem que recupera informações relevantes de uma fonte de dados e as fornece ao LLM para fundamentar a resposta.
Agent (conceito): Sistema que pode decidir dinamicamente o que fazer, chamar ferramentas, observar resultados e repetir o processo.
Kubernetes (ferramenta): Tecnologia citada como importante para conteinerização e implantação de soluções de IA.
observability (conceito): Capacidade de acompanhar as operações de um sistema para compreender as decisões e funções executadas pelo agente.

Tradução completa (pt-BR)

00:00 Se você quer se tornar engenheiro de IA, talvez não precise de um diploma em ciência da computação, mas precisa das habilidades certas e de entender os fundamentos. Hoje, vou explicar o que é, de fato, um engenheiro de IA, o conjunto de habilidades que você precisa aprender e três projetos que vão ajudar a demonstrar suas habilidades a possíveis empregadores. E, alguns anos atrás, o caminho para entrar na área de tecnologia era bem direto, não é? Você fazia uma graduação, participava de alguns estágios, se dedicava a desafios de programação e torcia para receber uma resposta de um empregador, certo?

00:35 Mas as coisas mudaram recentemente. As ferramentas de programação com IA facilitaram a geração de código, o que significa que o código em si já não é a parte difícil. A parte difícil é o julgamento: conseguir tomar as decisões certas em situações como definir a estrutura de aplicações e saber o que construir. E, especificamente, por que uma abordagem seria melhor do que outra. Isso é algo que uma aula nem sempre consegue ensinar, mas que você definitivamente pode aprender construindo.

01:08 Então, a questão é: o que você realmente precisa aprender para se tornar engenheiro de IA? E como pode demonstrar isso aos empregadores? Para começar, o termo é relativamente novo. Um engenheiro de IA não é um pesquisador de aprendizado de máquina. Esse é o pesquisador que treina modelos fundamentais do zero. Ele publica artigos sobre esses modelos e as novas arquiteturas em que está trabalhando. Essa função normalmente exige conhecimentos profundos de matemática e, em geral, uma pós-graduação.

01:40 Por outro lado, o engenheiro de IA é diferente. Você constrói usando modelos que já existem. Por exemplo, podem ser modelos de fronteira ou open source desenvolvidos por esses pesquisadores, mas você pega esse modelo e o integra a um sistema que realiza um trabalho útil. Por exemplo, isso significa conectar um modelo a dados. Talvez também signifique dar acesso a ferramentas e informações externas, adicionar ciclos de memória e mecanismos de proteção, entre muitos outros recursos que podem transformar um modelo em uma solução que alguém realmente possa usar.

02:19 Então, se os pesquisadores de aprendizado de máquina são os que constroem o motor, os engenheiros de IA são os que constroem o carro. E, com o influxo de modelos que temos agora, precisamos desesperadamente de mais pessoas capazes de construir esses carros e soluções de IA para organizações. Quanto aos fundamentos, costumo pensar neles como três níveis, e essa ordem importa muito. Vou explicar por quê. Como os fundamentos ficam na base, o que às vezes acontece é as pessoas pularem essa parte e irem direto para…

02:53 a construção ou a implantação de agents, antes de saberem lidar com dados e entenderem as complexidades da infraestrutura. Então, passam muito tempo reaprendendo o básico. O primeiro nível são os fundamentos. São as coisas que não são específicas de IA, mas sem as quais você simplesmente não consegue construir. Por exemplo, usar Python. Você não precisa ser um gênio em Python, mas precisa ser fluente o suficiente para ler código e entender o que seu agent de IA está escrevendo, certo? Porque muitas bibliotecas de aprendizado de máquina e pacotes de IA usam Python nos bastidores, como PyTorch e TensorFlow.

03:30 Então, é muito importante conseguir entendê-la como uma linguagem. Por outro lado, como você vai trabalhar em projetos, criar diretórios e precisar compartilhá-los com outras pessoas, é muito importante entender o Git como ferramenta. Também é importante saber trabalhar com utilitários de linha de comando ou CLIs. E você vai notar que muitas dessas ferramentas de IA usam Linux nos bastidores. Portanto, é muito importante saber usar essa combinação de Git, CLIs e Linux para trabalhar com o sistema operacional em que seus agents de IA serão implantados.

04:05 Por fim, temos a capacidade de entender APIs, ou interfaces de programação de aplicações. É assim que você conecta diferentes partes de software umas às outras, certo? Entender como elas funcionam será essencial para muitos casos de uso de IA, porque você fará chamadas programáticas a modelos, vai processar as respostas, lidar com limites de taxa e muito mais. Assim, todo produto e solução de IA que você vier a construir será, fundamentalmente, um conjunto bem estruturado de chamadas de API da sua aplicação para o modelo,

04:36 para diferentes ferramentas e serviços e de volta. Esses são os fundamentos. O segundo nível é onde aprendemos essas habilidades específicas de engenharia de IA. Por exemplo, entender o que são embeddings para nossas fontes de dados e saber fazer buscas vetoriais. E o motivo pelo qual você precisa saber isso é que nos permite fornecer informações fundamentadas no context window de um LLM, para obter respostas precisas.

05:07 Com embeddings, podemos ajudar esse sistema computacional a entender o significado, em vez de apenas encontrar palavras-chave correspondentes. O que fazemos é converter texto de formatos como PDFs e outros formatos de dados em vetores numéricos. E fazemos buscas com base na similaridade. Por exemplo, podemos ver o quanto a palavra Kubernetes é semelhante a palavras como contêineres e orquestração. Nesse espaço tridimensional, podemos obter resultados relevantes para diferentes tipos de tópicos que queremos pesquisar.

05:39 E o motivo pelo qual isso é importante é a geração aumentada por recuperação, ou RAG. A RAG nos permite fornecer ao modelo respostas precisas sobre informações específicas, que podem estar em políticas da empresa ou documentos jurídicos, em vez de ele simplesmente alucinar, já que não foi treinado com essas informações. Normalmente, isso funciona por meio de um pipeline. Os documentos entram no pipeline e são divididos em blocos de tamanho fixo, que caibam na fonte de dados que vamos usar,

06:10 e são transformados em embeddings, ou representações numéricas, para serem pesquisados e armazenados nesse banco de dados. Ao mesmo tempo, quando alguém faz uma pergunta sobre dados específicos da empresa ou informações pessoais, pegamos essa pergunta e adicionamos informações relevantes recuperadas desse banco de dados ou fonte vetorial. Então, enviamos tanto as informações relevantes quanto a pergunta para o context window do nosso LLM.

06:42 Depois, recebemos o resultado, que se baseia nessas informações factuais e também vem em linguagem natural. Quase toda empresa que está experimentando com IA quer alguma versão de RAG, ou geração aumentada por recuperação, mesmo que não esteja usando embeddings ou esteja trabalhando com outra forma de armazenamento. O terceiro nível são os agents e o uso de ferramentas. Você provavelmente já ouviu falar muito disso, se acompanha nosso canal, porque é o que está tão em alta agora: os agents nos permitem passar de responder perguntas a realmente fazer coisas.

07:18 E, mais uma vez, essa provavelmente é a habilidade de IA aplicada mais procurada no momento. Uma distinção rápida: um workflow normalmente segue um caminho predefinido. Há a etapa A, a etapa B e a etapa C, com diferentes ações acontecendo. Mas, com um agent, é um pouco diferente. Um agent pode decidir dinamicamente o que fazer em seguida. Ele pode chamar as ferramentas que precisa usar. Pode observar os resultados e, com base neles, entrar em um ciclo e tomar decisões. Construir esses ciclos é muito importante, porque quem consegue fazer isso de forma confiável e em escala é um bom engenheiro de IA.

07:54 Por fim, o terceiro nível é colocar as coisas em funcionamento e implantá-las. Para criar valor real, as coisas precisam sair do nosso laptop e chegar às mãos de usuários reais. Isso significa entender a implantação e as operações básicas. Então, de quais habilidades você precisa? Primeiro, conteinerização. Você precisa conseguir conteinerizar ou empacotar seu agent de IA — e, às vezes, até o próprio modelo — para implantá-lo em diferentes ambientes na nuvem híbrida. Por isso, conteinerização e Kubernetes são muito importantes.

08:25 A segunda é observabilidade. Quando uma chamada ao modelo é feita e aquele agent talvez esteja usando diferentes bancos de dados, indo e voltando para coletar dados, precisamos entender por que o agent tomou aquela decisão final. Conseguir observar todas essas funções diferentes é muito importante para a transparência e a confiança na IA. Depois vem o monitoramento: garantir que você não esteja gastando demais com suas contas de tokens e que tudo esteja protegido, especialmente do ponto de vista da segurança.

08:59 E muito, muito mais no âmbito da implantação. Agora, felizmente, essas ferramentas de desenvolvimento de IA também podem aumentar drasticamente sua velocidade nessa área, seja implantando sua aplicação em algo como bare metal, totalmente desconectado do mundo real, ou talvez na nuvem, por meio de algum tipo de serviço hospedado, em que sua implantação alcança o mundo todo. Agora, nesses dois níveis mais altos, o que vejo na maioria dos casos de uso de IA em produção hoje são, primeiro, RAG: sistemas de conhecimento que dão suporte a serviços de RH, hospitais, chatbots online,

09:36 permitindo que os usuários façam perguntas às empresas que usam ou dentro das organizações e recebam de volta dados fundamentados, obtidos nessas buscas. Em segundo lugar, estão os agents e as ferramentas. Poder usar um agent que consulte um banco de dados, visualize dados e seja capaz de fazer coisas que, normalmente, só um especialista no assunto conseguiria fazer. E, por fim, ajudar com aplicações implantadas. Ou seja, ajudar engenheiros a colocar seu código no ar em horas, e não semanas, usando essas ferramentas de IA.

10:09 Esses são três dos casos de uso mais comuns que vejo para IA atualmente. E incentivo você a criar projetos nessas áreas específicas, de acordo com seus interesses pessoais, porque isso será muito importante para sua carreira e sua experiência em engenharia de IA. Mas agora você já sabe o que engenheiros de IA fazem, certo? Eles criam sistemas em torno de modelos de linguagem usando esses três níveis de habilidades. E você também pode começar a criar hoje. Então, muito obrigado por assistir. Se você gostou do vídeo, não deixe de curtir, e nos vemos no próximo.

10:42 Tchau.

Transcrição original

[00:00] If you want to become an AI engineer, well, you might not need a computer science degree, but what you do need are the right skills and to understand the fundamentals. And today, I’m going to break down what an AI Engineer actually is, the skill stack that you need to learn, and three projects that’ll help demonstrate your skills to potential employers. And a few years ago, the path into tech was pretty straightforward, right? You would get a degree, go do some internships, grind coding challenges, and hope for a call back from a job employer, right?

[00:35] But things have changed recently. AI coding tools have made it easy to generate code, which means the code itself isn’t the hard part anymore, but the hard is judgment. So being able to make the right decisions for situations like how to structure applications, knowing what to build. And specifically why one approach would be another. And that’s something that a class can’t always teach you, but you can definitely learn by building.

[01:08] So the question is, what do you actually need to learn to become an AI engineer? And how can you demonstrate that to employers? First off, the term is quite new. An AI engineer is not a machine learning researcher. That’s a researcher who trains foundational models from scratch. They publish papers about those models and the new architectures that they’re working on. And this position typically requires deep math and usually an advanced degree.

[01:40] On the other hand, an AI engineer is different. You’re building with models that already exist. And for example, those could be the models like Frontier or Open Source that have been developed by those researchers, but you take that model and wire it into a system that does useful work. So for example, that means connecting a model to data. That means perhaps giving access to tools and outside external information, giving it memory loops and guard rails and many other capabilities that can turn a model into a solution that someone can actually use.

[02:19] So if ML researchers are the ones building the engine, then AI engineers are the ones building the car. And right now with the influx of models, we desperately need more folks who can build these cars and AI solutions for organizations. Now with the foundations though, I typically think of this as three tiers and this order really matters, I’ll explain why. Because with this foundation at the bottom, what people sometimes do is they skip the foundation here and they go straight into.

[02:53] Building agents or deploying them before they can handle data and understand the intricacies of infrastructure. So they spend a lot of time relearning the basics. So tier one is your foundations. This is the stuff that’s not specific to AI, but you absolutely can’t build without it. For example, using Python, right? So Python, you don’t have to be a wizard, but you just have to have to fluent enough to read code and understand what your AI agent is writing, right? Because… A lot of machine learning libraries and AI packages will be using Python underneath the hood, for example, PyTorch and TensorFlow.

[03:30] So being able to understand it as a language is quite important. Now, on the other hand, since you’re gonna be working and building out projects and directories, and you need to share that with others, understanding Git as a tool is really important, and being able work with command line utilities or CLIs as well is quite important. And you’ll notice that with a lot of these AI tools, they’re all using Linux underneath the hood. So the combination of these three from Git to CLIs to Linux is quite important to be able to use the operating system where your AI agents will be deployed.

[04:05] And finally, we have the ability to understand APIs or application programming interfaces. And this is how you connect two different pieces of software to each other, right? And understanding how they work is gonna be really crucial for a lot of use cases with AI because you’re gonna be making calls to models programmatically, you’re going to be handling the responses, dealing with rate limits and much more. And so every AI product and solution you’ll eventually build is a fundamentally well-structured API calls from your application to the model,

[04:36] to different tools and services and back and forth. So this is the foundation. So tier two is where we learn about these specific AI engineering skills, For example, understanding what embeddings are for our data sources and being able to do vector search. And the reason why you need to know about this is because this allows us to provide grounded information into the context window of an LLM in order to get accurate responses back.

[05:07] And with embeddings, what we can do is we can help this machine system understand meaning instead of just matching keywords. So what we do is we convert text from types of formats like PDFs and other data formats to numerical vectors. And we search them by similarity. Say for example, how similar that the word Kubernetes is to words like containers and orchestration. So in this three space, we can get relevant results back for different types of topics that we wanna search on.

[05:39] And the reason why this is important is because of retrieval, augmented generation, or RAG. RAG allows us to give a model accurate results back for specific information that might be company policies or legal documents instead of just hallucinating them because it wasn’t trained on that information. So the way that it typically works is in a pipeline. Documents come into the pipeline, they get chunked in fixed sizes that will fit in whatever data source we’ll be using,

[06:10] they’re embedded into those vectors or numerical representations to be searched and stored in that database. Now, at the same time, when someone’s asking a question about specific company data or personal information, what we do is we take that question and we add in relevant retrieved information from that database or vector source and feed that both the relevant information and the question. Into the context window of our large language model.

[06:42] Then we get that result back, which has been grounded in that factual information, but also in natural language for us. And almost every company experimenting with AI wants some version of RAG, or Retrieval Augmented Generation, even if you’re not using embeddings or working with another form of storage. Now, third is agents and tool use. And you’ve probably heard a lot about this. If you’re watching our channel, because this is what’s so popular right now, because agents allow us to go from answering questions to actually doing things.

[07:18] And again, this is probably the most in-demand applied AI skill right now. And a quick distinction, a workflow typically follows a predefined path. So you have step A, step B, and step C because of different actions that are happening. But with an agent, it’s a little bit different. An agent can dynamically decide what to do next. So it can call tools that it needs to use. It can observe those results. And based on that, go in a loop and make those decisions. And building these loops is what’s really important because one who can do this reliably and at scale, well, that’s a good AI engineer.

[07:54] And finally, tier three, which is getting things shipped and deployed. Because to create real value, things need to get off of our laptop and into the hands of real users. And that means understanding deployment and basic operations. So what skills do you need? Well, first off is containerization. You need to be able to containerize or package up your AI agent and even the model too sometimes to be about to deploy this to different environments across the hybrid cloud. So containerization and Kubernetes are really important.

[08:25] Second is observability. So when a model call is being made and that… Agent maybe is using different databases and going back and forth to collect data, we need to understand why the agent made that final decision. And being able to observe all of those different functions is really important to transparency and trust behind AI. Next is monitoring, making sure that, you know, you’re not spending too much on your token bills and everything is kept safe, especially from a security standpoint.

[08:59] And much, much more in the realm of deployment. Now, thankfully, these AI dev tools can make you dramatically faster in this area, too, whether you’re deploying your application on something like bare metal, so totally disconnected from the real world, or maybe in cloud via some type of hosted service, where you’re deployment across the world. Now, with these top two tiers, what I see in most use cases for AI and production right now, is one, RAG, so knowledge systems that are powering HR services, hospitals, online chatbots,

[09:36] allowing users to be able to ask questions to their businesses that they use or within organizations and get back that grounded data from those searches. Second off is with agents and tools. Being able to use an agent that can query a database, visualize data. And be able to do things that typically a subject matter expert only could. And then finally is helping with deployed applications. So helping engineers get their code shipped in hours and not weeks using these AI tools.

[10:09] Those are three of the most common use cases that I see with AI right now. And I encourage you to build in those specific areas with your own personal interest because that’ll be huge for your career and experience in AI engineering. But now you know what AI engineers do, right? They build systems around language models using these three tiers of skills. And you can start building today too. So thanks so much for watching. If you enjoyed the video, please be sure to leave a like and we’ll catch you in the next one.

[10:42] Bye.