Construindo agentes de IA com dados da web em tempo real — Yohan Raju, Bright Data

Ver no idioma original →

Autoria: AI Engineer · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Building AI Agents with Real-Time Web Data — Yohan Raju, Bright Data · Canal: AI Engineer · 27:26 · Assistir no YouTube

Tópicos: Agentes de IA, Automação de tarefas e workflows, RAG, busca e recuperação de informação

Resumo

Yohan Raju, da Bright Data, explica como agentes de IA podem coletar dados da web em tempo real e como essa abordagem se diferencia do uso de dados pré-indexados em RAG. Ele descreve os desafios de escalar web scraping, incluindo manutenção de scrapers, mudanças nos sites e sistemas anti-bot, e apresenta o MCP da Bright Data como forma de conectar agentes a ferramentas de coleta. Na demonstração prática, um agente reúne dados de um produto da Amazon e opiniões do Reddit para analisar se vale a pena comprá-lo. A palestra também destaca usos da coleta contínua de dados, como análise do mercado de trabalho e correspondência de currículos.

Pontos-chave

• Scrapers específicos para cada site exigem manutenção constante, e mudanças em páginas podem afetar a qualidade dos dados e os SLAs.
• Agentes de IA podem ajudar a descobrir sites e automatizar tarefas de coleta e correção de scrapers.
• A coleta na web precisa lidar com sistemas anti-bot, diferentes tipos de proxy e validação dos dados obtidos.
• Há dois caminhos para responder a consultas: usar dados pré-treinados ou buscar informações atuais na web.
• O MCP da Bright Data conecta agentes a ferramentas de busca, scraping e automação de navegador.
• Dados sobre vagas exigem atualizações contínuas, estrutura consistente e, em alguns casos, acesso ao histórico.
• Na demonstração, dados de produto da Amazon e publicações do Reddit são combinados para recomendar se vale a pena comprar um produto.

Capítulos

Início	Capítulo	Resumo
00:13	Apresentação e desafios de escalar o scraping	Yohan Raju apresenta a Bright Data e explica como a expansão para muitos sites aumenta o custo de desenvolver e manter scrapers.
05:24	Arquitetura tradicional de coleta de dados	A palestra aborda diferenças entre sites, proteções anti-bot, proxies, validação e processamento dos dados coletados.
10:01	Dados pré-treinados e busca na web em tempo real	Raju compara respostas baseadas em dados prévios com consultas que precisam buscar informações atuais na web.
13:06	MCP da Bright Data e acesso à web	Ele explica como o MCP conecta agentes a ferramentas de busca, scraping e automação, e mostra um exemplo de acesso a um site bloqueado.
16:11	Casos de uso e dados do mercado de trabalho	A palestra apresenta aplicações de dados em tempo real e explica por que dados de vagas precisam ser atualizados e confiáveis.
19:21	Demonstração: análise de produto com Amazon e Reddit	Um notebook combina dados de produto da Amazon e opiniões do Reddit para gerar uma recomendação de compra.
23:46	Escala da coleta e conclusão da demonstração	Raju explica como a infraestrutura e a lógica anti-bot ajudam a manter a coleta em escala e conclui com a recomendação gerada pelo agente.

Citações

Se quero adicionar 100 sites, mil sites, é aí que as coisas começam a se complicar. — 02:51

A IA precisa ir à web e ver o que está acontecendo. — 11:02

Temos ferramentas que permitem ir à web sem ser bloqueado e coletar dados. — 13:06

O agente analisou os dados e deu uma decisão: devo comprar ou não? — 26:22

Conceitos e entidades

• Yohan Raju (pessoa): Arquiteto de soluções da Bright Data que apresenta a palestra sobre agentes de IA e coleta de dados da web.
• Bright Data (empresa): Empresa apresentada na palestra, com infraestrutura de proxy e ferramentas para coleta de dados da web.
• web scraping (conceito): Coleta automatizada de informações de páginas e serviços da web.
• RAG (conceito): Abordagem mencionada como alternativa à busca de informações atuais na web, baseada em dados previamente indexados.
• MCP (conceito): Protocolo usado para conectar agentes de IA a ferramentas de busca, coleta de dados e automação de navegador.
• Bright Data MCP (ferramenta): Conjunto de ferramentas da Bright Data que permite a agentes acessar recursos de coleta e automação na web.
• Gemini (modelo): Modelo cuja API é usada na demonstração prática junto com a API da Bright Data.
• Amazon (empresa): Plataforma usada como fonte de dados de produto na demonstração.
• Reddit (empresa): Plataforma usada como fonte de publicações e opiniões sobre o produto analisado.
• Cloudflare (empresa): Serviço citado como exemplo de proteção anti-bot que pode dificultar a coleta de dados.

Tradução completa (pt-BR)

00:13 Certo, vamos começar. Bom, é um prazer conhecer todos vocês. Meu nome é Johan Raju. Sou arquiteto de soluções aqui na Bright Data. Estou na empresa há cerca de seis anos e trabalho nesse segmento de coleta de dados e web scraping. No início, éramos uma empresa de infraestrutura de proxy, com a maior rede de IPs residenciais do mundo, e depois passamos para a plataforma de coleta de dados. Agora somos a maior plataforma de coleta de dados da web do mundo, coletando petabytes de dados por mês, atrás apenas do Google. Então, só um

00:45 pouco de informação para vocês sobre onde começamos e como chegamos até os dias de hoje. Vou abordar dois tópicos. Primeiro, vou falar sobre a construção de agentes de IA com dados da web em tempo real. Algumas ferramentas que as pessoas costumam usar quando se trata de agentes de IA, em vez de depender do seu modelo de RAG com dados pré-indexados, quais são as vantagens, o que vemos no setor, que mudanças estão por vir e o que é preciso para executar esses agentes. E, por fim, vou fazer um exercício prático

01:17 que vocês podem acompanhar comigo. Nele, tenho um agente de inteligência de produtos que vai usar um produto da Amazon, obter opiniões no Reddit e, em seguida, fornecer uma análise para responder: devo comprar esse produto? Sim ou não. Depois de trabalhar por bastante tempo no segmento de scraping, uma coisa que percebi é: quando pensamos em criar scrapers ou coletar dados, o que isso realmente exige?

01:47 Atualmente, os primeiros clientes com quem trabalhei no segmento de scraping, quando estão começando, sempre dizem: “Estes são os sites que quero monitorar e isto é o que quero extrair”, certo? As pessoas geralmente começam com um volume baixo. É isso que compõe uma arquitetura tradicional de scraping. Agora, digamos que sou um usuário de e-commerce e quero coletar dados de e-commerce. Meus principais alvos talvez sejam a Amazon e o Walmart, porque posso encontrar muitos produtos nesses sites e obter inteligência de preços e dados sobre

02:19 avaliações e todas as informações gerais sobre a grande maioria dos produtos. Quando o scraping começa a ficar desafiador? Essa é uma mudança que realmente tenho observado no setor entre os clientes com quem trabalho hoje: já não se trata apenas da Amazon e do Walmart. Agora você quer a Shopee. Agora quer lojas do Shopify. Agora quer a Etsy e vários outros sites. Se pararmos para pensar, mencionei que, para criar

02:51 scrapers para os sites que você quer monitorar, geralmente são necessários de 3 a 5 dias para desenvolver um scraper, se você for desenvolvedor. E isso não envolve apenas desenvolvê-lo: envolve fazer o controle de qualidade, executá-lo no ambiente de desenvolvimento, testá-lo e cuidar de todo o pipeline de ponta a ponta. Se pensarmos em 10 sites, tudo bem, talvez leve um tempinho. Agora, você pensa: “Quero adicionar 100 sites, mil sites”. É aí que as coisas começam a ficar complicadas. Antes mesmo de a IA entrar em cena, os desenvolvedores

03:21 teriam que entender os sites manualmente, descobrir onde os seletores estão localizados. Será que consigo acessar esses pontos de dados na API e, com base nesse conhecimento, criar crawlers? Trabalhei com muitas pessoas que fazem scraping há mais de 10 anos e gerenciam e mantêm esses crawlers. Mas, quando se trata de escalar, você pensa: “Agora estou adicionando mais sites ao que já monitoro, mas também preciso gerenciar os scrapers que já tenho”. Digamos que a Amazon faça uma alteração amanhã

03:53 e outros dois sites também façam uma alteração amanhã, mas você esteja gerenciando mil sites. Isso exige muito mais recursos de engenharia e muito mais tempo para descobrir o que mudou, como contornar a mudança, como corrigir o problema e se isso está afetando seus clientes, seu SLA e a qualidade dos dados. Antes, tínhamos esse gargalo: era preciso ampliar os recursos e, quando chegava a hora de gerenciar mil sites, você precisava de duas vezes mais engenheiros, quatro vezes mais engenheiros e assim por diante. Mas agora, nesse

04:23 cenário de IA, nada disso é necessário, porque temos coisas como agentes, que podem descobrir sites e criar scrapers para eles com muito mais facilidade do que uma equipe de desenvolvedores e engenheiros. Este é um exemplo clássico de um site de e-commerce com seletores de elementos na página. Como vocês podem ver, neste exemplo, estamos selecionando apenas o preço e o título. Agora, o que acontece se o preço mudar? Se o seletor do preço mudar

04:54 amanhã, isso causará algum tempo de inatividade do seu lado, porque, se for você quem está extraindo os dados do site, deixará de obter o preço, e isso pode afetar o restante do seu pipeline, que talvez seja usado para analisar produtos etc. Normalmente, uma equipe teria que entrar, corrigir o problema e talvez preencher os dados perdidos retroativamente. Mas, com agentes de IA, isso pode ser automatizado e feito automaticamente. Então, quando você também cria scrapers,

05:24 uma coisa que é sempre importante saber é que cada site é diferente. Os sites do exemplo que usei, como a Amazon e o Walmart, têm layouts diferentes, embora ambos possam ter itens como preço, título e descrição. Portanto, cada site exige um scraper próprio. E, mais importante ainda, cada site quer proteger seus dados. Normalmente, os sites querem garantir que ninguém mais tenha a mesma inteligência de produtos que eles ou, dependendo do tipo de dados que estão tentando manter seguros, sempre implementam diferentes tipos de medidas antibot e diferentes tipos de CAPTCHA para impedir que scrapers e bots coletem esses dados.

05:56 Já vi todo tipo de bloqueio. Vi sites mais básicos, que você consegue acessar usando IPs de data center. E também vi sites protegidos pela Cloudflare, Okami, entre outros, que exigem um endereço IP residencial. Você precisa ter

06:26 um navegador real. E precisa parecer um usuário de verdade. Se você clicar rápido demais na página, rolar rápido demais ou bloquear imagens, coisas assim, tudo isso pode acionar as medidas antibot. Como mencionei antes, a engenharia era um gargalo antes de a IA chegar, quando passamos a ter agentes de IA capazes de criar crawlers. Antes, era preciso entender profundamente o site. Muitos sites, como mencionei, têm layouts muito diferentes, o que significa que tentarão

06:56 tornar a coleta dos dados o mais difícil possível para você, e seria necessário ter um conhecimento especializado e profundo do domínio para acessar esses dados. Agora, este é um diagrama de como é a arquitetura tradicional de scraping. Para explicar brevemente, do lado esquerdo temos o ator, essencialmente, o que aciona essa coleta. Algumas pessoas gostam de usar agendadores, cron jobs e coisas do tipo, para receber

07:28 os dados diariamente, semanalmente etc. Isso inicia o trabalho e o envia diretamente para a camada seguinte. Algumas pessoas preferem usar uma configuração específica, com URLs específicas. É a mesma ideia. O trabalho segue para a camada de proxy. O proxy é essencialmente como você se protege de ser detectado. Existem diferentes tipos de proxy que você pode usar: alguns endereços IP estáticos, como os de data center e ISP, e alguns endereços IP residenciais rotativos, provenientes de laptops,

07:58 tablets, TVs que são mais autênticos para os sites, porque podem dizer: “Certo, este dispositivo está registrado de verdade; vamos deixá-lo entrar.” E também há algumas ferramentas com recursos anti-bot integrados, como o Web Unlocker ou a Browser API da Bright Data. A Browser API fica no lado da automação de navegador, em que o próprio produto gerencia coisas como: “Certo, minha solicitação está sendo bloqueada? Vou tentar de novo? Estou usando o IP certo?” Tudo isso faz parte da camada relacionada ao lado anti-bot.

08:29 A partir daí, a próxima camada é analisar os dados e validar se eles são autênticos. Essa é uma parte importante do processo depois que você chega ao site e coleta os dados: estou recebendo o preço em 90% das vezes? Quero validar que estou recebendo o preço em 90% das vezes? Preciso dos dados de avaliações? Preciso das classificações? Coisas assim. Você precisa pensar: certo, como garanto que, quando os dados passarem pelo meu pipeline, eles serão…

09:00 verificados corretamente por regras de validação? Depois, passamos para a etapa de pós-processamento da camada de ingestão. Então, você sabe, eliminar registros duplicados, enriquecer seus dados, pré-processar seus lotes. Isso acontece depois que os dados chegam ao destino. Algumas pessoas gostam de entregá-los a armazenamentos na nuvem; outras gostam de entregá-los aos sistemas internos. Quando eles chegam lá, o que você faz com os dados? Como garante que não está fornecendo o mesmo registro duas vezes ou dados sem tratamento? Então, movendo-os pela arquitetura medalhão: bronze, prata e…

09:31 depois, finalmente, movendo-os para o seu banco de dados. E, se algo falhar nesse processo, você precisa recomeçar todo o processo. É aqui que eu mencionava que, se algo der errado na camada anti-bot ou se um seletor mudar, você precisa recomeçar todo o processo; às vezes, é preciso preencher dados retroativamente, e talvez você não cumpra os SLAs, coisas assim. Agora, vou falar especificamente sobre IA. Quantos…

10:01 de vocês estão usando hoje coisas como Claude, GPT ou algum dos cérebros de IA propriamente ditos? Certo, legal. Quantos de vocês já fizeram uma consulta e viram algo como “pensando”, “procurando uma resposta” ou “pesquisando na web”? Certo, legal. Ótimo. É aqui que vocês veem — e dividi isso em duas partes — o lado esquerdo, onde vocês veem que, quando a IA está pensando ou pesquisando na web, é aí que ela…

10:32 decide: certo, para responder à consulta que você me deu, preciso sair e encontrar a resposta; não posso usar meus dados de treinamento. Então, alguns prompts — vou dar um exemplo básico —: “Qual é a melhor época para viajar para São Francisco?” Se eu perguntar isso, às vezes o cérebro de IA geralmente vai para o lado do RAG, o caminho assíncrono, em que usa dados de treinamento e diz: “Ei, talvez a melhor época para viajar seja durante o verão”, e então fornece essa resposta. Agora, se eu mudar minha consulta…

11:02 e disser: “Qual é a melhor época para viajar para São Francisco este ano?”, então a IA precisa realmente ir à web e verificar: certo, preciso ver o que está acontecendo? O usuário está me perguntando sobre eventos que estão acontecendo? Como faço… preciso tomar uma decisão em tempo real, para este ano, e descobrir quando posso recomendar que ele viaje. Então, esses são dois caminhos diferentes que cada IA pode seguir e, com isso, fornecer uma resposta…

11:33 para você. Uma coisa que notei é que as respostas às vezes podem ser armazenadas em cache. Por exemplo, se alguém perguntar várias vezes por dia qual é o tempo hoje em Nova York, pode ser uma boa resposta para armazenar em cache, porque basta uma pessoa perguntar para você descobrir como estará o tempo durante o dia e simplesmente fornecer a resposta. Assim, você não precisa gastar tokens nem dinheiro para ir à web e encontrar esses dados.

12:05 Agora, como mencionei, há dois caminhos para reunir essas informações: o caminho síncrono e o assíncrono. Ambos são vantajosos em casos diferentes. O caminho síncrono serve quando você realmente quer ir à web e encontrar o que está procurando; o assíncrono serve quando é aceitável confiar nos dados de treinamento. E ambos exigem configurações diferentes. Também oferecemos uma ferramenta que vou abordar no próximo slide, com a qual você pode…

12:35 usar as ferramentas da Bright Data para realmente acessar a web e coletar dados. Uma coisa que notei é que, se você acessar qualquer site e conhecer o arquivo robots.txt, verá que muitos sites costumam bloquear coisas como ClaudeBot e GPTBot. Então, se você fizer perguntas a esses mecanismos que realmente acessam a web e tentam encontrar dados, talvez eles não consigam obtê-los de determinados sites, porque esses sites estão bloqueando o acesso de GPT ou Claude aos dados. E é aí…

13:06 que entramos, porque nossa vantagem é conseguir desbloquear a web. Seja com um scraper, um agent ou usando algo como Claude ou GPT, temos ferramentas que permitem acessar a web e coletar dados sem ser bloqueado. Somos mestres nisso há muito tempo. Agora vou falar sobre o protocolo…

13:37 de contexto de modelo, que é o significado de MCP. Ele geralmente se integra a algo como Claude Code, LangChain — o que você quiser. Pense nisso como um cérebro com o qual ele precisa se comunicar; esse cérebro se conecta ao nosso endpoint MCP, que dá acesso a mais de 60 APIs que controlamos em nossa biblioteca. Alguns exemplos que vocês podem ver aqui são mecanismos de busca, como resultados do Google, extração de páginas como arquivos Markdown e extração de páginas como…

14:08 HTML. Se eu quiser segmentar sites específicos, como Amazon, Reddit, LinkedIn ou Instagram, isso também está incluído. Por exemplo, trabalhei há duas semanas com alguém que estava tentando criar um monitor de redes sociais usando o MCP. Um caso de uso que essa pessoa mencionou foi: “Ei, este é o meu nome. Quero acessar a web, coletar todos os meus perfis de redes sociais e me dizer quantos seguidores tenho.” Então, o que aconteceu foi…

14:39 que essa pessoa estava usando o Claude Code. Ele fez uma chamada ao nosso MCP, usou primeiro o mecanismo de busca, encontrou os resultados — as páginas dela no Instagram, TikTok e LinkedIn —, trouxe esses resultados, fez a solicitação de API ao nosso pipeline de dados e depois retornou o número de seguidores e forneceu o contexto. Essa é a capacidade do que isso pode fazer e de quanto da web o MCP pode desbloquear. Isso também funciona para automações de navegador. Então, você pode…

15:09 criar coisas para usar em um navegador, como clicar e rolar a página. Talvez automatizar um pedido no DoorDash ou, em um site de viagens, tentar descobrir quais são os melhores momentos para comprar uma passagem, reservar um voo. Então, é muito vantajoso para coisas assim. Vou mostrar um pequeno vídeo de como o MCP funciona. Deixe-me abrir. No lado esquerdo, vocês podem ver…

15:40 Isto é o Claude com a configuração MCP da Bright Data e, do lado direito, é sem a configuração MCP da Bright Data no Claude. Então, você pode ver que é o mesmo prompt: usar o navegador para obter o conteúdo desta página, que é uma URL do Glassdoor. Do lado esquerdo, você pode ver que, com a Bright Data como MCP, ele realmente acessou o Glassdoor e obteve os resultados; mas, do lado direito, ele foi impedido de acessar o Glassdoor. Então,

16:11 este é um exemplo perfeito de sites como o Glassdoor, com os quais trabalhei no nível de coleta de dados, que são muito protegidos. E este é um ótimo exemplo de por que o MCP é vantajoso quando combinado com algo como o Claude, o GPT ou qualquer tipo de modelo que você queira usar. Certo. Agora vou falar sobre um exemplo de caso de uso. Ao trabalhar com empresas de IA, estes são

16:45 exemplos de clientes com quem converso e que usam a Bright Data de alguma forma: para treinar modelos, fazer fine-tuning, enriquecer seus modelos ou fazer fine-tuning neles, dar aos agentes de IA acesso em tempo real, como mencionamos, ou enriquecer RAGs. Neste exemplo, vou falar especificamente sobre vagas de emprego, certo? Digamos que alguém tenha vindo falar comigo e dito: “Olha, preciso de dados de vagas de emprego e quero treinar um modelo com esses dados, talvez para

17:17 combinar currículos, por exemplo.” Uma coisa que precisamos saber é que, quando pensamos em dados de vagas de emprego, não é como coletar outros tipos de dados, em que posso coletar os dados e depois simplesmente esquecer deles ou treinar um modelo. Você precisa de atualizações contínuas sobre as vagas. Quais empresas estão publicando quais vagas, quantas estão disponíveis, qual é o salário, a localização etc. Por isso, é importante que os dados sejam estruturados e tenham uma saída consistente.

17:47 O desempenho também é muito importante, porque, se você estiver criando um modelo para analisar padrões de vagas ou qualquer coisa no mercado de trabalho, precisa receber esses dados continuamente. Também precisa que isso seja muito confiável, porque, se algo falhar ou houver uma interrupção, isso pode afetar todo o pipeline que você quer executar e o cronograma. E, quanto ao período, não se trata apenas de começar a obter dados sobre vagas a partir de hoje. Algumas

18:18 pessoas precisam de dados de vagas anteriores, dos últimos meses ou dos últimos anos. Por isso, é muito importante cobrir tudo isso, porque, se você quiser ter uma visão geral — neste exemplo, das vagas de emprego — e entender como treinar seu modelo com esses dados para encontrar as melhores correspondências para uma posição, precisa entender como as tendências mudaram. Talvez os salários dos engenheiros de software tenham aumentado ao longo do tempo, e você precisa entender por quê, qual é a demanda e qual é a oferta atual

18:48 para poder construir seu modelo com base nisso. Este é o exemplo de caso de uso: um agent de IA para combinar currículos. É exatamente o que discutimos aqui. Então, você precisa imediatamente de acesso em tempo real para coletar os dados e conseguir treinar esse modelo com eles. Certo. Vou apresentar aqui um exercício prático. Então,

19:21 tenho um notebook do Google aqui. Para quem estiver acompanhando, há duas coisas necessárias para executar este script: um token de API da Bright Data e uma chave de API do Gemini. As instruções para configurar ambos estão no Google Drive. E já deixei tudo configurado aqui para vocês executarem. Vou explicar um pouco o que estamos fazendo. Primeiro, chamamos o endpoint da API da Bright Data para coletar

19:51 dados da Amazon. Coletamos a resposta da Amazon. Depois, chamamos a API do próprio Reddit, capturamos a resposta bruta com os dados do Reddit e, em seguida, fazemos uma análise com IA. Antes de executar, quero mostrar exatamente os dados que estamos obtendo de cada uma dessas APIs. Da Amazon, obtemos dados no nível do produto. Escolhi um copo térmico como exemplo e

20:22 basicamente temos todos os dados sobre o produto. Então, preço, imagens, URLs etc. Vou mostrar isso também quando a execução terminar. Minha tela é um pouco pequena, então talvez não dê para ver tudo. Também temos uma API do Reddit. Neste script que criei, vou fazer uma busca por palavra-chave para esse copo térmico específico. E vou

20:54 mostrar publicações que falam sobre o que as pessoas acham: devo comprar ou não? Vale a pena? Não vale? O que as pessoas estão dizendo? Então, vamos executar ao vivo.

21:32 Certo. Certo, carregamos as chaves aqui. Certo, recebemos os dados da Amazon. Vocês podem ver o preço, a avaliação, outros vendedores que estão vendendo o produto e todos os dados do próprio produto, os recursos — tudo isso. Agora, vamos iniciar uma busca no Reddit

22:04 pelo copo térmico Stanley Quencher. Apenas avaliações sobre o próprio produto.

22:34 Enquanto isso está sendo executado, vou falar um pouco sobre o que mencionei a respeito do Model Context Protocol, o servidor MCP. Temos diferentes camadas. Sei que falei de coisas como automação de navegador e mecanismos de busca, mas também oferecemos itens como comércio eletrônico, redes sociais, inteligência financeira, pesquisa e inteligência de negócios. Tudo isso pode ser conectado a um endpoint MCP, a uma loja de aplicativos, a viagens, e ainda estamos

23:06 adicionando mais opções. Atualmente, temos mais de 60 ferramentas disponíveis para agents de IA. Algumas pessoas preferem usar os próprios scrapers, mas isso permite que seu agent de IA escolha quais ferramentas usar. Assim, tudo fica muito mais simples e fácil

23:46 Enquanto isso está sendo executado, posso responder a perguntas, se alguém tiver alguma. Sim. A pergunta foi: como vocês conseguem coletar dados de currículos, mas os bots não conseguem? O que dá essa vantagem à Bright Data e por que somos capazes de fazer isso, enquanto

24:18 coisas como bots não conseguem? É porque temos a maior infraestrutura de proxy do mundo. Quando você está falando de algumas solicitações, talvez alguns dias coletando páginas como as do Glassdoor — como usei de exemplo —, isso pode funcionar, certo? Mas digamos que, depois de um tempo, o Glassdoor perceba: “Ei, ele está usando um IP de data center, está acessando a página e não está fazendo nada nela.” Então, começam a adicionar todas essas camadas anti-bot. É aí que empresas como a nossa, a Bright Data,

24:50 entram em cena, porque você precisa não só ter um scraper ou um bot, mas também pensar em como contornar a proteção do site, como o CAPTCHA, e em como fazer isso de maneira consistente sem acionar o bloqueio. Fazemos isso há anos e temos ferramentas que incorporam essa lógica anti-bot, mudando nossa abordagem para cada site a cada vez, em grande escala. Mas, às vezes, pessoas que estão começando a coletar dados podem fazer isso internamente e gerenciar tudo por conta própria. Também é preciso pensar

25:21 que isso consome tempo de engenharia e recursos, porque descobrir que mudança o site fez também leva tempo — provavelmente até mais do que gerenciar o scraper. Certo, ótimo. Parece que os dados chegaram. Posso mostrar para vocês. Ele capturou algumas publicações do Reddit sobre o copo térmico. Há alguns comentários sobre o que as pessoas estavam dizendo

25:52 o Tumblr em si. Parece que as pessoas diziam que era vergonhoso e que estavam obcecadas, mas então ele apresenta aqui a resposta propriamente dita. Então, dá para ver que, na verdade, vale a pena comprar. Está com um bom desconto. Sabe, as avaliações são predominantemente positivas, mas há algumas opiniões ligeiramente divergentes. A demanda é alta, mas o estoque na Amazon é baixo, porque foi isso que os dados retornaram. E há alguns outros pontos de análise sobre o Tumblr em si e a

26:22 quantidade de avaliações que ele tem. Na verdade, ele analisou detalhadamente todos os pontos de dados que retornamos pela nossa API e deu uma resposta: sim, devo comprar? Ou não devo? Este é só um exemplo de como usar dados, começando pela Amazon, consultando o Reddit e depois tomando uma decisão. Mas pense nisso em uma escala maior. Sabe, não precisa ser comércio eletrônico; pode ser qualquer tipo de caso de uso, desde que tenhamos ferramentas que permitam acessar a página e os dados. Agora, cabe a você decidir que

26:52 lógica usar e como quer construir esse pipeline e ampliá-lo também, porque uma das coisas que fazemos melhor é fornecer dados em escala. >> Legal. Acho que já podemos encerrar. Se vocês tiverem perguntas depois, estarei disponível, ou podem passar no estande da Bright Data. Obrigado pelo tempo de vocês.

27:26 >> [música]

Transcrição original

[00:13] All right, let’s begin. So, nice to meet everyone. My name is Johan Raju. I’m a solutions architect here at Bright Data. I’ve been with the company for about six years, and I’ve been working in this space of data collection and web scraping. We initially started off as a proxy infrastructure company uh with the largest residential IP network in the world and then we moved into the data collection platform. Now we’re the world’s largest web data collection platform collecting pabytes of data per month only second to Google. So just a

[00:45] little information for you guys on you know where we started and and how how we moved over to today. So I’m going to be covering two topics. First is I’m going to be speaking about building AI agents with real-time web data. Some tools that people are generally using when it comes to you know AI agents versus depending on your rag model with pre-index data and what are the advantages what we see in the industry and you know what changes uh are to come and what it takes to uh run these agents. And then finally, I’m going to have my hands-on

[01:17] exercise that you guys can follow along with me. Uh, where I have a product intelligence agent that will essentially use a product from Amazon, get sentiment on Reddit, and then provide you analysis with, you know, should I buy that product? Yes or no. So working in the scraping space for a long period of time, one thing I’ve noticed is, you know, when you think about building scraping or collecting data,

[01:47] what does it really take? Right now, the early customers in the scraping space that I’ve worked with, you know, when when you first start, it’s always about, hey, I want these are my target sites and this is what I want to scrape, right? You know, people usually start off with low volume. you know, that’s what comprises a general traditional scraping archite architecture. Now, let’s say I’m an e-commerce uh user and I want to collect e-commerce data. You know, my biggest targets might be Amazon and Walmart because, you know, I can find a lot of products on there and I can get price intelligence and data on

[02:19] reviews and, you know, all the general information for a vast majority of products. Now, when does scraping become challenging? And this is a change that I’ve actually seen with customers that I work with today um occurring in the industry when it’s not just about Amazon and Walmart anymore. Now you want Shopppee. Now you want Shopify stores. Now you want um Etsy and you know a bunch of other sites. Now if we take a step back and I mentioned you know you know your target sites in order to build

[02:51] scrapers around your target sites it takes generally about you know 3 to 5 days to develop a scraper if you’re a developer and that’s not only developing it if it’s QAing it running it in development testing it out and you know the whole endto-end pipeline now if we think about you know 10 sites okay might take a bit of time now you think okay I want to add a 100 sites a thousand sites this is where things start getting complicated. Now before AI even came into the picture, we would developers

[03:21] would have to manually understand the site, you know, understand where the selectors are located. Can I target these data points in the API and actually build crawlers around that knowledge and I’ve worked with many people, you know, that’s that have been scraping for 10 plus years that have been managing and maintaining these crawlers. But when it comes to scaling up, then you’re thinking, okay, like now I’m adding more sites to what I already am scraping, but I also need to manage the scrapers that I already have. So let’s say Amazon makes a change tomorrow

[03:53] and two other sites make a change tomorrow, but you’re managing a thousand sites. This requires a lot more engineering resources and a lot more time for you to actually figure out, okay, what change was made? How can I count counteract it? How can I fix it? And is this actually impacting my customers, my SLA? and my data quality. Now before we had this bottleneck of having to scale up your resources and when at those times when you would have to manage the thousand sites you’d need you know two times more engineers, four times more engineers etc. But now in

[04:23] this AI space, none of that is needed because we have things like agents and agents can actually go out and discover and build sites, build scrapers for these sites a lot easier than, you know, team of developers and engineers. Now, this is one classic example of an e-commerce site of targeting selectors on the page. So, you can see here we’re just in this example, it’s just targeting price and title. Now, what happens if the price has changed? the selector for the prices changed, you

[04:54] know, tomorrow. That will require some downtime on your end because, you know, if you’re the one scraping the site because, you know, now you’re not getting price and that can affect the rest of your pipeline that you have to maybe analyze products, you know, etc. Now, usually that require like a team to go in, fix it, then maybe back fill on the data that you know you’ve lost. But now with AI agents that can be automated and done automatically. So when you also build scrapers,

[05:24] one thing to always know is every website is different. Now sites in the example I use like Amazon and Walmart, they have two different layouts even though they both might have things like price, title, description. So each site requires a unique scraper to build build for and the even more important than that is each site wants to protect their data. Now sites usually like to ensure that no one else is uh you know has

[05:56] enough like the same product intelligence they have or you know depending on what type of data that they’re you know trying to keep secure they will always implement different types of anti-bot and different types of capture to throw you know scrapers and bots off from collecting that data. Now I’ve seen all different types of blocks. I’ve seen, you know, the most basic sites that you can get through with data center. And then I’ve seen sites that, you know, are protected by Cloudflare, Okami, you know, you name it, that you actually need to have a residential IP address. You need to have

[06:26] a real browser. And you need to seem like a real user. You know, if you click too fast on the page, if you scroll too fast, that could all trigger anti-bot if you’re blocking images, things like that. Now, like I mentioned before, engineering has been a bottleneck until the AI space came here when we we had the AI agents ready like you know able to build crawlers and you’d have to actually have a deep understanding of the site you know um a lot of sites like I mentioned because the layout is very different it means that they’ll try to

[06:56] make sure the data is as hard as possible to collect for you and you would have to have a deep level of domain knowledge expertise to get to that data. data. Now this is a diagram of how the traditional scraping architecture look like. So just to briefly go over this we have on the left hand side the you know the a the actor essentially what’s triggering this crawl. So some people like using like schedulers you know um cron jobs you name it where they want

[07:28] the data fed to them daily weekly etc. And that kicks off the job directly over to the next layer. Some people like doing, you know, specific config, specific URLs. Same uh same idea right there. It goes and that goes right over to the proxy layer. Now, the proxy is essentially how you mask yourself from being detected. There’s different types of proxies that you can use. you know, some static IP addresses like data center ISP, some rotating residential IP addresses that come from like laptops,

[07:58] tablets, TVs that are more authentic to sites because they can say, “Okay, this is registered to an actual device, we’ll let them in.” And then some tools that have anti-bot capabilities built in like what bright data offers web unlocker or browser API which is in the browser automation side of of of it where the the actual product itself manages okay is my request getting blocked am I going to retry am I using the right IP that’s all in a part of the layer when you think about the anti-bot side of things

[08:29] now from there then the next layer is you know parsing the data and actually validating if the data is, you know, authentic. That’s a big part of, you know, after you actually get to the site and collect the data, am I getting price back 90% of the time and do I want to validate that I’m getting it back 90% of the time? Do I need review data? Do I need ratings? You know, things like that. You have to think about, okay, like how do I ensure that I’m not going to be setting up when the data goes through my pipeline that it’s going to

[09:00] be checked accurately by validation rules. Then we go into the post-processing side of like the ingestion layer. So you know dduping records enriching your data pro processing your batches that is once you you know some people like delivering it to cloud stoages some people like delivering it to their internal systems once it gets there you know what are you doing with the data how do you ensure that you’re not providing the same record twice or you know unclean data. So you know moving it from in the medallion architecture bronze silver and

[09:31] then finally moving it over to your database and if anything fails in that process then you need to start the whole uh process over and this is where I was mentioning you know if something breaks in the antibbots layer or if it breaks and you know selector has changed you need to start the whole process over sometimes backfilling you know maybe you might miss SLAs’s and things like that And so here I’m going to be talking about now specifically AI. Now how many

[10:01] of you guys today are using things like you know claw GPT any of the uh actual like AI brains? Okay, cool. How many of you guys have entered a query where it’s it’s you see it says thinking or looking for an answer or searching the web? Okay, cool. Nice. So this is where you see and I’ve split it up into two where the left hand side is where you see okay when the AI is actually thinking or searching the web that’s where it

[10:32] decides okay the query that you gave me I actually need to go out and find the answer to this I can’t use my pre-trained data so some prompts like I’ll give a basic example when’s the best time to travel to San Francisco so if I say that sometimes the the uh AI brain will usually go over to the rag side, the async where it’ll be used to pre-train data that you know, hey, maybe the best time to travel is during the summer, and it’ll actually provide that back to you. Now, if I change my query

[11:02] and say, when’s the best time to travel this year to San Francisco, then the AI the AI has to actually go out into the web and see, okay, like do I need to look at what’s going on? You know, is my user asking me for events that are going on? you know, how do I like I need to make a decision this year real time to find out when I can recommend for them to travel. So, these are two different paths that um each a the each AI can actually make and provide you an output

[11:33] with. Some some things I noticed is like responses sometimes can be cached. Like you know if someone’s asking what’s the weather today in in New York City like a few times a day that might be a good response to cash because you only need one person to really ask that and you can you know what the weather is going to be for the day and you can just provide it, you know, so you don’t have to burn through tokens or you know um uh like money to actually go out in the web and and actually find that data.

[12:05] Now like I mentioned there’s like two paths to uh gather this intelligence. The sync path and then the async path. Both are advantageous for different cases. The sync path is you know if you really actually want to go out on the web and actually find what you’re looking for and async is if you know it’s okay to rely on pre-trained data. And both require different sort of setups. And we also do offer a tool which I’m going to cover in the next slide um where you can

[12:35] actually use leverage Bright Data’s tools to actually go out into the web and collect data. Now one thing I actually noticed is if you go into any website and if any of you guys are familiar with like robots.txt, a lot of sites usually block things like Claudebot and GPTbot. So if you ask these engines these questions that are actually going out to the web and trying to find the data, they might not be able to get those data from those specific sites because they’re actually blocking those you know GPT or claude from actually accessing the data. Now that’s

[13:06] where we sort of come in and because what our advantageous is advantage is we’re able to actually unlock the web. You know whether it’s if you have a scraper or if you have an agent or you’re using um you know something like cloud or GPT we have tools that will allow it to actually go out into the web without actually getting blocked and scraping data. And we’ve been masters at this for for a long time now. I’m going to be talking about the the web model

[13:37] context protocol. That’s what MCP means. So it usually integrates with something like claude code, lang chain, you know, name it like you could think of it as like a brain that it needs to speak to and that brain essentially connects to our MCP endpoint which is essentially 60 plus APIs that we control in our library. And some examples you can see here are you know search engine. So, you know, Google results, scraping pages as markdown files, and scraping pages as

[14:08] HTML. Now, if I want to target specific sites like, you know, Amazon, Reddit, LinkedIn, Instagram, that’s all included as well. I actually, as an example, I I worked with someone two weeks ago that, you know, was trying to build a social media listener with the MCP, and one use case they said was, “Hey, um, this is my name. I want to go out into the web and collect me all of my social media profiles and return me how many followers I have. So what this did was

[14:39] he was using it on cloud code. It made a call to our MCP using the search engine first found the results his pages on Instagram, Tik Tok, LinkedIn, brought that back, made the API request to our data pipeline and then brought back the results on how many followers you have and gave them the context back. So that’s the power of you know what this can do and how much of this the web that the MCP can unlock. And also this works for browser automations. Um so you know

[15:09] creating things that you want to use a browser for like clicking scrolling you know maybe door dash like automating an order or um automating you know on a travel site trying to find you know what’s the best times to buy a fight a flight book a flight. Um, so things like that it’s very advantageous for. And I’m going to show you a little video on how the MCP works. Let me bring. So on the left hand side you can see

[15:40] this is clawed with bright data’s MCP setup and on the right side this is without bright data’s MCP setup on claude. So you can see it’s the same prompt being asked and it’s use your browser to get the contents of this page which is a glass door URL and on the left side you can see with bright data as MCP it actually went over to glass door and got the results but on the right hand side it actually got blocked from going into glass door. So

[16:11] this is one perfect example of you know sites like Glaster I’ve worked with on a on a data collection level that’s like a very protected site and you know this is one great example on why the MCP is advantageous you know pairing it up with something like claw or you know GPT or any sort of brains that you know you’d want to run it on. Okay. So now I’m going to be speaking about an example use case. So working with AI companies, these are

[16:45] examples of you know customers that I speak with that use bright data in any form of way. So you know training models um fine-tune enriching their uh enriching their models or fine-tuning their models um providing AI agents real-time access like like we mentioned or enriching rags. So in this example, I’m going to be speaking about specifically jobs, right? So let’s say someone came to me and said, “Hey, listen, I I need job data and I want to train a model with jobs data like maybe

[17:17] resume matching, you know, as an example.” So one thing we need to know is when you’re thinking about jobs data, it’s not like other, you know, collecting other forms of data, you know, where it’s I can pull in the data and then I can just forget about it or train a model. You need continuous updates about jobs. You know, which companies are posting what, you know, how many jobs are available, what’s the salary, you know, location, etc. So, this is why it’s important that the data is actually structured and has a consistent output.

[17:47] The actual performance is very key as well because you know if you’re building a model to analyze like job patterns or you know anything in the job market you need that data flowing to you consistently and you need also need this to be very reliable because if something breaks or you know if there’s downtime then that can actually affect the actual in the entire pipeline that you’re you want to run and the timeline for this you know it’s not only about getting data starting from today about jobs throughout. Some

[18:18] people need jobs data previously, you know, like the past few months or past few years. So that’s why it’s very important that you know, you’re covering all of these because if you want to build a big picture on, you know, in this example for jobs on, you know, how do I find train my model on jobs data so I can find the best matches for this position. You need to understand how the trends changed. you know maybe salary has increased for software engineers over time and you need to understand why what the demand is what’s the current

[18:48] you know offering and you know you can you build your model around that so this is like the example use case like an AI agent for resume matching so it’s exactly what we discussed here um so immediately you need real-time access to actually go through and um you know scrape the data and be able to train this model along with it. Okay. So, I’m going to be covering a hands-on exercise here. So,

[19:21] I have a Google notebook here. And if any of you guys are following along, there’s two things that you require to actually run this script. One is a bright data API token and one is a Gemini API key. And I have the list of instructions in the Google Drive on how to set up both. Um, and essentially I have everything set up here for you to run. So I’ll speak a bit about what we’re doing here. So first we’re calling Bright Data’s API endpoint to collect

[19:51] Amazon data. We’re collecting the response from Amazon. Then calling the API for Reddit itself, capturing the raw Reddit data response and then performing AI analysis over that. Now before I run this, I want to show you the exact data that we’re getting from each of these APIs. So Amazon, we’re getting product level data. So I picked a Tumblr cup as an example and

[20:22] essentially we have every single data that about the product. So you know price, images, URLs, etc. And I I’ll show you this once it runs as well. My screen’s a little small, so it might not show the entire thing, but and we also have a Reddit API where what I’m going to do in this uh script that I built is I’ll actually run a keyword search for that specific Tumblr cup. And I’m going to be

[20:54] outputting posts that, you know, talk about what what what’s exactly, you know, is should I buy this or not? Is this worth it? Is this not worth it? What are people saying? So, let’s run this live.

[21:32] All right. Right. So, we got our keys loaded here. All right. So, we got our Amazon data that came back. You can see it has price, rating, you know, other sellers that are selling it, all of the actual data from the product itself, features, you know, you name it. Now, we’ll go ahead and trigger a Reddit search

[22:04] for the Stanley Quenter um Tumblr. Just having, you know, reviews about the actual product itself.

[22:34] And while this is running, I will show you a bit about what I spoke about the model context protocol, the MCP server. So we have different layers. I know I talked about things like you know browser automation and search engine but we also do cover things like you know e-commerce, social media, financial intelligence, research, business intelligence. So these are can all be plugged into an MCP endpoint you know app store travels and we are still

[23:06] adding to it. Currently we have about like 60 plus tools available to use for AI agents. Um, some people prefer actually using scrapers themselves, but we do this will provide allow your AI agent to choose which tools to use. So, it’ll be a lot more streamlined and easier

[23:46] While this is running, I can take any questions if anyone has. Yeah. So the question was how come you guys can scrape resume level data but you know bots can’t do it right. So what what gives bright data the advantage and this is why we’re able to do it whereas

[24:18] like you know things like bots aren’t able to is because we have the world’s largest infrastructure like proxy infrastructure and where you’re talking about you know a few requests maybe like you know maybe a few days worth of scraping pages like you know glass door as I use as an example might work right but let’s say after a while glass door catches on like hey you know he’s using a data center IP he’s accessing the page you nothing’s actually being done on the page and then they start adding all these layers of anti-bot into the picture. That’s when companies like us

[24:50] bright data would come into the play because you need to actually not only own like a scraper or a bot, but you need to think about how do I bypass you know what the site is protected with the capture and how do I do it consistently without triggering the block. So, we’ve been doing it for years and we have tools that bake into this anti-bot logic where we’re changing our approach to a site every time at scale, but sometimes um comp like people that are starting off scraping might be doing it in-house and managing it. You have to also think

[25:21] that’s also engineering time and resource time because trying to figure out what change did that site make also takes time, even probably more time than managing the scraper. Okay, cool. Looks like it came back with data here. So, I can show you. So, it h it c captured a few Reddit posts about the actual Tumblr itself. So, some comments about, you know, what people were saying about

[25:52] the actual Tumblr. It looks like people were saying it was embarrassing and people were obsessed, but and then it gives the actual response here. So you could see actually buy it. It’s on a decent discount. You know, there’s overwhelmingly positive reviews, but a few minor mixed opinions. There’s high demand, but low stock on Amazon because it returned that from the data. And you know, a few other analysis points about the actual Tumblr and the

[26:22] amount of reviews it has. It actually dissected all the data points that we returned from our API and gave you a decision on yes, should I buy it? Should I not buy it? Now this is just one example of you know using data from starting from Amazon running it on Reddit and then making a decision but you can think of it it think of this on like a bigger picture you know you can it doesn’t have to be e-commerce it can be any sort of use case you know as long as we have like we have the tools that can allow you to go to the page and access the data. Now it’s up to you what

[26:52] logic and how you want to build that pipeline and build it at scale as well because what one thing we do best is actually provide the data at scale. >> Cool. I think we’re uh able to wrap up and if you guys um want to c if you have questions after I’ll be available or you could stop by at the Bright Data booth. But thank you for your time guys.

[27:26] >> [music]