Pular para o conteúdo

Jev Ultrafast: um agente de navegador que nunca gera coordenadas nem seletores

Ver no idioma original →

Autoria: Github Awesome · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Jev Ultrafast: a browser agent that never generates a coordinate or a selector · Canal: Github Awesome · 00:00 · Assistir no YouTube

Tópicos: Agentes de IA, Automação de tarefas e workflows, Engenharia de software com IA

Jev Ultrafast navega por páginas da web sem gerar coordenadas ou seletores. Em vez de depender de capturas de tela e de um modelo de visão para determinar onde clicar, ele lê diretamente o DOM e cria uma tabela indexada de elementos clicáveis. Em seguida, decide a ação e o alvo em uma única rodada de rede.

  • Jev Ultrafast interage com páginas da web sem gerar coordenadas nem seletores.
  • Muitos agentes de navegador usam capturas de tela e modelos de visão para localizar elementos.
  • A abordagem descrita lê diretamente o DOM.
  • Os elementos clicáveis são organizados em uma tabela indexada.
  • O agente decide a ação e o alvo em uma única rodada de rede.
Início Capítulo Resumo
00:00 Navegação sem coordenadas ou seletores Jev Ultrafast clica em uma página da web sem gerar coordenadas nem seletores.
00:00 Abordagem comum dos agentes de navegador Muitos agentes usam capturas de tela e um modelo de visão para localizar onde clicar.
00:00 Leitura do DOM e seleção de ações Jev Ultrafast indexa elementos clicáveis no DOM e decide a ação e o alvo em uma única rodada de rede.

sem gerar uma única coordenada ou seletor — 00:00

lê o DOM diretamente — 00:00

duas decisões: ação e alvo em uma única rodada de rede — 00:00

  • Jev Ultrafast (ferramenta): Agente de navegador que lê o DOM e seleciona elementos clicáveis sem gerar coordenadas ou seletores.
  • DOM (conceito): Estrutura da página da web lida diretamente pelo agente para identificar elementos clicáveis.
  • browser agent (conceito): Agente que interage com páginas da web, por exemplo, clicando em elementos.
  • vision model (conceito): Modelo que pode analisar capturas de tela para determinar onde clicar em uma página.

00:00 Jev ultrarrápido navega por uma página da web sem gerar uma única coordenada ou seletor. A maioria dos agents de navegador captura a página, envia a imagem para um modelo de visão e espera enquanto ele escreve onde clicar, passo após passo. Este lê o DOM diretamente, cria uma tabela de índice dos elementos clicáveis e toma duas decisões: ação e alvo em uma única ida e volta pela rede.

Transcrição original

[00:00] Jeff ultrafast clicks through a webpage without generating a single coordinate or selector. Most browser agents screenshot the page, feed it to a vision model, and wait while it writes out where to click, step after step. This one reads the DOM directly, builds an index table of clickable elements, and makes two decisions: action and target in one network round trip.