Desenvolva com agentes de percepção — Emile Baizel e Shruti Arora, Amazon AGI Lab

Autoria: AI Engineer · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Build with Perception Agents — Emile Baizel & Shruti Arora, Amazon AGI Lab · Canal: AI Engineer · 55:42 · Assistir no YouTube

Tópicos: Agentes de IA, Automação de tarefas e workflows, Engenharia de software com IA

Resumo

Emile Baizel apresenta o Amazon AGI Lab, sua abordagem para agentes de conhecimento e o serviço Amazon Nova Act, voltado à automação confiável de fluxos de trabalho em navegadores. Shruti Arora demonstra duas ferramentas open source: visual annotation, para registrar alterações em páginas, e visual verification, para conferir designs e fluxos de usuário. O workshop propõe conectar essas ferramentas a um agente de programação para aplicar feedback e verificar as mudanças automaticamente. Participantes também compartilham ideias de uso com o dispositivo B e outras fontes de feedback.

Pontos-chave

O Amazon AGI Lab desenvolve agentes que percebem, raciocinam e agem em ambientes variados para realizar tarefas do mundo real.
A equipe prioriza colaboração, percepção e confiabilidade, com modelos treinados em ambientes simulados baseados em casos de uso reais.
Amazon Nova Act é um serviço AWS para criar e executar fluxos de trabalho confiáveis em navegadores, incluindo preenchimento de formulários, pesquisa, compras e QA.
Agentes de percepção devem compreender o conteúdo visual de uma tela, não apenas clicar em elementos, e funcionar mesmo quando os sistemas não oferecem APIs.
Visual annotation permite apontar elementos de uma página e descrever alterações, exportando os registros em JSON e um prompt.
Visual verification confere designs e fluxos de usuário descritos em arquivos Gherkin e gera um relatório.
No exercício, um agent bridge conecta as anotações da extensão do Chrome a um agente de programação e à verificação com Nova Act.
Participantes exploram integrar feedback de conversas captadas pelo dispositivo B e dados de ferramentas como Jam MCP.
A sessão destaca a colaboração visual entre pessoas e agentes como um próximo passo para o desenvolvimento de agentes de percepção.

Capítulos

Início	Capítulo	Resumo
00:12	Apresentação do workshop e do laboratório	Emile Baizel apresenta sua equipe, o Amazon AGI Lab e os tópicos da sessão.
01:16	Abordagem do Amazon AGI Lab	A equipe descreve seu foco em agentes de conhecimento e os princípios de colaboração, percepção e confiabilidade.
03:21	Amazon Nova Act	Baizel apresenta o serviço para automatizar fluxos de trabalho em navegadores e seus principais usos.
05:24	Por que agentes de percepção	A apresentação diferencia clicar em elementos de compreender o que aparece na tela.
07:29	Visual annotation e visual verification	São apresentadas duas ferramentas open source para registrar mudanças visuais e verificar páginas.
09:31	Demonstração e cenário do workshop	Shruti Arora explica o fluxo de trabalho de feedback entre equipes e demonstra a anotação de páginas.
12:38	Anotações e verificação de interfaces	A demonstração mostra como anotar elementos, exportar instruções e conferir páginas com visual verification.
15:43	Estrutura dos exercícios e desafios	Arora apresenta o roteiro, os níveis do workshop, os pré-requisitos e as atividades extras.
18:21	Cenário prático e preparação	Os participantes recebem um cenário de alterações em uma página de podcast e as instruções para preparar o ambiente.
25:09	Conexão entre extensão, agente e verificação	A apresentação percorre as mudanças necessárias para conectar a extensão do Chrome ao agente e executar verificações.
31:35	Feedback de design captado pelo dispositivo B	Giovanni apresenta uma demonstração que transforma comentários de uma conversa sobre design em alterações numa página.
36:52	Ideias demonstradas pelos participantes	Participantes exibem propostas de uso, incluindo modificar uma página temática e verificar o resultado.
40:00	Integrações com backlog e ferramentas de equipe	São apresentadas ideias para transformar conversas em itens de backlog no Jira e melhorias em produtos.
46:49	Outras fontes de feedback e votação	Um participante propõe usar Jam MCP para capturar contexto de interface, e a sessão abre uma votação de ideias.
53:52	Conclusões e encerramento	Arora reforça a importância da colaboração visual entre pessoas e agentes e compartilha recursos para começar.

Citações

Se meu agente funciona 50% das vezes, ele não funciona de jeito nenhum. — 02:49

Queremos que o agente entenda a tela como um ser humano faria. — 05:55

Você pode apontar, clicar e simplesmente descrever as alterações que quer fazer. — 07:29

Você envia o feedback ao agente e, quando as mudanças estiverem prontas, verifica o resultado. — 12:07

A colaboração entre pessoas e agentes está mudando. — 54:25

Conceitos e entidades

Amazon AGI Lab (empresa): Equipe de pesquisa e produto da Amazon focada em agentes para tarefas de conhecimento.
Emile Baizel (pessoa): Apresentador do Amazon AGI Lab que introduz o laboratório, Nova Act e agentes de percepção.
Shruti Arora (pessoa): Arquiteta de soluções que conduz o workshop prático sobre ferramentas de percepção visual.
Amazon Nova Act (ferramenta): Serviço AWS para criar e executar fluxos de trabalho automatizados em navegadores.
Agentes de percepção (conceito): Agentes que interpretam visualmente seus ambientes e podem agir em telas para realizar tarefas.
Visual annotation (ferramenta): Extensão que permite anotar uma página visualmente e exportar as alterações desejadas em JSON.
Visual verification (ferramenta): Skill que verifica páginas contra especificações de design e fluxos de usuário, produzindo um relatório.
Gherkin (conceito): Sintaxe usada para descrever fluxos de usuário que podem servir de base para verificações.
Agent bridge (ferramenta): Ponte criada para encaminhar anotações da extensão ao agente de programação e iniciar mudanças e verificações.
B (ferramenta): Dispositivo vestível com microfone, apresentado como meio de captar conversas e transformar feedback em alterações.
Jam MCP (ferramenta): Ferramenta mencionada por um participante para registrar sessões, logs de console e solicitações de rede.
Atlassian MCP (ferramenta): Integração proposta por um participante para registrar itens de backlog no Jira.

Tradução completa (pt-BR)

00:12 Olá a todos e obrigado por virem ao nosso workshop sobre construção com perception agents. Meu nome é Emil Basel. Lidero uma equipe de arquitetos de soluções no Amazon AGI Lab. Nossa equipe se concentra em duas coisas. A primeira é trabalhar com alguns dos nossos primeiros clientes adotantes, que querem usar alguns dos nossos primeiros modelos e produtos, para ajudá-los a colocá-los em produção. A segunda parte é fechar o ciclo de feedback dos nossos trabalhos com clientes, criando evals para que nossa equipe de pesquisa treine nossos modelos,

00:43 e levando feedback de produto e engenharia para essas equipes também. Estou acompanhado por uma das nossas excelentes arquitetas de soluções, Shruti Arora, que vai conduzir o workshop de hoje. Um pouco sobre o que vamos abordar hoje: vou fazer uma breve apresentação do Amazon AGI Lab e falar sobre o primeiro produto que lançamos no ano passado, o Amazon Nova Act. Depois vamos falar sobre perception agents, que é o foco do workshop de hoje, e então começaremos o workshop.

01:16 Um pouco sobre o laboratório. Somos uma equipe de pesquisa de ponta e de produto que combina a velocidade de uma startup com a escala e os recursos da Amazon. Nosso foco é construir agents para trabalho intelectual que consigam perceber, raciocinar e agir em diversos ambientes para realizar tarefas do mundo real. Nossos escritórios ficam em San Francisco e Boston. Temos algumas outras palestras acontecendo ao longo da semana. Temos um estande na exposição, então passem por lá para pegar

01:47 alguns brindes, conhecer algumas pessoas da equipe e assistir a algumas das palestras. Quero compartilhar um pouco sobre nossa abordagem e sobre como pensamos em agents, de três maneiras diferentes. A primeira é a colaboração. Pensamos em construir agents que sejam mais como colegas de equipe do que como uma caixa-preta. E, quando dizemos colegas de equipe, queremos mesmo um agent que entenda qual é a nossa meta, qual é o nosso objetivo, e que possa explicar como está pensando em alcançar essa meta. E

02:19 depois, fundamentamos tudo isso em casos de uso reais dos clientes. Por isso, trabalhamos muito de perto com um grande número de clientes para fundamentar de verdade todo o trabalho que fazemos com agents. O segundo ponto é a percepção. Os agents precisam entender o ambiente. E, para nós, como se trata de um agent baseado em percepção, o ambiente abrange vários dispositivos. Então, no ano passado, começamos pelos navegadores, mas dá para imaginar que qualquer tela visual seja um

02:49 ambiente no qual nosso agent possa realizar trabalho intelectual. Isso inclui dispositivos móveis e também o uso de computadores. O terceiro ponto é a confiabilidade. Temos uma ótima citação de um cliente: “Se meu agent funciona 50% do tempo, ele não funciona de jeito nenhum.” Isso porque você ou não vai executá-lo, ou, se executar, vai acabar depurando-o e gastando todo esse tempo, e basicamente vai perder todos os ganhos que está obtendo com esse agent. Por isso, passamos muito tempo construindo e treinando nossos modelos em ambientes simulados

03:21 para aprendizado por reforço. E, de novo, muitos desses ambientes se baseiam em casos de uso do mundo real, que obtemos não apenas de nossos clientes externos, mas também de muitas equipes internas da Amazon que realizam bastante trabalho intelectual. Legal. Com esse contexto, quero falar sobre o primeiro produto que lançamos no ano passado. O Amazon Nova Act é um serviço AWS de primeira classe que permite aos desenvolvedores criar e executar

03:51 workflows baseados em navegador, de forma confiável e em escala. Usando linguagem natural, você pode conduzir um workflow no navegador para preencher páginas, navegar, fazer pesquisas, preencher formulários e chamar uma pessoa para participar do processo, caso precise de alguém para aprovar um relatório de despesas, caso fique travado ou em outras situações desse tipo. Há quatro principais casos de uso para os quais vimos clientes adotarem essa solução. O primeiro é o preenchimento de formulários. Se você precisa fazer isso em escala, em vários

04:22 sites diferentes, e não quer escrever um prompt para cada site ou criar um script determinístico para cada site, pode usar o Nova Act para isso. Pesquisa e extração: se quiser fazer pesquisas e obter dados de muitos sites diferentes. Compras e garantia de qualidade. Um pouco mais sobre o que lançamos. Deixe-me passar por tudo isso. É um serviço AWS de primeira classe. Então, se você acessar o console da AWS e digitar

04:53 Nova Act, verá o Nova Act lá. E, no próprio console, você pode ver toda a trajetória. É uma maneira muito fácil de ver tudo o que seu agent fez, as caixas delimitadoras ao redor de todos os elementos que ele está observando e nos quais está tentando realizar ações. Nos bastidores, temos um modelo personalizado de uso de computador que faz toda a inferência. Este ano, lançamos um servidor MCP e também uma skill, que vocês vão usar no workshop, para que seus agents possam usar o

05:24 Nova Act com muita facilidade. Também temos intervenção humana e uso de ferramentas. E temos ainda um playground. Se você acessar a página inicial do Nova Act, encontrará uma maneira sem código de ver o Nova Act em ação. Olhando para o futuro, o tema do workshop de hoje são os perception agents. Por que achamos que há necessidade de perception agents? Para quem não conhece o termo uso de computador, é basicamente uma maneira de um agent realizar uma ação na tela de um computador, certo?

05:55 Você vê um botão azul no canto direito e diz ao agent: “Ei, clique neste botão azul aqui.” Isso é muito importante e poderoso, e é essencial para automatizar workflows. Mas achamos que existe outra metade disso: o agent realmente entender o que está vendo na própria tela, em vez de usar a tela como uma espécie de superfície cega na qual pode simplesmente clicar em elementos. Queremos mesmo que esse agent consiga entender a tela como um ser humano entenderia, certo? Então, se eu mostrasse

06:26 a alguém um cliente de e-mail do fim dos anos 1990, como um cliente de e-mail do Yahoo ou do Hotmail, ou algo que essa pessoa nunca tivesse visto antes, provavelmente ela conseguiria descobrir como enviar um e-mail, mesmo sem nunca ter usado aquele cliente. Isso porque temos uma compreensão coletiva, formada por milhares e milhares de horas usando essas telas, e entendemos intuitivamente como usar essas coisas. É exatamente a isso que estamos tentando chegar com esses agents. E o segundo ponto é que esses agents não precisam de APIs para funcionar,

06:58 certo? Se você pensar em boa parte do trabalho intelectual, muitos humanos usam telas que simplesmente não têm APIs, e é por isso que há pessoas realizando essas tarefas. E queremos que esses agents também consigam realizar o mesmo trabalho em diversos sites. Queremos que os modelos vejam as telas da mesma forma que nós, porque isso realmente facilita a colaboração, certo? Em vez de escrever parágrafos explicando o que você quer que o agent faça nesta tela e descrevendo a tela, você pode simplesmente apontar, clicar e

07:29 descrever as mudanças que quer, e é isso que vocês vão fazer no workshop de hoje. Vocês vão clicar em alguns elementos e dizer: “Ei, quero mudar a cor do fundo para vermelho.” E pronto. Depois, é só mandar o agent fazer isso. E, para começar, disponibilizamos como open source duas primitivas de perception agents, que vocês vão explorar a fundo no workshop de hoje. A primeira é a anotação visual. Com ela, em qualquer página da web, você pode apontar, clicar e simplesmente

07:59 descrever as mudanças que você quer fazer. E, quando terminar, você clica em exportar, e ele exporta um arquivo JSON com todas as mudanças que você quer e um prompt, que você pode fornecer ao seu coding agent junto com esse arquivo JSON, dizendo: “Ei, vá e faça essas mudanças.” Então, é importante notar que isso não tem nada a ver com inference. É puramente determinístico. Ele simplesmente gera JSON; não tem… Não está vinculado a nenhum modelo nem nada do tipo. A segunda parte, o segundo primitivo que lançamos, é a verificação visual.

08:30 E, se você pensar em um site que tem, há certos estilos e designs CSS que você quer que o seu site siga. Você tem workflows diferentes que quer que o seu site ofereça. Talvez tenha um fluxo de checkout, um fluxo de login ou algo do tipo. E você pode descrevê-los em arquivos Gherkin. Assim, você pode usar a verificação visual, essa skill, executada pelo seu coding agent com base nos artefatos de design que você tem e nos arquivos Gherkin, para garantir que o seu site esteja seguindo

09:00 isso. E, mais uma vez, é algo que vocês vão usar no workshop de hoje. E, de novo, tudo isso é open source e está disponível hoje. E é isso que vamos fazer no workshop. Acho que já falei bastante, então vou passar a palavra para Shruti, que vai dar início ao workshop. >> É só apertar isso? Obrigada. >> Certo. Todos conseguem me ouvir bem? >> Sim. >> Certo.

09:31 Bem-vindos. Obrigada, Emil, por essa ótima apresentação dos nossos laboratórios Amazon AGI e dos produtos que lançamos, que disponibilizamos no início de maio deste ano. Como ele mencionou, vamos fazer um workshop prático, com atividades práticas sobre o que lançamos: a interface, o anotador visual e a verificação visual. Tenho uma demonstração breve aqui,

10:02 mas, antes de começarmos a demonstração, quero que todos vocês entrem neste exercício de interpretação de papéis. Só tenham paciência comigo. Imaginem que vocês são engenheiros de frontend e estão desenvolvendo uma aplicação web. Vocês têm uma equipe de design e estão buscando inspiração. Eles têm esses arquivos do Figma, com base nos quais vocês estão desenvolvendo. Vocês também estão colaborando com uma equipe parceira que quer colocar uma parte das informações dela na página web que vocês estão desenvolvendo.

10:34 Então, se vocês pensarem bem, tendo os designs, provavelmente levariam de quatro a cinco semanas para desenvolvê-los, montar toda a base de código e de fato criar o site. Agora, na terceira ou talvez na quarta semana do processo de desenvolvimento, vocês pensam: “Ah, talvez eu devesse voltar e verificar se isso está bom, se está tudo certo com o restante da equipe.” E vocês estão colaborando constantemente, certo? Então,

11:05 vocês estão verificando se o trabalho que fizeram é o que querem lançar. Então, vocês compartilham a base de código pelo GitHub, ou pelo GitLab, ou pelo que quer que usem para armazenar o código, e eles executam esse servidor web localmente e abrem o site. Aí dizem: “Ah, isso parece estranho. O cabeçalho provavelmente não deveria estar vermelho. Quero mudar de volta para

11:36 alguma outra coisa.” E eles dão esse feedback, provavelmente em uma mensagem no Slack ou, por exemplo, em um documento compartilhado. E, quando vocês recebem esse feedback sobre o site, analisam cada item. Vocês podem discordar ou concordar com alguns, chegar a um meio-termo e definir qual feedback querem incorporar. Precisam passar por todos eles, um por um, e começar a fazer as

12:07 mudanças. Com coding agents, acho que o que antes levava talvez uma semana pode ser reduzido a alguns dias. Agora, imaginem se vocês pudessem pegar o feedback diretamente e passá-lo ao coding agent sem supervisão, e só intervir depois que as mudanças fossem feitas, para dizer: “Ah, ficou bom. Todas as mudanças foram incorporadas.” Quanto tempo isso reduziria? Talvez

12:38 algumas horas. Vocês simplesmente coletam o feedback, enviam para o agent, vão tomar um café e, quando voltam, todas as mudanças estão incorporadas. Então, é exatamente disso que o Emil estava falando. Temos uma extensão do Chrome que chamamos de anotador visual. Há três maneiras de fazer anotações. Como vocês podem ver, dá para desenhar na página, selecionar um elemento ou colocar um alfinete, como no Google Maps, e adicionar suas

13:09 anotações. Depois, vocês podem baixá-las e enviá-las à equipe que precisa fazer as mudanças. Ou, se forem vocês que vão fazê-las, fornecemos um prompt adequado para IA, que vocês podem enviar ao agent, e ele vai fazer as mudanças automaticamente — bem, vocês precisam instruir o agent a alterar a base de código. Esse foi o anotador visual. O próximo

13:39 O próximo primitivo que lançamos é a skill de verificação visual. E, quando digo skill, é uma skill que vocês podem instalar no Claude ou no Kiro. Vocês verão essas verificações; como mencionei, elas usam os arquivos de design como referência para a verificação visual. Por exemplo: as cores do design estão boas? O tamanho da fonte está correto? O fluxo do usuário está certo? Mas uma coisa que talvez venha à mente é: como esses requisitos de design e esses fluxos são gerados? Como vocês vão criá-los? Não se preocupem, também temos uma solução para isso. Quando vocês executarem a verificação pela primeira vez, a ferramenta de verificação de interface fará uma varredura superficial de um nível no site para verificar quais são os

14:10 links e o conteúdo. Com base nisso, ela vai criar esses fluxos de usuário em sintaxe Gherkin, que a ferramenta de verificação de interface vai usar na próxima vez que executar a verificação.

14:42 Então, deixa eu reproduzir a demonstração. Como vocês podem ver, basta chamar a ferramenta. Ela vai percorrer os documentos de design, os requisitos e os fluxos de usuário. Vai abrir o navegador, percorrer o fluxo de design e os fluxos de usuário e, depois, gerar um relatório.

15:13 Então, essas são as duas ferramentas que vocês vão experimentar neste workshop. Agora vou mostrar como o workshop foi organizado até aqui. Primeiro, como mencionei, há duas atividades práticas. A segunda coisa que estamos tentando fazer é… claro, esses são os dois primitivos.

15:43 Perception não se resume a esses dois primitivos. Como vocês conectariam esses dois primitivos para um caso de uso específico? Há um cenário apresentado no workshop. Estamos tentando tornar isso divertido, então experimentem por conta própria e vejam: é como um dia de desafios. Vocês vão encontrar algumas dicas para resolver o problema, entender qual é o problema e qual é o objetivo final. Tudo está descrito no workshop. Há um link do GitHub. Vamos compartilhá-lo com vocês daqui a pouco. Então, como vocês vão

16:16 conectar essas duas coisas? A próxima coisa são os patrocinadores dos prêmios. Temos alguns concursos que acontecem no final. E agradecemos à equipe B por patrocinar os prêmios do evento. Também vamos mostrar uma maneira de fazer isso sem digitar nem anotar na tela: quais são algumas outras maneiras legais de garantir que haja

16:48 algumas anotações que você queira fazer ou algum feedback que queira fornecer sobre uma página da web e seus designs. Então, a equipe B vai mostrar como fazer isso além de simplesmente digitar seu feedback. Por fim, há… Bem, antes disso, temos… Depois que terminar a oficina, também teremos umas três opções diferentes de desafios bônus. Vamos ter bastante tempo para vocês experimentarem essas ferramentas em um caso de uso específico que queiram explorar. Talvez alguns queiram tentar conectar isso com a equipe B e ver como fariam essa conexão com qualquer outra forma de feedback que receberiam da equipe.

17:19 e ver como vocês provavelmente conectariam isso com qualquer outra forma de feedback que receberiam da equipe. Ou, se você pensar: “Nossa, isso é muito legal. Quero criar algo para mostrar à minha equipe na segunda-feira que vem”. Então, mãos à obra. E, se tiver coragem, venha até o palco, mostre seu caso de uso, faça uma demonstração dele e você ganhará um dispositivo B.

17:49 A parte final será um exercício divertido: depois de entender bem esses dois elementos básicos, você poderá pensar em várias maneiras de usá-los no dia a dia, no seu cotidiano. Vocês vão enviar essas ideias, como: “Acho que seria muito legal usar isso para…”, e as pessoas votarão nelas. As três ideias mais votadas ganharão um dispositivo B, e acho que também

18:21 temos um prêmio para a favorita do público. Então, vamos começar a oficina. Este é o link da oficina. Vocês podem digitar o endereço; ele está disponível no GitHub, então basta pesquisar “perception agents workshop”. Provavelmente vão encontrar o primeiro link do GitHub. Na oficina, também precisamos que vocês usem uma chave de API do Nova Act.

18:54 Então, há uma parte da oficina em que ocultamos as três primeiras letras. Elas estão na tela aqui. Vocês podem copiar e colar essas três letras, ACE, que significa “ace”, e assim poderão usar a chave de API do Nova Act. Vou pausar aqui. Então, na oficina, vocês…

19:26 o README vai basicamente direcionar vocês ao arquivo MD da oficina. E aqui está o cenário de que eu estava falando. Vou lê-lo daqui. Você é um desenvolvedor de frontend preparando-se para lançar uma página de destino para um podcast. Ontem, você apresentou a página a alguns colegas, e eles deram feedback. O título principal parece grande demais. A cor de destaque não chama a atenção como deveria. Alguns botões estão grandes demais, e há algumas coisinhas que estão

19:56 um pouco fora do lugar. Então, você concorda com esse feedback. Hoje, você chega com a cabeça fresca e está pronto para incorporar essas mudanças. Então, o que você tem à disposição? A extensão do Chrome do Nova Act, a skill de verificação de UI, o SDK do Nova Act e o servidor MCP do Nova Act. Essas são as ferramentas que você tem à disposição para implementar uma solução em que você basicamente

20:27 construiria todo esse ciclo por conta própria. Ou seja, você só faz as anotações e, automaticamente, basta clicar em um botão na extensão do Chrome para que todas as mudanças sejam aplicadas. A verificação de UI será executada, e, no final, você terá um relatório. Esse é o desafio, e há alguns pré-requisitos. Então, vocês precisam de uma ferramenta em macOS ou Linux,

20:57 porque o servidor MCP do Nova Act funciona em macOS e Linux. É preciso ter o Node.js instalado. Se não tiver, podem instalá-lo. Também precisam do NPM, do Python, do navegador Chrome para testar, já que é uma extensão do Chrome, e de um agent de programação com IA. Se tiverem Claude, ótimo. Também temos integração com Kiro. Então, se não tiverem nenhum agent de programação, podem instalar o Kiro e começar a experimentar. E…

21:27 por último, temos o UV — quer dizer, o UVX. Ele serve basicamente para instalar. Se não quiserem instalar o UV ou o UVX, levantem a mão e podemos ajudar a instalar usando pip. Então, é isso. A oficina está organizada de modo que a configuração deve levar uns 5 a 7 minutos. Depois, vocês podem começar a experimentar essas skills. Assim, vão entender bem como usar a extensão do Chrome e como usar

21:59 a skill de verificação de UI. É isso que está explicado aqui. Para resolver o desafio, vocês terão cerca de 15 minutos, caso queiram seguir esse caminho e avançar passo a passo. Vou rolar a página rapidinho. Isso. Escolham o caminho. Organizei esta oficina em dois níveis. Lembram que eu disse que queria que vocês se divertissem? Então, há dois níveis. Se quiserem um desafio, escolham o percurso intermediário. Se acharem que… “Eu

22:30 só vou seguir as instruções e concluir a oficina. Vou ficar satisfeito com isso.” Então, temos um modo fácil, com instruções exatas sobre o que fazer, e, ao final da atividade prática, vocês terão conectado esses dois elementos básicos. Esperamos que o percurso fácil leve 15 minutos e o intermediário, de 30 a 35 minutos. Depois de reservarmos os 15 minutos, vou voltar e mostrar onde vocês devem

23:00 adicionar o código para conectar esses dois elementos básicos e ver tudo funcionar. Também temos um desafio bônus. Se terminarem mais cedo, podem começar o desafio bônus. Mas, antes disso, daqui a pouco a equipe B, com Giovanni, vai fazer uma apresentação. Depois… Isso. Claro. >> Então…

23:31 Eu vi que, quando estava instalando essas… >> Aham. >> Como é mesmo? As skills de verificação de UI do Nova Act? Apareceu que havia alguns clientes padrão sempre compatíveis, incluindo Codex e Cloud Code. Mas, mais abaixo, há essas skills adicionais, e uma delas também é Cloud Code. Então, queria saber: são duas coisas diferentes ou são a mesma coisa? O fato de haver dois Cloud Code… >> Sim, são duas skills. Uma é a

24:03 skill do Nova Act. A outra é a skill de verificação de UI do Nova Act. Por isso você deve estar vendo as duas. Sim. Vou dar um tempo para vocês. Vou voltar a exibir o slide. Vou pedir para o Emil vir aqui. Vou voltar ao slide do repo no GitHub para que vocês tenham a chave de API à mão, caso precisem alterá-la. Podem levantar a mão se tiverem alguma dúvida. Nós

24:33 temos uma equipe incrível dando apoio à oficina. Vocês podem vê-los ali, acenando. Então, procurem qualquer um de nós e iremos até vocês para ajudar. Divirtam-se. Certo, vou tentar explicar a solução passo a passo. Então… certo.

25:09 Certo. Estas são as instruções passo a passo. Como podem ver, temos a extensão do Chrome e o agent de IA em execução. Se quiserem que o agent de programação aplique automaticamente as mudanças feitas pela extensão, precisam de uma ponte, porque não há uma conexão entre eles. Como a extensão enviaria o prompt para o agent de programação? Para isso, criamos algo chamado agent bridge,

25:42 que vai pegar automaticamente as anotações e enviá-las como prompt para o agent de programação. É aí que ele começa a aplicar as mudanças e depois executa a skill de verificação de UI. Então, na extensão, não temos o botão “Aplicar mudanças” no modo básico, mas, para esta oficina, eu criei… nós criamos esse botão “Aplicar mudanças” na

26:13 extensão do Chrome. Vou mostrar isso daqui a pouco. Para que tudo isso funcione, é preciso fazer alterações em dois arquivos. O primeiro é o arquivo manifest.json da extensão do Chrome, no qual vocês adicionam esta linha às permissões de host para começar a aceitar solicitações do localhost. Depois, adicionam este trecho de…

26:47 código. É um trecho enorme de código aqui. E o que esta parte faz na extensão é criar e aplicar mudanças, conectar tudo à extensão, garantir que a verificação da interface seja executada usando o SDK do Nova Act em vez da skill e começar a gerar um relatório em que você pode clicar para visualizá-lo.

27:17 Esse trecho de código vai neste arquivo, que é o content.js da extensão, e precisa ser adicionado por volta da linha 261. Entre este append child e o botão de exportação, logo antes, e acho que há uma marcação — tem um comentário ali dizendo para adicionar o código neste arquivo. É aí que você deve colar este código.

27:48 Depois que isso estiver funcionando, você verá este botão de aplicar mudanças na extensão. Acho que o Emil estava testando, então mudou isso para Copa do Mundo da FIFA, por que não? Vou selecionar um destes e atualizar a extensão novamente.

28:20 Vamos ver. Anotar a página atual. Vou tentar mudar a data de publicação. Mudar para a data de hoje, 29 de junho. Certo. E salvar. E esta é a extensão.

28:50 Aplicar mudanças. Em segundo plano, ele vai abrir seu agent de programação. Isso foi testado no Claude Code e no Kiro, como mencionei. Se estiver tentando usar o Cursor ou o Codex, você precisará editar o agent bridge para que ele aceite solicitações como esta de aplicar mudanças. Daqui a pouco, ele começará a aplicar as mudanças, e você também verá alguns logs

29:21 aparecendo no repo. Esses são os logs principais da CLI e também, quando a verificação é executada, o Nova Act gera logs que mostram exatamente o que o modelo de IA estava pensando e em que parte da tela estava tentando tomar uma decisão. E dá para ver que o botão mudou para executar a verificação agora. Então, ele está executando a etapa de verificação. Daqui a pouco, também vai gerar um relatório que você poderá consultar. Então, este é

29:52 o momento em que você basicamente aplica as mudanças, vai almoçar ou fazer uma pausa e depois volta para conferir o relatório de verificação. Vou dar um minuto, porque ele vai passar por todos os fluxos de design, todos os fluxos de usuário e depois gerar um relatório. Então, demora um pouco. Vamos ver se consigo abrir o repo.

30:24 Ah. Droga.

31:35 >> Acho que o Wi-Fi está superlento, então… Mas acho que, enquanto isso, talvez eu possa chamar Giovanni ao palco para mostrar uma maneira legal de anotar suas páginas da web, em vez de simplesmente ir lá e digitar coisas na página da web em que você está trabalhando. >> Olá. >> Ah, o Prime. >> Certo. >> Podemos… >> Já terminei. Posso ver os slides?

32:07 >> Os slides, sim. >> Olá. Oi, pessoal, sou Giovanni. Pensei em imaginar que vocês estão numa reunião de design, conversando sobre as modificações de design que querem fazer naquele site. E então, automaticamente, seu agent de percepção consegue modificar o site. Isso é algo que vocês podem fazer agora mesmo com o workshop. E como, como isso funciona? Usando os dispositivos vestíveis B.

32:40 Então, B é um dispositivo que temos na Amazon. E você pode comprá-lo no site b.computer. É um dispositivo vestível; este é seu assistente de IA. Ele tem um microfone. Você pode ativá-lo com este botão e ele vai ouvir sua conversa. Não se preocupe: há um LED que fica aceso enquanto ele está ouvindo sua conversa, e toda a conversa fica na sua nuvem privada.

33:11 Depois, o agent de IA que está sendo executado no B consegue dar sugestões sobre qualquer conversa que você teve. O que fiz foi integrar esse agent, o agent B, com o agent de percepção que temos para o workshop. Assim, ele recebe a entrada de áudio de uma conversa de design. Não estou vendo o vídeo. >> Sim. >> Ah, este aqui. Sim. Obrigado.

33:43 Você pode fazer isso em três etapas simples. Primeiro, sim, você precisa ter um B. E eu quero um comigo, que você possa usar aqui e agora, ou podemos ter uma conta de teste para baixar e usar para obter a conversa, do jeito que você quiser. Depois, você precisa instalar a CLI do B. É uma CLI que permite obter os dados da sua conversa, e as instruções para baixar a CLI do B estão no workshop; basta usar um comando npm. Depois, você inicia o servidor do

34:14 workshop e então inicia a bridge que escuta a conversa do B e a aplica ao agent de percepção. Depois, basta ativar seu dispositivo B. O LED fica aceso. Você diz algo como: “Ah, quero mudar a cor do título para vermelho. Quero trocar o emoji: em vez do emoji de cérebro, quero um emoji de robô.” E, à direita, você verá sua conversa, a transcrição dela e até os pontos mais importantes. Aqui você pode ver a resposta da API, a

34:45 resposta da API que vem do B. Você pode abrir o painel e conferir. Depois, basta selecionar aplicar. E então o fluxo normal do workshop do agent de percepção será executado. Ele vai mudar a cor, para a cor que você acabou de mencionar, e vai mudar o emoji. Depois que as modificações no site forem aplicadas, ele também executará automaticamente a etapa de verificação do Nova Act para você.

35:16 Temos uma conta de teste que você pode usar, com uma conversa pré-carregada, uma conversa de design pré-carregada. É basicamente uma conversa sobre “Ah, vamos mudar a cor, vamos mudar o emoji”, algo assim. Depois de instalar a CLI e entrar com a conta B, usando um dispositivo de teste e uma conta de teste, basta clicar no botão de baixo, no botão que fica na parte inferior. Esta é a página de verificação que você pode consultar. Mas, se quiser testar o dispositivo B, podemos… podemos

35:48 na verdade, usar o meu, e eu mostro como funciona, se você quiser. Podemos conversar sobre o design e você verá que ele realmente aplica as mudanças depois de dois ou três minutos analisando a conversa. O Wi-Fi está um pouco lento, por isso não fiz a demonstração ao vivo. E, sim, no final há o relatório de verificação que você pode consultar. Os dispositivos B também são os prêmios do desafio. Então, sim, você vai ganhar um se vencer o desafio. E também estaremos no estande

36:19 hoje e durante toda a semana. Então, sim, me avisem se quiserem integrar o B; estou à disposição. >> O dispositivo B… Se quiserem subir ao palco, temos 10 minutos para vocês explorarem essas duas primitivas e pensarem em uma ideia para usá-las. E, se quiserem subir, vão ganhar um destes dispositivos. Então, sim. É só soltar a criatividade, eu acho.

36:52 Oi, pessoal, estou com Jed, que construiu algo muito legal e gostaria de mostrar para todo mundo. Jed, venha ao palco. Isso. Jed. Ah. >> O que estou fazendo? Para onde estou indo? >> Ah, chamei o Jed, mas… >> Ah, meu nome é Jeff, então pensei… >> Você é… Desculpe. Vou chamar Jeffrey em seguida para mostrar algo legal também. >> Ah, certo. Tudo bem. Isso aqui foi só uma brincadeira, mas na verdade é uma coisa interessante…

37:22 Esse funilzinho aqui está passando por estas animações e… Ah, vocês não conseguem ver. Mude para um podcast sobre patos. Pronto. Então, pedi para transformar em algo no estilo retrô do NES, fazer algumas piadas sobre patos e depois voltar e executar a verificação

37:53 funil. O que eu estava dizendo a eles é que provavelmente o mais interessante para mim aqui é ver essa ótima IA dizer: “Eu fiz um pato”, sabe? “Eu fiz um ícone de pato.” Mas, como todos aqui provavelmente sabem, muitas vezes você não vê isso acontecer de fato. Só que então ela passou por todo o funil de verificação e voltou com os relatórios dizendo: “Sim, está pronto. Eu fiz. Eu realmente fiz.” Então,

38:25 isso foi legal. Ah, sim. Eu pedi para ela contar algumas piadas. Ela não é muito boa nisso. Aí está. >> Ah, porque você criou uma demo legal.

38:56 Você precisa ir? Como prometido, você ganhou isto. >> Ah, obrigado. >> Dispositivo B. A SEGUIR, TEMOS Jeff Lee, que quer vir apresentar o que fez.

40:00 >> Sim, ainda estou criando um harness de teste para conseguir mostrar isso, porque a conta B padrão tem uma conversa de exemplo que não é relevante para essas coisas. Então, isto é só algo que está tentando dar vida ao B. A ideia era acessar o BCLI e coletar o resumo de uma conversa que foi uma discussão sobre funcionalidades pendentes que seriam adicionadas a um repo em que você está trabalhando, certo? Então, você está trabalhando em um repo específico do GitHub que está clonado e, depois, sua conversa será usada em contexto com todo o código que está lá. Ele vai criar uma lista de pendências com base no resumo e usar o Atlassian MCP para colocar isso no Jira. Essa é a ideia. E o principal que estou criando agora, em segundo plano, é o harness de teste para inserir uma nova conversa relevante para o repo. Então, é isso.

40:32 Bem simples e, sim. Enfim. >> Isso é incrível. Muito obrigado. >> Obrigado. Imagina. >> Então, aqui está seu novo dispositivo. Sei que você queria ir buscá-lo, mas ganhou um. >> Muito obrigado. >> Então, você tem uma pergunta?

41:06 Ryan, quem vai apresentar em seguida? >> Olá, pessoal. Estou animado por estar aqui. Deixa eu ver. Iniciar espelhamento. Eu me atrasei para esta sessão porque a outra terminou às 3h. Então, fui até Giovanni. Deixa eu mudar a chave aqui.

41:37 Ah, perfeito. Tudo bem. Então, passei para Giovanni. Estou usando um chapéu de abelha. Atualmente, estudo na Wharton, na escola de negócios. O mascote do meu cluster é uma abelha. Sou uma das três pessoas que se importam com esse mascote ser uma abelha. Dá para imaginar como fiquei animado quando cheguei a esta conferência e vi que apresentaríamos sobre o dispositivo B. Então, naturalmente, por ter me atrasado e ser formado pela Wharton, perguntei se podia ganhar um dispositivo B de graça.

42:09 Giovanni disse: “Você tem uma ideia para compartilhar?” Então, estou trabalhando atualmente em uma startup de capacitação em IA. Não sou muito fã do Linear. Peço desculpas a quem trabalha no Linear. Eu só precisava de uma maneira melhor de entender o que deveria estar fazendo a qualquer momento do dia, desde registrar uma ideia, conversar com meu cofundador e depois atualizar um repo de projeto. Então, este é um caso de uso natural para o dispositivo B. Temos uma ferramenta interna chamada Sidekick. A ênfase é em “interna”, porque não há design.

42:40 Em defesa do meu cofundador, ele me disse para pedir ao Claude que deixasse isso bonito, sem erros, e esse foi o melhor resultado. Então, mas o funcionamento é o seguinte: temos uma caixa de entrada compartilhada. Podem ignorar o Go Touch Crash SF. Eu vejo todos esses outdoors e isso me deixa preocupado. Enviamos e-mails juntos para capture@sidekick.ausin.org. E estas são as diferentes entradas que temos.

43:12 Temos pensamentos ao longo da semana, newsletters. Não sei se alguém aqui assina uma newsletter de IA. Se vemos algo interessante, enviamos para a caixa de entrada. E acreditamos muito no Getting Things Done, que é um método de organização de tarefas de projetos para trabalhadores do conhecimento, desenvolvido por David Allen em 2010. E, ah, se o Wi-Fi funcionar, vocês vão conseguir ver. Desculpem, isso acabou aparecendo fora da tela.

43:42 Um segundo. A árvore do Getting Things Done mostra todos os projetos e, abaixo de cada projeto, tem a estratégia, o que significa concluí-lo, as tarefas, as próximas etapas e as referências. Criamos um MCP para podermos conversar com o Claude e planejar: “Ei, é nisso que estamos pensando para este projeto. O que você acha que deveríamos fazer?” Tudo isso para resolver a necessidade de, depois de uma reunião, quando você está trabalhando, pensar: “O que eu deveria fazer agora para contribuir com minha estratégia final?” Então, como

44:12 imaginamos que isso funcione com o dispositivo B: como Giovanni me informou que há um MCP, seria capturar reuniões diferentes ou ideias diferentes, enviá-las para nossa caixa de entrada de captura e depois usar isso para atualizar nossa estratégia. Eu queria que isso estivesse carregando, porque… deixa eu ver. Ah, é por causa do meu celular. Viu? Funcionou. Sim. Agora estou com 0 de 11 em demos ao vivo.

44:43 Mas esse é o meu conceito para o dispositivo B. Estou ansioso para usá-lo e publicar no LinkedIn o quanto adoro as abelhas. Vamos, abelhas! Zum-zum. Obrigado. >> Como você integraria os perception agents ao seu… >> Na verdade, também tenho uma resposta para isso. >> Certo. >> Então, como eu enviei um e-mail para mim mesmo no Sidekick para conversar depois com meu cofundador, nós desenvolvemos muitas ofertas de produtos, como o Sidekick e diferentes ferramentas de aprendizagem. A missão toda é garantir que todos saibam como se adaptar ao deslocamento da força de trabalho que está por vir.

45:14 Mas o gargalo agora é o design do produto: criar algo que os usuários consigam entender exatamente como usar. Então, usaríamos o recurso de anotação do perception agent para enviar essa descrição, seja pelo Sidekick, seja pelo nosso próprio agent que está em execução, para fazer melhorias e, depois, fechar esse ciclo de desenvolvimento. >> Ah. >> Então, sim, se a AGI quiser patrocinar, Ozzie e eu… Vou entregar meu cartão e podemos conversar depois. Obrigado. >> Incrível. Muito obrigado por subir aqui e fazer a demo. E, como prometido, aqui está um dispositivo B. >> Obrigado. Agradeço. >> Então, enquanto encerramos, Emil, vou… Vamos colocar uma pesquisa na tela.

45:46 >> Na tela. É algo que nós… Sim. Você quer… Ah, certo. Certo, tem o Jonathan, que também quer apresentar. >> O meu é mais um conceito; não tive tempo de construir tudo. Mas vou explicar por alto.

46:17 Certo. Então, eu estava olhando para o proxy do B e tentando descobrir como estamos obtendo as informações da CLI. Ah, não está compartilhando. Não está compartilhando. Ah, agora foi. Certo. Eu estava tentando descobrir como o proxy funciona de verdade e como estamos obtendo informações do B. Além de fazer transcrições, seria possível extrair dados diferentes de fontes diferentes? Por algum motivo, seria possível obter dados de um dispositivo de IoT?

46:49 E o que comecei a imaginar é o seguinte: na empresa em que trabalho, que é uma empresa financeira, temos muitas pessoas sem conhecimento técnico. E não basta inserirmos nossos critérios; também temos bastante UI e UX que precisamos tentar capturar, e nem sempre conseguimos obter os melhores detalhes para os critérios de aceitação. Então, venho incentivando a equipe a usar o Jam MCP, que basicamente permite fazer uma gravação e captura todos os logs do console, captura

47:30 Certo. Então, eu estava meio que olhando para o proxy do B e tentando descobrir como estamos obtendo as informações da CLI. Ah, não está. Não está compartilhando. Ah, agora foi. Certo. Então, eu estava tentando descobrir como o proxy realmente funciona e como estamos obtendo informações do B. E, além de simplesmente fazer transcrições, além da transcrição, seria possível buscar dados diferentes de fontes diferentes? Seria possível buscar dados de um dispositivo de IoT, por qualquer motivo? Hum.

48:00 E o que comecei a pensar é que, na empresa em que trabalho, que é uma empresa financeira, temos muitas pessoas sem conhecimento técnico. E não só precisamos incluir nossos critérios, como também temos bastante UI e UX que precisamos tentar capturar, e nem sempre conseguimos registrá-las com os melhores detalhes nos critérios de aceitação. Então, tenho incentivado a equipe a usar o Jam MCP, que basicamente permite fazer uma gravação, captura todos os logs do console, captura

48:31 as solicitações de rede e, então, alimentar essas informações. Também construí um harness de IA para AR, para podermos direcionar essas informações para ele. Então, a arquitetura se parece mais ou menos com isto: de forma muito semelhante à CLI, você poderia pegar o Jam MCP, direcionar essas informações para o proxy, fazer o LLM acessar o Nova e, então, aplicar a implementação da interface. Então, se você disser algo como: “Ah, eu queria que isto…

49:03 fosse assim, sabe? Este cronograma de investidores precisa ficar assim, ou esta pontuação deveria ser uma pontuação de nível de pesquisa e ficar em outro lugar.” Conseguiríamos buscar essas informações no MCP, enviá-las para o Nova e fazer as alterações no harness de IA que está sendo executado localmente. Você poderia fazer o proxy da mesma forma, mas usando outro dispositivo. Fiz alguns testes iniciais. Parece funcionar até mesmo com algumas simulações,

49:35 mas não consegui fazer o Figma ou o Jam MCP funcionar por causa do Wi-Fi. Mas esse será meu teste quando eu chegar em casa. Então, obrigado. >> Muito obrigado. E aqui está. Temos mais 15 minutos, e depois encerraremos o workshop.

50:06 Vamos exibir um código QR na tela. Se você acha que tem uma ótima ideia, mas não quer vir aqui falar conosco sobre ela, pode enviar suas ideias por aqui. Vamos votar nelas, e as três ideias mais votadas vão ganhar um dispositivo TB. Então, se você tem uma ideia, envie-a

50:39 na enquete. Só um segundo. Aí está. >> Vocês estão vendo? Sim. Queremos que vocês leiam o código QR e enviem uma ideia inovadora usando o que aprendemos. >> Para que vocês usariam essa percepção, considerando tudo o que viram e tudo com que brincaram hoje? O que vocês acham que seria um bom caso de uso

51:09 para ajudar a facilitar o seu dia a dia? Vimos várias ideias. E, se você acha que teve uma, mas está com um pouco de vergonha, tem a chance de ganhar outro dispositivo. >> O que acham? Cinco minutos e depois nós… >> Cinco minutos e depois nós… Isso.

51:44 Deixa eu corrigir isso. >> Certo, encerrei a enquete. Todas as ideias são ótimas. Eu estava lendo e conversando com o pessoal, e estava muito difícil escolher. Não é mesmo? Então, temos a ideia do Pixel Judge.

52:17 Alguém que enviou essa ideia pode levantar a mão? Ninguém? Pixel Judge? O que é isso? Certo. A próxima ideia era testar um produto de ponta a ponta com agents. Certo. Venha aqui.

52:48 Quer vir? Sim. Ótimo, obrigado. “Reframe a life”: um canvas de pensamento para brainstorming e planejamento. Foi você? Venha aqui.

53:19 Decidimos dar três prêmios, e um não foi reivindicado. Então, na verdade, reduzimos a lista a quatro. A última ideia é criar um aplicativo de canvas em que uma pessoa e um agent de percepção trabalhem juntos, em tempo real, no design de uma interface. Venha aqui. Obrigado.

53:52 Uma salva de palmas para todos os vencedores. Certo, quero encerrar a sessão com uma espécie de principal conclusão. A primeira e mais importante coisa deste workshop, como todos podem imaginar, é

54:25 que a forma como humanos e agents colaboram está mudando. Por isso, precisamos de ferramentas que tornem visível como humanos e agents estão colaborando, e este é um passo rumo à criação de um agent de percepção. Vocês podem começar a usar o Nova Act, caso ainda não tenham visto o repo no GitHub. Ele está disponível; podem ler este código QR. É um SDK. Também temos uma

54:57 publicação no blog da nossa equipe que explica o que pensamos sobre agents de percepção em geral. Com isso, obrigado a todos. Também temos um código QR para enviar feedback. Se gostaram da sessão, do Emil, de mim ou do Giovanni, que apresentou aqui, por favor, deixem um feedback. Agradecemos muito a presença de todos. Muito obrigado.

55:42 >> Uhum.

Transcrição original

[00:12] Hello everyone and thank you for coming to our workshop building with perception agents. Uh my name is Emil Basel. I lead a team of solutions architects uh within Amazon AGI Lab. And our team is focused on two things. The first is working with some of our earliest adopter customers who want to work with some of our early models and products to help them get into production. And the second part is closing the feedback loop from our customer engagements, uh building evals for our research team to train our models on,

[00:43] and bringing product uh and engineering feedback to those teams as well. And I’m joined by one of our stellar solutions architects, Shruti Arora, who’s going to be running the workshop today. Uh just a bit about what we’re going to be talking about today. I’ll be giving a quick overview of the Amazon AGI Lab, and talking about the first product that we shipped last year, Amazon Nova Act. And then we’ll get into perception agents, and that’s what the focus of today’s workshop is, and then we’ll get into the workshop.

[01:16] So a bit about the lab. So we are a frontier research and product team that combines startup speed with the scale and the resources of Amazon. And we are really focused on building knowledge work agents that can perceive, reason, and act in a variety of different environments to complete real-world tasks. Um our offices are in San Francisco and Boston. We’ve got a few other talks going on throughout the week. We have a booth at the expo, so stop by to collect

[01:47] some swag, meet some folks from the team, and hear some of the talks there. So I want to share a bit about our approach and how we think about agents. Across three different ways. So, the first is around collaboration. So, we really think about building agents that are teammates much more than just a black box. And when we say teammates, we really want an agent that can understand what our goal is, our objective is, and can share how they’re thinking about achieving that goal. And

[02:19] and then grounding all of that in actual customer uh use cases. And so, we work very very closely with a large number of customers to really help ground all the work that we’re doing with agents. And the second is around perception. So, agents need to understand their environment. And so, for us, because it’s a perception-based agent, the environment spans multiple devices. So, we started with browsers last year, but you can imagine any visual screen is an

[02:49] environment for our agent to carry out knowledge work in. So, mobile devices, and also computer use is the other one. And the third one is reliability. And we have a great customer quote that said, “If my agent works 50% of the time, it doesn’t work at all.” And that’s because you’re either not going to run it at all, or if you do run it, you’re going to end up uh debugging it and spending all this time, and you’re going to basically do away with all the gains that you’re getting from that agent. And so, we spend a lot of time building and training our models in uh simulated

[03:21] environments for reinforcement learning. Um and again, a lot of those are based on real-world uh use cases, which we get from not only our external customers, but a lot of internal Amazon teams that are carrying out a lot of uh knowledge work. Cool. So, with that backdrop, uh I want to talk about the first product that we shipped last year. So, Amazon Nova Act is a first-class AWS service that allows developers to build and run reliable

[03:51] browser-based workflows at scale. So, using natural language, you can drive a browser workflow to populate a browser, navigate, search with it, fill out forms, and call a human in the loop if you need a human for a expense report approval, or if you get stuck, or other things like that. And there’s kind of four primary use cases which we’ve seen customers adopt this for. The first is form filling. Uh so, if you have to do that at scale across a large number of different

[04:22] websites, and you don’t want to write a prompt for each single website, or write like a like a like a a deterministic script for each single site, you can use Nova Act for that. Uh search and extract. If you want to do research and get data from a lot of different websites, shopping, and QA. So, a bit more on what we launched. Uh the Let me just get through all these. Uh so, it’s a first-class AWS service. So, if you go into the AWS console, type in

[04:53] Nova Act, you will see Nova Act there. And from the console itself, you can see all of the all of the trajectory. So, it’s a very easy way to see everything which your agent has done, the bounding boxes around all the elements which it’s looking at, and it’s trying to take actions on there. And then behind the scenes, we have a custom computer use model which is doing all of the all of the inference there. This year, we launched an MCP server as well as a skill, and you’re going to be using those in the workshop, and that’s for your agents to be able to use

[05:24] Nova Act very easily. And then we’ve got human in the loop and tool use. And we also have a playground. So, if you go to the Nova Act homepage, it’s a no-code way to just see Nova Act in action there. Now, looking ahead, and the topic of today’s workshop is perception agents. Now, why do we feel there’s a need for perception agents? So, uh for those of you who are not familiar with the term of computer use, uh that’s basically the way for an agent to take an action on a computer screen, right?

[05:55] So, you see a blue button in the right corner, and you tell your agent, “Hey, go click this blue button over here.” Very important, very powerful, it’s very important for uh automating workflows, but we feel that there’s another half of that, which is the agent actually understanding what it’s seeing on the screen itself, not just using that as a sort of blind uh screen that it can just go and click on elements there. And we really want this agent to be able to understand screen just like a human would, right? So, if I showed

[06:26] someone a uh email client from like the late ’90s, that was like a Yahoo email client or Hotmail client or something which you’ve never seen before, you would probably be able to figure out how to send an email from that, even though you’ve never used that client before, cuz we’ve got this collective understanding of thousands and thousands of hours of using these screens that we kind of intuitively understand how to use these things, and that’s really where we’re trying to get to with these with these agents. Uh and the second one is these agents don’t require APIs in order to work,

[06:58] right? So, if you think about a lot of knowledge work, um it’s a lot of humans using screens that just don’t have APIs, and that’s why there are people who are doing these things. And we want these agents to be able to carry out the same work across a variety of sites as well. And we want the models to see the screens the same way that we do, because that really facilitates the collaboration, right? So, rather than typing up paragraphs for what you want the agent to do uh on this screen and describing the screen, uh you can just point, click, and

[07:29] describe changes that you want, and that’s what you’re going to do in the workshop today. It’s you’re going to click on a couple elements and say, “Hey, I want to change the background to red.” And that’s it. And then you just have the agent go go and do that. And uh to to start with we’ve open-sourced two perception agent primitives, and you’re going to be using these in depth in the workshop today. Uh the first is visual annotation. And so what this lets you do is on any webpage, you can point, click, and just

[07:59] describe changes that you want to make. And when you’re done with that, you click export and it exports out a JSON file with all the changes that you want and a prompt, which you can give to your coding agent along with that JSON file to say, “Hey, go and make these changes and do that.” So important is uh to to note, this has nothing to do with inference. This is purely deterministic. It just outputs JSON, doesn’t have It’s not tied to any model or anything else like that. The second part uh the second primitive which we’ve launched is visual verification.

[08:30] And if you think about a a site that you have, you’ve got certain CSS styles and designs which you want your your site to adhere to. Uh you’ve got different workflows which you want your site to support. Maybe have like a checkout flow or a login flow or something else. And you can describe those as Gherkin files. And so you can have visual verification, this this skill, um run by your coding agent against these design artifacts that you have, against these Gherkin files, and make sure that your site is adhering to

[09:00] those. And again, this is something which you’re going to use uh in the workshop today. And again, these are all open-sourced, available today. And uh yeah, that’s what we’re going to do in the workshop. So I think at this point I’ve spoken enough, and I am going to hand it off to Shruti, who is going to kick us off on the workshop. >> Do you just press that? Thank you. >> All right. Can you all hear me okay? >> Yes. >> Okay.

[09:31] Welcome. Uh thanks Emil for that wonderful introduction to our uh Amazon AGI labs and the products that we launched, we released earlier in May this this year. So, as he mentioned, we are going to be doing hands-on workshop, but hands-on on like whatever we released the UI and the visual annotator and the visual verification. I have a short demo here,

[10:02] but before we dive into the demo, I just want all of you to like step into this role play here. Just just bear with me. Imagine you are a front-end engineer and you are building a web application. You have a design team and you are taking inspirations. They have these Figma files that you are building against. You are also collaborating with a sister team that they want to put in a piece of their

[10:34] information on the web page that you are building. So, if you are if you think about it that you have the designs, you’ll probably take like four to five weeks to like build the designs and build everything code base and actually build that website. Now, in the third week or like fourth week around that time of your building process, you actually think, “Oh, maybe I should like go back and like verify if this looks fine, if everything looks okay with the rest of the team.” And you are constantly collaborating, right? So,

[11:05] you are checking if if the work that you have done is something that is that is what you want to ship. Um so, you send your code base to you share the GitHub or however you are doing your GitLab or whatever you have your code in and you they run that this this web server locally and they open up the website and they say, “Oh, this this feels off. You know, the head and heading should be probably not in red. I should I want to switch it back to

[11:36] something. Um, and they provide this feedbacks. Probably they will do it in like a Slack message or in a shared doc, for example. Uh, and then once you get those feedback on that on your website, you would um, then like go over one of them. You’ll disagree, agree go to some of them, come to a middle ground, and finalize this is the feedback you want to incorporate. You have to go through all of them and one by one then and start making the

[12:07] changes. Uh, now with coding agents, I guess it’ll take maybe over which used to take maybe a week or it can like reduce to like maybe uh, few few days. Now, think about if you had the ability to take their feedback directly and pass it to the coding agent without you your supervision and just like once the changes have been done, that’s when you interfere and say, “Oh, this looks good. All the changes have been incorporated.” How would that reduce the time? Maybe

[12:38] few hours. You just start uh, collect the feedbacks, send it to your agent, and go for a coffee break, come back, and all the changes have been merged. So, this is exactly what uh, Emil was mentioning. Uh, that we have a Chrome extension that we are calling as visual annotator. Um, there are three ways to annotate. You can see here, it’s either you draw on the page or you pick the element or you drop a pin as you would drop a pin on a Google Maps, say, and provide your

[13:09] annotations. And once you have your annotations, you can download these and send it to your team who needs to make the changes or even if it’s you who’s make the changes who’s making the changes, then we provide a AI-friendly prompt that you can send it to your agent and it’s going to change automatic like well, you have to instruct the agent to like change the good base. So, this was the visual annotator. The next um

[13:39] Oh. The next um primitive that we launched is the visual verification skill. And when I say skill, it is actually a skill that you can install on Claude or Keynote Keynote power. And um you would see these verification as I may mention, these are the design files that have against which you will be running your visual like um verification against. Like if does the design colors look fine? Is the font

[14:10] size right? Is the user flow right? But, one thing that will come to your mind like these design specs, these flows, how are these generated? How are how how you going to build that? Not to worry, we have a solution for that as well. When you run your verification for the first time, the there will be a a deep um one level surface crawl that will be done by the UI verification tool on your website to go and check what are the

[14:42] links, what are the content, and based on that it’s going to create these user flows that are in terms of in Gherkin for syntax that the UI UI verification is going to use when it’s going to run the verification next. So, let me just play that play the demo here. Um so, you can see you just like call the tool. It’s going to go through the design docs specs specs specs and the user flows.

[15:13] Uh go through it. It’s going to open up the browser, run through the design flow user flows, and then generate a report. So, this these are the two tools that you will get hands-on in this workshop. Uh so, I’m going to jump to what we have how the workshop has been laid out as of now. First, as I mentioned, two uh hands-on. The second thing that’s what we are trying to do is these are the two primitives, of course.

[15:43] Perception is not just these two primitives. How would you wire these two primitives up for a particular use case? There is a scenario that has been uh given in the workshop. We are trying to make this fun, so please try it out yourself uh and see like it’s like a game day. You would see there are like certain hints for the to solve the problem, what the problem is, what the end goal is. So, everything is laid out in the workshop. Uh it’s a GitHub link. We will share that with you in a bit. Uh so, how will

[16:16] you basically wire these two things up? Uh the sec- the next thing we have are um sponsors for the prices. We have certain contests that run at the end. And um thank you the B team for sponsoring the prices for the uh for the uh event. And um we will have a way how you can instead of typing or like annotating on the screen, what are some other ways cool ways of making sure that there are

[16:48] some annotations that you want to do or like feedback that you want to provide about a web page and its designs. So, B team will show you how you can do that beyond just typing in your feedback. Finally, there are Well, before that, we have After you finish the workshop, we also have like three different options for bonus challenge. We will have plenty of time for you to try out these tools in a particular use case that you want to maybe some you want to try wire it up

[17:19] with B and see how that how you would probably wire it with any other form of feedback that you would essentially get from your team. Or if you think that hey, this is really cool. I want to build something that I want to show to my team on Monday like the following Monday. So, go for it and show if you’re brave enough come in front come at the stage show your use case demo your use case and you’ll get a B device.

[17:49] The final part is we’re going to do a little fun exercise where once you have a good understanding of these two primitives you can think of like multiple ways of how you would use it on a daily on your day to day day to day and we will you will submit these ideas of like hey, I think this will be really cool for me to use this and we will have people vote on for these ideas and the top three ideas will get a B device and I think we also

[18:21] have one for crowd favorite. So, with that going to jump into the workshop. This is the link for the workshop. You can type in it’s pretty it’s it’s available on GitHub so you can type in perception agents workshop. You will probably get the first GitHub link. Um in the workshop we also need you to have use a Nova Act API key.

[18:54] So, there is a piece where in the workshop we have obscured the first three letters. So, that is on the screen here. So, you can like copy paste these three letters ACE that stands for ace and you’re good to go with the Novact API key. So, let me just pause this. So, in the workshop, you

[19:26] would the readme will basic point you to the workshop with MD file. And here is the scenario that I was talking about. I’m going to read it out from here. You are a front-end developer preparing to ship a landing page for a podcast. Yesterday you demoed the page to a few peers and they provided some feedback. The hero title feels too big. The accent color doesn’t pop up the way you it should. Some buttons are oversized and a few small things that you

[19:56] slightly just off. So, you are on board with those feedback. And today you come in fresh. And I’m ready to incorporate those changes. So, what do you have at your disposal? The Novact Chrome extension, the UI verification scale, you have the Novact SDK, and the Novact MCP server. These are the tools that you have at your disposal to basically implement the solution where you would essentially

[20:27] build build this entire loop by itself. Like, you just annotate and automatically you would just hit a button in the Chrome extension and all the changes will be applied. The UI verification will run and you have a report by the end of it. So, this is the challenge and there are a few prerequisites. So, um you need to have an macOS or a Linux

[20:57] tool because Novact MCP server runs on macOS and Linux. You should have Node.js installed. If not, you can install them. uh NPM, Python, uh Chrome browser to basically test it out because it’s a Chrome extension, and then um an AI coding agent. So, if you have Claude, that works great. We also have Kiro integration. So, if you don’t have any co- coding um agent, you can install Kiro and start playing around with it. Um

[21:27] and lastly, we have the UV um that’s UVX. That’s basically to install. If you don’t want to install UV or UVX, then please raise your hand and we can help you install using pip. Um So, that’s that’s that. And the workshop is laid out for I think the setup should be about 5 to 7 minutes. Uh then you can like start playing around with those skills. That gets a good understanding of how would you use the Chrome extension, how would you use

[21:59] the uh UI verification skill. That’s what has been explained here. Uh to solve the challenge, you have um about 15 minutes in if you want to go that route, like I want to go step by step. And I’m just going to go scroll down real quick. Yeah. So, choose your path. I have this workshop designed in two levels. Uh you you remember I said like I want you to have fun. So, two levels, if you want to go for a challenge, go for the medium route. If you feel that uh I’m

[22:30] just going to like uh follow the instructions and get the workshop done. You’ll feel good about it. So, yeah, we have an easy mode where you’ll have exact instructions what you what should be done, and you will have these two primitives wired up by the end of the hands-on. Um so, 15 minutes we are expecting the easy path, um and then 30 to 35 minutes for the medium. Once we have allocated the 15 minutes time, I will come up and show you where you would like essentially

[23:00] um add your code so that uh you can wire these two primitives up and you can see the entire thing come into life in action. And we also have a bonus challenge. If you finish early, you can start with the bonus challenge. Uh but before that we will have the B team Giovanni um in some time to like present. After Yeah. Yeah, sure thing. >> So

[23:31] I saw that you had as I was installing these uh >> Mhm. >> What is it the Nova Act UI verification skills? Um it it said that there were some defaults clients that are always supported and it included like Codex and Cloud Code. But then below that there are these additional skills and one of them is also Cloud Code. So I’m just curious like are there two different things going on there or are those the same? The the fact that there are two Cloud Code >> Yes, so there are two skills. One is the

[24:03] Nova Act skill. One is the Nova Act UI verification skills. So that’s why you must be seeing both of them. Yeah. So I’m going to give you the time here to I’m going to bring up the slide back. I’m going to ask Emil to pop up here. Slide back on the GitHub repo and so that you have the A API key handy if you have to change. Feel free to like raise your hand if you have any questions. We

[24:33] have our great awesome team supporting the workshop. There you find them, see them waving. So reach out to either of us and we will pop by you to help. Have fun. Okay, I’m just going to try to walk through the solution so that Okay.

[25:09] Okay. So, this is the step-by-step instructions. You can see that we have the Chrome extension. We have your agent uh AI agent running. Uh if you want your coding agent to like automatically apply the changes from the extension, you need a bridge because there’s no bridge between them. How would the extension like send the prompt to the coding uh coding agent? So, for that, we have built uh something called agent bridge

[25:42] that will automatically uh take the annotations and up- give prompted to the coding agent. That’s where it will start applying those changes and then running the UI verification skill. So, um essentially in the extension, we don’t have the apply changes button in the in the primitive mode, but I for this workshop, I have built in we have built this um apply changes button in the

[26:13] Chrome extension. Um I’ll walk you through that in a bit. Uh so, for the Chrome for for this entire thing to work, you need to make changes in like two files. The first file is um the manifest.json file in the Chrome extension, where you essentially add the this line for the host permissions to start accepting requests from the local host. Uh and then you add this this piece of

[26:47] code. It’s a huge like piece of chunk of code here. Um, and you can what this part does in the extension is creates and apply changes button, wires up with the extension, uh, make sure makes makes the UI verification run uh, in using the Nova at SDK instead of the skill, uh, and starts generates a report that you can click on and then view the report.

[27:17] Um, so this piece of code is goes in this file that is the, um, let’s see, content.js in the extension and it needs to be added around like line 261. Uh, between this append child export button just before and I think I have hash, uh, there’s a comment there add code here in that file and that’s where you would like paste this code.

[27:48] So once you have that running now you would see this apply change button here in the extension. Um, I think, uh, Emil was testing this so he changed this to like FIFA World Cup, why not? Um, so I’m going to select one of these and I’m going to refresh the extension again.

[28:20] Let’s see. Annotate current page. Uh, I’m going to try to change the published date. Change to today’s June 20 9th. Okay. And save it. And this is the extension.

[28:50] Apply changes. So, in the background, it’s going to open up your coding agent. It’s been tested on Cloud Code and Kiro as I mentioned. So, if you’re trying Cursor or or Codex, the agent bridge is something that you would have to edit so that it can accept these apply changes button like requests. Um So, in a bit it’ll start applying the changes and you will see certain logs

[29:21] that pop up as well in the repository. Um that is the key the CLI’s logs as well as when the verification runs Nova Act has these logs uh that gives you exactly what the AI model was thinking and what part of the screen it was trying to make a decision on. And you can see that the button changed to run verification now. So, it’s running the verification step. And in a bit it’ll also generate a report that you can see. So, this is

[29:52] where you basically apply the changes and go grab a lunch or like break and then come back and just see uh the verification report once you’re back. Going to give it a minute because it’s going to go through all the design flows, all the user flows, and then generate a report. So, it takes a bit of a time. Let’s see if I can pull up the repo.

[30:24] Oh. Shoot.

[31:35] >> I think the Wi-Fi is super slow, so But, I I think maybe in the meantime I can have Giovanni come over on the stage and show you a cool way to annotate your webs web pages instead of like just going and typing stuff on the web on the web page that you’re working on. >> Hello. >> Oh, the prime. >> Okay. >> Can we have >> Uh I’m done. Can I see the slides?

[32:07] >> The slides, yes. >> Hello. Hi everyone, I’m Giovanni and I was thinking to imagine you are in to do your design meeting just talking about the design modification you want to do to that website. And then automatically your perception agent agent is able to modify the website. This is something that you can do right now with the workshop. And this why, how? Using the B wearable devices.

[32:40] So, B is a device we have in Amazon. And you can buy it like in the b.computer website. It’s a wearable this is your AI assistant. So, it just have all it has a microphone. So, you can activate this the button and then it’s going to listen for your conversation. No worries, there is a l l i d that’s will be on if it’s listening to your conversation and then all your conversation on your private cloud.

[33:11] After the AI agent that is running B is able to gives you suggestion about whatever conversation you had. So, what I did is like integrating with this this agent the B agent with the perception agent that we had for the workshop. So, getting the input listening from a AI conversation from a design conversation. Uh, I don’t see the video. >> Yeah. >> Ah, this one. Yeah. Thank you.

[33:43] You can achieve this with three simple step. So, first of all, yes, you have to have a B. And I want with me that you can use here and now or we can have a test a test account to download that you can use to get the conversation as you want the conversation. Then you need to install the B C L I. It’s a C L I that will enable that is going to allow you to get the data for your conversation and it’s in the workshop the instruction to download the B C L I by just a npm command. Then you start the server of the

[34:14] workshop and then you start the bridge listening from B conversation and applying that to the perception agent. Then you just enable your B device. The LED is on. You say something like, “Oh, I want to change the title color to red. I want to change the emoji instead of our brain emoji, I want a robot emoji. And on the right side, you will see your conversation, your transcript of the conversation, and even the most important points. Here you can see the response API, the

[34:45] the API response coming from the B. You can open the panel and check. And then you can just select apply. And here is going to be the normal flow of the perception agent workshop. So, it’s going to change the color, the color that you just said, it’s going to change the emoji. And after the modification of the website are applied, it’s going to run even for you automatically the verification phase of no act.

[35:16] So, we have a test account that you can use with a preloaded conversation, preloaded design conversation. It is like just talking about, “Oh, we change the color, we change the emoji.” Something like that. And you can after you install the CLI and you log in with the B account with a test device with a test account, you just click on the bottom button, the the button at the bottom. Uh this is the verification page you can check. But otherwise, if you want to test the B device, we can like you do we can

[35:48] actually just use mine and I will show you around if you want it. Like we can actually see like have a conversation about the design and you can see that it’s actually applying this after like two or three minutes of elaborating the conversation. The Wi-Fi is a little bit slow, so that’s why I didn’t do the live demo. Uh and yeah, and then in the end there is there is the verification report that you can check. The B devices are also our prizes for the for the challenge. So, yeah, you’re going to have one if you win the challenge. And we also are at the booth

[36:19] today and all the week. So, yeah, let me know if you want to integrate B and I’m here for you. >> So, B device, if you want to come up on the stage, we have 10 minutes for you to like explore these two primitives, think of an idea that you want to probably use it. And if you want to come up, you’ll get one of these devices. Um so, yeah. The if just get creative, I guess.

[36:52] Hey everyone, I have Jed with me who built something really cool and he would like to show it to everyone. Jed, come up on the stage. Yeah. Jed. Oh. >> What am I doing? Where am I going? >> Oh, I called Jed, but yeah. >> Oh, I I My name is Jeff, so I thought >> You are Sorry. I’ll have Jeffrey next to show something cool as well. >> Oh, okay. All right, this this was just goofy, but it’s actually an an an interesting

[37:22] little funnel here is is with this animators going through and Oh, you can’t see it. Change it to a duck podcast. There we go. So, just turn asked it to turn it retro NES. Uh do some duck jokes and went back and did the verification

[37:53] funnel. Um it’s probably as what I was telling them is probably really interesting to me here is to watch this this great AI said I made it a duck you know, I I made a duck icon. But uh often as everyone here likely knows is you don’t actually see that happen, but then it it went through and did the the entire verification funnel, came back with the reports saying, yep, it’s done. I did it. I actually did it. So,

[38:25] that was cool. Oh, yeah. I had it I had it just do asked it to do some jokes. Which is pretty bad at. There you go. >> Oh, because you came up with a cool

[38:56] demo. Do you have to step? As promised, you win this. >> Oh, thank you. >> P device. UP NEXT, WE HAVE Jeff Lee who wants to come and present what he did.

[40:00] >> Yeah, so I’m still building a test harness to actually be able to show this cuz the default B account has a uh sample conversation that isn’t relevant to the things. So, this is just this is just something trying to uh bring the B to life. So, the idea was to have access the BCLI um and collect the summary of a of a conversation which was a discussion of of a backlog features that would be added to a uh repo that you’re working on, right? So, you’re working on a specific uh

[40:32] GitHub repository that’s that’s that that’s cloned and then um uh what’s going to happen is your conversation is going to be used in context with uh all of the code that’s that’s there. It’s going to build a backlog based on the the summary and it’s going to use the Atlassian MCP to put that into Jira. So, that’s the uh that’s the uh idea here. And so, the key thing that I’m just building right now in the background is uh the uh the test harness to insert a new conversation that’s relevant to the the repo. So, that’s

[41:06] Pretty simple and uh yeah. Anyway. >> That’s awesome. Thank you so much. >> Thanks. You’re welcome. >> So, here you win your new device. I know you wanted to go and get it, but you won it. >> Thank you very much. >> So, You have a question?

[41:37] Ryan, who’s going to present next? >> Hello, everyone. Excited to be here. Let me see. Start mirroring. So, I was I was late to this session uh because the other session ended at 3:00. So, um I came up to uh Giovanni. Let me shift the key right

[42:09] here. Oh, perfect. That’s fine. So, I gave it to Giovanni. Um currently wearing a bee hat. I currently attend uh Wharton uh business school. My cluster’s mascot is a bee. I am one of three people who care that the mascot to be. Um so, you can imagine my excitement when I came to this conference and saw we were presenting about uh bee device. So, naturally, being late, being a Wharton grad, I went and asked if I could have a free bee device. Uh

[42:40] Giovanni said, “You have an idea to share?” So, I I currently working at an AI upskilling startup. Um I’m not a huge fan of Linear. Apologies to anyone who works at Linear. I just needed a better way of understanding what should I be doing anytime during the day, going from capturing an idea, discussing with my co-founder, and then updating a project repository. So, this is a natural use case for the bee device. So, we have a internal tool called Sidekick. Emphasis on an internal because there is no

[43:12] design. Um in my co-founder’s defense, he did tell me to uh tell Claude to make it look pretty, no mistakes, and this is the best it did. So, um but how it works is we have a a joint inbox. Um you can ignore the Go Touch Crash SF. I just see all these billboards and um gets me concerned. Uh that we send emails jointly to uh capture@sidekick.ausin.org. And these are all the different inputs

[43:42] we have um thoughts throughout the week, newsletters. I don’t know if anyone here is subscribed to an AI newsletter. Um see something interesting, we send it to inbox. And we are big believers in getting things done, which was a uh mode for knowledge workers of organizing a projects task developed by David Allen in 2010. And oh, if the Wi-Fi works, you could be able to see it. Um Sorry, that did just work off the screen.

[44:12] One second. So, the getting the getting things done tree shows all the projects, and under each project it has uh the strategy, has what the what completion looks like, tasks, next steps, references. And we’ve built an MCP so we can sit and talk to Claude and strategize on, “Hey, this is what we’re thinking on this project. What do you think we should be doing?” All to solve the need of when you’re working after you have a meeting of like, “What should I be doing right now to tie to my ultimate strategy?” So, how

[44:43] we imagine this to work with the uh B uh device, as Giovanni uh informed me there’s an MCP, would be capture different meetings or different ideas, have it sent to our capture inbox, and then use that to update our strategy. Um I wish this was was loading because, let me see. Oh, that’s why. my phones. See that worked. Um Yes. You know, I’m now 0 for 11 for live

[45:14] demos. Um but that is that is my concept of the B device. I’m looking forward to using it and sharing on LinkedIn how much I love the bees. Uh go bees. Buzz buzz. Thank you. >> How would you uh go and integrate the perception agents into your uh >> Oh, I actually I have an answer for that, too. >> Okay. >> So, as I’ve actually emailed myself

[45:46] inside kick to discuss later with my co-founder, is uh we developed a lot of product offerings but such as sidekick, um different tools for learning. Um the whole mission of making sure everyone knows how to adjust to the upcoming workforce displacement. But the bottleneck right now is product design of building something that users can understand exactly what to do. So, we would use the annotation feature of the perception agent to then um send that description either through sidekick through our own like

[46:17] agent we have running to to make improvements, but then to close that loop of development. >> Oh. >> So. Yeah, so if AGI would love to sponsor Ozzie and I will give you my card and we can talk later. So. Thank you. >> Awesome. Thank you so much for coming up and demoing and here as promised a B device. >> Thank you. Appreciate it. >> So, as we are wrapping this up, um just Emil, I’m just going to We are going to put up a survey on the

[46:49] board on the screen. Uh it’s something that we Yes. You want to Oh, okay. Okay, there is uh Jonathan who wants to present as well. >> Uh so, mine’s more of like a concept that I didn’t have time to build everything. Um but I’ll just kind of walk through it.

[47:30] All right. So, I was kind of looking at the uh the proxy for the B and trying to figure out how are we getting the information from the CLI. Oh, it’s not. It’s not sharing. Oh, there we go. All right. So, I was trying to figure out uh how the proxy actually works and how we’re getting information from the B and uh besides just doing transcripts uh transcription could you pull different data from different sources? Could you pull up from an IoT device for whatever reason? Um

[48:00] And what I started to come up with is uh at the company I’m at, which is a finance company, we have a lot of non-technical people. And not only do we have to get our uh criteria in, we also have like a lot of UI UX um that we have to try and capture, and we don’t always get it in like the best details uh for acceptance criteria. So, I’ve been pushing the team to use uh Jam MCP, which basically allows you to do a recording, captures all the console logs, captures

[48:31] the network requests, and then uh feed that information. Um we also have I built an AR AI harness so we can pipe this information to it. So, really the architecture kind of looks like this, where very similar to like the um the CLI, you could actually take the Jam MCP, pipe that information into the proxy, have the LLM go out to you um Nova, and then actually take the UI uh implementation. So, if you’re saying things like, “Oh, I wish this uh would

[49:03] say, you know, uh this investor schedule needs to go like this um or this score should be uh a research level score and be in a different location.” Uh we’d be able to actually pull that information from the MCP, send it over to Nova, and actually make the changes on the AI harness that is running uh locally. So, you could do the proxy the same way, um but through a different device. Um did some initial tests. It looks like it works even through just some mocking,

[49:35] uh but wasn’t able with the Wi-Fi to get uh the fig or the Jam MCP up and running. But, that’ll be my test when I get home. So. Thanks. >> Thank you so much and here you go. So, right now we have 15 more minutes that will close the workshop.

[50:06] Um we will put up a QR code on screen. If you feel that you have a great idea and you don’t want to come up and talk to us about it you can submit these ideas here and we’ll do a we will sub we will vote on those ideas and the top three ideas will get a TB device. So, if you have an idea please put it

[50:39] in those the poll. Just give me a second. There you go. >> You guys see that? Yeah. So, we want them to scan the QR code and enter an innovative idea using what we’ve learned. >> What would you use this perception, be all the things that you saw today, all the things you played around with today? What do you think would be a good use

[51:09] case for you that will help you make your life easier on a everyday basis? We saw a bunch of ideas. Now, and if you think you had one you’re feeling a little shy there’s a chance to win another device. >> So, what do you think? 5 minutes and then we’ll >> 5 minutes and then we will Yep.

[51:44] Let me fix that. >> Okay, I stopped the poll now. So, all of them great ideas. I was reading through them and I was discussing with the mail there like so hard to pick. Is Isn’t it a mail? So, we have the one with pixel judge.

[52:17] Can someone raise their hand who submitted that idea? No one? Pixel judge? Uh What’s that? Okay. Um the next one was the agentic end-to-end testing for a product. Okay. Come on up here.

[52:48] Do you want to have Yeah. Awesome. Thank you. The reframe a life thinking canvas for brainstorming and planning. That’s you? Come on up here.

[53:19] So, we had decided we’ll give away three and one was not claimed. So, we have we did actually circle down to four. The last one is build a canvas app where human perception agent work on a UI design together in real time. Go on, up here. Thank one.

[53:52] A huge round of applause for all the winners here. Okay, so I just want to wrap the session up with uh something like a key takeaway. The first the most important thing of this workshop, you can all imagine, is

[54:25] the way human and agent collaboration is happening is changing. So, we need tools that will make the visual piece of how the um human and agents are collaborating, and this is what a step next to building perception perception agent is. So, you can get started with Nova Act if you haven’t already, you know, looked at the GitHub repo. It’s available, you can scan this QR code. It’s an SDK, and also we have a

[54:57] blog post by our team that you can look it up explaining how what we are thinking about perception agent at large. So, with that, thank you everyone, and we also have a feedback um QR code up. If you think you like the session, you like Emil, uh you liked me, you liked Giovanni here who presented, please leave us a feedback. We appreciate all your presence here. Thank you so much.

[55:42] >> Mhm.