New Way Now: Captur oferece verificação visual de última milha com IA na borda usando Google Cloud

Ver no idioma original →

Autoria: Google Cloud · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: New Way Now: Captur delivers last-mile AI visual verification at the edge with Google Cloud · Canal: Google Cloud · 03:17 · Assistir no YouTube

Tópicos: Dados, bancos de dados e embeddings, Infraestrutura e hardware de IA, Modelos multimodais

Resumo

A Capture desenvolve modelos de visão computacional para verificar entregas e outras situações em tempo real, diretamente no dispositivo. Ao orientar entregadores a corrigir fotos no momento da captura, a empresa relata reduções em reclamações de entregas não recebidas e em fotos de pacotes invisíveis. A equipe usa serviços do Google Cloud, incluindo Cloud Run, BigQuery e Gemini, para desenvolver e treinar modelos em escala. Como modelos grandes são pesados demais para rodar em celulares, a Capture usa destilação para transferir seu desempenho a modelos menores. A empresa pretende combinar compreensão visual com uma camada de planejamento que recomende ações.

Pontos-chave

• Modelos de visão computacional verificam fotos de entregas e o estacionamento de scooters em tempo real.
• A verificação acontece no dispositivo, permitindo corrigir problemas antes que se tornem disputas, reembolsos ou falhas de conformidade.
• Um parceiro de entregas registrou redução de 30% em reclamações de entregas não recebidas na primeira semana.
• Quando receberam uma orientação, 96% dos motoristas corrigiram as fotos na hora.
• A arquitetura usa Cloud Run, BigQuery, Cloud Storage, Pub/Sub e Gemini.
• A destilação permite treinar modelos menores a partir do comportamento de modelos maiores, viabilizando a execução em dispositivos móveis.
• Gemini ajuda a testar a viabilidade de tarefas antes do desenvolvimento dos modelos para os dispositivos.
• BigQuery é usado para busca vetorial e consultas semânticas que ajudam a selecionar dados para melhorar os modelos.
• A próxima etapa é combinar compreensão visual com uma camada de planejamento que recomende ações.

Capítulos

Início	Capítulo	Resumo
00:00	Verificação visual em tempo real	A Capture explica como usa dados e feedback dos usuários para desenvolver modelos de visão computacional para situações do mundo real.
00:33	Orientação no momento da entrega	Os modelos verificam fotos e ajudam entregadores a corrigir problemas antes que resultem em reclamações ou disputas.
01:38	Infraestrutura e modelos para dispositivos	A equipe apresenta os serviços do Google Cloud usados e explica como a destilação permite levar modelos menores aos celulares.
02:44	Dados sintéticos e próximos passos	A Capture usa Gemini e BigQuery para testar tarefas e melhorar modelos, e planeja combinar compreensão visual com recomendações de ação.

Citações

Nossa vantagem vem do que fazemos com os dados. — 00:00

Levamos a verificação para o momento, no próprio dispositivo. — 00:33

Um parceiro de entregas teve 30% menos reclamações de entregas não recebidas na primeira semana. — 01:08

O modelo menor aprende com o que o modelo maior está fazendo. — 02:12

O próximo salto é tornar o feedback mais específico. — 02:44

Conceitos e entidades

• Capture (empresa): Empresa que desenvolve modelos de visão computacional para verificação visual em tempo real.
• Samana Sarma (pessoa): CTO da Capture, apresentada no vídeo.
• Google Cloud (empresa): Plataforma de nuvem usada pela Capture para serviços de backend, dados e desenvolvimento de modelos.
• Cloud Run (ferramenta): Serviço usado pela Capture para executar serviços de backend e escalar conforme a demanda.
• BigQuery (ferramenta): Serviço usado para armazenar dados, fazer busca vetorial e realizar consultas semânticas.
• Gemini (modelo): Modelo usado pela Capture para treinamento, capacidades multimodais e testes de viabilidade.
• Terraform (ferramenta): Ferramenta mencionada junto com Gemini no treinamento de modelos personalizados.
• distillation (conceito): Processo pelo qual um modelo menor aprende com um modelo maior para executar em dispositivos com recursos limitados.
• Cloud Storage (ferramenta): Serviço de armazenamento em nuvem citado como parte da infraestrutura da Capture.
• Pub/Sub (ferramenta): Serviço de eventos citado como parte da infraestrutura usada pela Capture.

Tradução completa (pt-BR)

00:00 Obrigado por isso. Nossa vantagem no edge se baseia no que fazemos com os dados. É essa capacidade de encontrar cenários únicos que só acontecem no mundo real e de ajustar nosso modelo com base no feedback dos usuários. Meu nome é Samana Sarma. Sou CTO da Capture. Antes da Capture, as empresas ou confiavam cegamente ou esperavam por análises manuais demoradas

00:33 Nós criamos modelos de visão computacional para dispositivos móveis, em tempo real. Se alguém estaciona uma scooter incorretamente ou um motorista tira uma foto da entrega que não atende aos critérios, conseguimos detectar isso. Transferimos a verificação para o momento da ação, no próprio dispositivo. Isso permite que tanto o sistema quanto o destinatário obtenham uma boa fotografia. Os problemas são detectados antes de se transformarem em disputas, reembolsos ou lacunas de conformidade. Posso dar um exemplo. Recebi uma entrega. Tudo o que recebi foi uma foto do pacote em um arbusto. Quando o entregador está tirando a foto, podemos orientá-lo um pouco. Um parceiro de entregas

01:08 viu uma redução de 30% nas reclamações de não recebimento já na primeira semana. 96% dos motoristas corrigiram suas fotos na hora, quando receberam uma orientação, e as entregas de pacotes invisíveis diminuíram. Tornamo-nos essenciais para comprovar que nossos entregadores estão cuidando da cidade. A Capture usa o Cloud Run para serviços de backend. A capacidade de reduzir a escala a zero tem sido um dos nossos benefícios mais importantes. Isso nos permitiu experimentar rapidamente com

01:38 opções, BigQuery para armazenamento de dados, Cloud Storage, eventos do Pub/Sub e, então, Gemini para treinamento de modelos. Também usamos o Gemini para os recursos de IA multimodal. Essa stack integrada permite que nossa equipe de engenharia, bem pequena, opere em grande escala. Cada novo celular é, essencialmente, uma nova plataforma que precisamos suportar. Toda a inference e o processamento acontecem no próprio dispositivo. Na verdade, não podemos disponibilizar o modelo grande no dispositivo. Ele consumiria energia demais. Então, precisamos encontrar uma maneira de obter o desempenho do modelo maior e fazê-lo funcionar no modelo menor. E é para isso que serve a

02:12 destilação neste caso. O modelo menor aprende com o que o modelo maior faz. Precisamos escolher cuidadosamente os diferentes modelos que serão combinados para criar esse modelo final, que realmente será executado no dispositivo. Com o uso do Terraform e do Gemini, conseguimos treinar nossos modelos personalizados. O GCP nos permite fazer isso sem aquele exército de engenheiros de operações de que normalmente precisaríamos. Usamos o Gemini para testar o que é viável antes de começarmos a nos comprometer com nossos modelos

02:44 no dispositivo. E, se o Gemini tiver dificuldades, sabemos que a tarefa foi formulada de maneira muito complexa. Antes, teríamos que iterar. Isso nos permite automatizar nosso desempenho. Também podemos gerar esse conjunto de dados sintéticos. Também usamos bastante o BigQuery, com recursos como a pesquisa vetorial. Podemos fazer consultas semânticas. Isso nos permite trazer esses dados para treinar e aprimorar o modelo. O próximo grande salto, porém, é tornar o feedback mais específico. À medida que esses modelos ficam pequenos e eficientes o bastante, podemos começar a combinar essa compreensão visual com uma camada de planejamento que decide qual ação recomendar. Com o Google Cloud,

03:17 A Captures está criando uma nova maneira de capturar o mundo.

Transcrição original

[00:00] Thank you for that. >> [music] >> Our edge is built on what we do with the data. It’s this ability to find unique scenarios that only occur in the real world and we are able [music] to tune our model based off the user feedback. My name is Samana Sarma. I’m the CTO of Capture. >> Before Capture, businesses either trusted blindly or waited for slow

[00:33] manual reviews. We create these real-time mobile-friendly computer vision models. [music] If a rider parks a scooter incorrectly or a driver takes a delivery photo that does not meet the rubric, we can catch that. We move the verification into the moment on device. [music] That will allow both the system and the recipient to get a good photograph. Problems get caught before they become disputes, refunds, or compliance gaps. I can give you an example. I got a delivery. All I got was a photo of the package in a bush. When the courier is taking the photograph, we can nudge them slightly. One delivery

[01:08] partner saw a 30% reduction in their did not receive claims in the first week. 96% of drivers corrected their photos on the spot when prompted and invisible package deliveries dropped we have become instrumental to prove our riders are looking after the city. Capture leverages Cloud Run for backend services. Scale to zero has been one of our most powerful benefits. It’s allowed [music] us to quickly experiment with

[01:38] options, BigQuery for data warehousing, Cloud Storage, Pub/Sub events, and then [music] Gemini for model training. We also use Gemini for the multimodal AI capabilities. So, this integrated [music] stack lets our very small engineering team deliver at scale. Each new phone is essentially a new platform for us [music] to support. All of the inference and processing happens on the device itself. We can’t actually ship the large model on device. That’s going to consume too much power. And so, we need to find a way to get the larger model’s performance and get it running on the smaller model. And that’s the

[02:12] [music] purpose of distillation here. We’ll have the smaller model learn from what the larger model is doing. We have to [music] pick and choose the different models that will be put together to create this one final model that will actually run on device. With the use of Terraform and Gemini, we were able to train our custom models. [music] GCP lets us do that without this army of ops engineers that you’d normally need. We use Gemini to test what’s feasible before we start committing to our

[02:44] on-device [music] models. And if Gemini’s struggling, we know that the task is framed in a very complex way. Previously, we’d have to iterate. And this allows us to automate our performance. And [music] we also can generate this array of synthetic data. We’ve also made heavy use of BigQuery, things like vector search. We can query semantically. And that would allow us to pull in this data to train the model to improve. The next leap, however, is making the feedback more specific. As these models become small enough and efficient enough, we can start combining this visual understanding and then a planning layer that decides what action to recommend. With Google Cloud,

[03:17] Captures is creating a new way to capture the world. >> [music]