Vanta e LangSmith: avaliando evidências de conformidade como um auditor

Autoria: LangChain · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Vanta and LangSmith: Assessing Compliance Evidence Like an Auditor · Canal: LangChain · 01:01 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA

Resumo

O vídeo apresenta uma capacidade da Vanta para avaliar evidências de conformidade da perspectiva de um auditor. A pessoa entrevistada destaca que a observabilidade do LangSmith facilita encontrar traces por meio de busca de texto completo e filtros por metadados. Também elogia os evaluators do LangSmith, em especial o recurso align evaluators, que ajuda a rotular dados de referência como bons ou casos de falha. Segundo ela, recursos da interface tornaram o workflow até 10 vezes mais rápido e apoiam a melhoria da qualidade de IA de ponta a ponta.

Pontos-chave

A capacidade apresentada busca avaliar evidências de conformidade como um auditor faria.
A dificuldade de encontrar traces em ferramentas anteriores era um problema recorrente.
A observabilidade do LangSmith oferece busca de texto completo e consulta a campos de metadados.
Os evaluators do LangSmith ajudam a avaliar resultados de IA.
O recurso align evaluators permite rotular dados de referência como bons ou casos de falha.
A interface do LangSmith tornou o workflow da pessoa entrevistada até 10 vezes mais rápido.
O objetivo é melhorar os resultados de qualidade de IA de ponta a ponta.

Capítulos

Início	Capítulo	Resumo
00:00	Avaliação de evidências de conformidade	A pessoa apresenta a capacidade de avaliar evidências como um auditor e relata dificuldades para encontrar traces em outras ferramentas.
00:30	Observabilidade e busca no LangSmith	A busca de texto completo e a consulta a metadados ajudam a encontrar dados sem enfrentar as limitações das ferramentas.
01:01	Evaluators e melhoria da qualidade de IA	A pessoa elogia os evaluators e a interface do LangSmith, que aceleram seu workflow e apoiam a melhoria da qualidade de IA.

Citações

Estamos desenvolvendo uma capacidade que ajuda a avaliar evidências de conformidade como um auditor faria. — 00:00

Finalmente consigo encontrar os dados que quero sem ter que lutar contra minhas ferramentas. — 00:30

Gosto muito do recurso align evaluators. — 00:30

Há recursos na interface que tornaram meu workflow 10 vezes mais rápido. — 01:01

Conceitos e entidades

Vanta (empresa): Empresa associada à capacidade de avaliar evidências de conformidade mencionada no vídeo.
LangSmith (ferramenta): Ferramenta destacada por seus recursos de observabilidade e avaliação de aplicações de IA.
LangChain (empresa): Empresa responsável pelo canal que publicou o vídeo.
observability (conceito): Recurso que permite pesquisar traces e consultar seus campos de metadados.
traces (conceito): Registros que podem ser pesquisados e inspecionados no LangSmith.
align evaluators (ferramenta): Recurso de avaliação elogiado por ajudar a rotular dados de referência como bons ou casos de falha.
compliance evidence (conceito): Evidências de conformidade avaliadas no vídeo segundo a perspectiva de um auditor.

Tradução completa (pt-BR)

00:00 Estamos desenvolvendo um recurso que ajuda a avaliar evidências de conformidade da maneira como um auditor faria. Um dos meus pontos problemáticos com outros fornecedores e com nossas próprias ferramentas internas é simplesmente a incapacidade de encontrar o que eu queria encontrar. Eu ficava procurando algum trace. Passava 10 minutos tentando encontrar algo e acabava desistindo. A LangSmith acertou em cheio nos recursos de observabilidade. A observabilidade da LangSmith permite que você realmente

00:30 procure traces com flexibilidade, faça pesquisas de texto completo e consulte os campos de metadados. Finalmente consigo encontrar os dados que quero sem ter que lutar contra minhas ferramentas. Sou um grande fã das avaliações da LangSmith. Especificamente, gosto muito do recurso de alinhamento dos avaliadores. Acho que o produto acerta ao exigir que você tenha uma opinião e rotule seu ground truth como >> [música] >> bom ou ruim. Isso é bom ou é um caso de falha? E há certos recursos na interface que, na minha opinião,

01:01 deixaram meu workflow 10 vezes mais rápido. Sinto que a LangSmith entende. Eles realmente entendem que queremos melhorar esses resultados, como os de avaliadores e de qualidade de IA, de ponta a ponta, e estão pensando com rigor sobre quais ferramentas, número cinco.

Transcrição original

[00:00] We’re building a capability that helps assess compliance evidence the way an auditor would. One of my pain points with other vendors and our own in-house tooling is just inability to find things that I wanted to find. I would just be looking for some trace. I would just spend 10 minutes just trying to find something and giving up. LangSmith really nailed the observability features. LangSmith observability allows you to really

[00:30] flexibly look through your traces, do full text search, and look through the metadata fields. I can finally find the data that I want without having to fight my tooling. I’m a big fan of LangSmith evaluations. Specifically, I really like the align evaluators feature. I think what the product gets right is it forces you to have an opinion and label your ground truth like >> [music] >> good or bad. Is this good or is this a loss case? And there are just certain affordances in the UI that I feel like

[01:01] has made my workflow 10 times faster. I feel like LangSmith gets it. They really get that we want to improve these out like evaluator and AI quality outcomes end to end, and they’re thinking rigorously about what tooling number five.