Como governar todo o seu ecossistema de IA em um só lugar

Ver no idioma original →

Autoria: Databricks · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: How to Govern Your AI Estate in One Place · Canal: Databricks · 20:53 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Cibersegurança e segurança de software, Governança e regulação de IA, Mercados e economia, Privacidade e proteção de dados

Resumo

O vídeo apresenta o Governance Hub da Databricks, uma interface no nível da conta que centraliza informações de governança, custos, dados, tags e uso de IA. A ferramenta reúne telemetria agregada para ajudar equipes e administradores a identificar padrões de acesso, tabelas populares, lacunas de metadados e principais fontes de gastos. Para o uso de IA, oferece observabilidade de tráfego, consumo de tokens e orçamentos com limites que podem bloquear o uso. O vídeo também apresenta recursos planejados, como verticais de segurança e desempenho, integração mais direta com Genie e recomendações para aplicar políticas e padrões.

Pontos-chave

• O Governance Hub oferece uma visão centralizada, no nível da conta, para equipes de governança e administradores.
• A interface agrega dados de telemetria, muitos deles provenientes de system tables, e os apresenta em uma experiência selecionada pela Databricks.
• As páginas de dados e tags ajudam a identificar tabelas populares, avaliar sua curadoria e encontrar lacunas nos metadados.
• A visualização de acesso mostra permissões de usuários em diferentes objetos da conta, incluindo acessos derivados da participação em grupos.
• A área de custos permite detalhar gastos por tags, equipes, produtos e workloads para localizar oportunidades de otimização.
• A área de IA monitora gastos, tokens, solicitações, modelos, usuários e workspaces relacionados ao tráfego do Unity AI Gateway.
• Os orçamentos do Unity AI Gateway podem definir limites por usuário e bloquear o uso após o limite estabelecido.
• O Governance Hub está em beta, e a equipe prevê adicionar recursos de segurança, desempenho, integração com Genie e recomendações acionáveis.

Capítulos

Início	Capítulo	Resumo
00:00	O problema da governança dispersa	A conversa apresenta os desafios de acompanhar custos, classificação de dados e uso de modelos quando a telemetria está espalhada por diferentes ferramentas.
05:24	Dados, tags e permissões	A demonstração mostra como identificar tabelas populares, examinar o acesso dos usuários e acompanhar a atribuição e a automação de tags.
11:16	Custos e governança de IA	A equipe demonstra a análise detalhada de custos e o monitoramento de tráfego, tokens e orçamentos do Unity AI Gateway.
17:39	Recursos planejados e acesso ao beta	A equipe apresenta as prioridades futuras para segurança, desempenho, Genie e aplicação de políticas, além de explicar como ativar o beta.

Citações

O Governance Hub vem resolver esse problema de visibilidade. — 02:10

Pense nele como um aplicativo web. É uma interface web que selecionamos e organizamos. — 03:17

Também posso acompanhar tokens e contagem de solicitações. — 14:29

Não é apenas um alerta brando: posso bloquear completamente o uso. — 15:02

A governança deixou de ser uma preocupação secundária na Databricks. É um produto de primeira classe. — 20:53

Conceitos e entidades

• Governance Hub (ferramenta): Interface no nível da conta da Databricks que centraliza informações de governança, dados, custos e uso de IA.
• Databricks (empresa): Empresa responsável pela plataforma e pelo Governance Hub apresentado no vídeo.
• Unity Catalog (ferramenta): Produto da Databricks cuja equipe trabalha em recursos de governança e observabilidade apresentados no vídeo.
• Unity AI Gateway (ferramenta): Serviço cujos dados de tráfego e consumo de IA são exibidos no Governance Hub e para o qual é possível configurar orçamentos.
• Genie (ferramenta): Recurso citado em relação à curadoria de tabelas, ao uso de IA e à integração planejada com o Governance Hub.
• ABAC (conceito): Modelo de controle de acesso mencionado como contexto para o uso de tags e como informação que poderá aparecer futuramente na visualização de acesso.
• FinOps (conceito): Prática de monitorar e otimizar gastos, abordada por meio da análise detalhada de custos na plataforma.
• PII (conceito): Informações pessoais identificáveis, mencionadas no contexto de governança e classificação de dados.
• Sadhana (pessoa): Gerente de produto da Databricks que apresenta recursos de governança de custos e observabilidade de IA.
• Kristen (pessoa): Gerente de produto da equipe do Unity Catalog que apresenta recursos de dados, tags e governança.

Tradução completa (pt-BR)

00:00 Seu líder de FinOps está se desdobrando entre dezenas de consultas personalizadas só para descobrir o que causou o pico nos gastos com a nuvem durante a noite. Sua equipe de governança criou ferramentas caseiras para acompanhar a cobertura de classificação, mas esses painéis já estavam desatualizados no dia em que foram lançados. E sua equipe de implantação de IA está completamente às cegas, sem saber quais modelos os desenvolvedores estão usando nem com que rapidez estão consumindo o orçamento de tokens. Quando a telemetria crítica fica espalhada entre tabelas do sistema, visualizações isoladas do workspace e ferramentas de terceiros, sua equipe para de

00:31 inovar e começa a apagar incêndios. Você passa metade da semana bancando o detetive, procurando tabelas órfãs e cobranças misteriosas, até que os administradores da plataforma acabam bloqueando seu acesso por puro instinto de autopreservação. Isso não é governança. É um gargalo. E isso acaba hoje. Hoje, vamos apresentar o novíssimo hub de governança com Sadhana e Kristen. Oi. >> Oi, Youssef, obrigada pelo convite. Meu nome é Sadhana, sou gerente de produto

01:02 aqui na Databricks. Na verdade, sou mais especializada em governança de custos e em parte da nossa observabilidade de IA. Estamos animadas para mostrar o GovHub. >> Oi, sou Kristen. Sou gerente de produto na equipe do Unity Catalog. Estou aqui há pouco mais de três anos e meio. Então, venho conhecendo a Databricks por dentro. Antes, meu foco era mais no nosso sistema de tags, mas agora passei a trabalhar com governança e observabilidade de IA. >> E posso garantir que as tags de governança são superimportantes e muito

01:36 úteis quando usadas com ABAC. Aliás, vale muito a pena conferir os, acho que, 10 mil recursos que o ABAC >> [ri pelo nariz] >> recebeu nas últimas semanas. >> Sim, há alguns recursos legais disponíveis agora, então vão lá conferir. >> Então, me contem: o que é o hub de governança e por que os usuários deveriam se importar com ele? >> Sim, o hub de governança foi criado para funcionar basicamente como um painel único, no nível da conta, para administradores e, claro, equipes de governança. Basicamente,

02:10 agora, mais do que nunca, percebemos que a adoção de IA pelos nossos clientes — sinceramente, inclusive a nossa própria adoção de IA — está crescendo exponencialmente. E, por causa disso, a necessidade de ter visibilidade sobre o que as equipes da sua organização estão fazendo está se tornando cada vez mais importante. É aí que entra o hub de governança: queremos resolver esse problema de visibilidade. Assim, você pode entender o que as pessoas estão fazendo na sua organização, como estão usando os dados, se deveriam mesmo estar acessando informações pessoais identificáveis (PII) e

02:44 também identificar, sabe, quando há picos de custo e se modelos de IA, entre outras coisas, talvez não deveriam estar sendo usados. Estamos oferecendo um ponto único para a observabilidade da governança. >> Isso é desenvolvido exclusivamente com base em tabelas do sistema? E em que difere dos painéis que já temos? >> Sim, boa pergunta. Até agora, vocês conhecem o painel de uso e há um painel do AI Gateway. Todos eram painéis de AI BI

03:17 que os clientes precisavam importar para o workspace. Isso trazia alguns problemas. Claro que o cliente podia personalizá-los, mas eles eram executados com base em tabelas do sistema no warehouse dos clientes. Não conseguíamos controlar o desempenho, certo? Ele dependia do que mais estivesse consumindo recursos do warehouse, e queríamos criar uma experiência mais selecionada. Então, o hub de governança não é um painel tradicional. Pense nele como um aplicativo web. É uma interface web que selecionamos. Nós pré-agregamos todos os dados subjacentes. Grande parte deles vem de tabelas do sistema. Os

03:48 clientes ainda podem reproduzir algumas das informações se quiserem investigar mais a fundo, mas há informações, por exemplo, sobre governança de dados, que incluem o mapeamento de usuários para grupos, obtido por meio de uma API interna de telemetria. Então, tentamos centralizar toda a telemetria mais relevante, agregá-la de forma clara e disponibilizá-la diretamente no hub de governança. >> Quem são os perfis de usuário visados pelo hub de governança e quais permissões são necessárias para acessá-lo? >> Sim, eu diria que isso está evoluindo

04:18 e ainda estamos nos estágios iniciais. Nosso público-alvo principal são mesmo as equipes de governança, e sabemos que há diferentes vertentes, dependendo do que você está analisando: custos, IA, segurança e também administração. Por enquanto, essa experiência tem sido disponibilizada de forma bastante restrita aos administradores. Ela fica no console da conta, então os administradores da conta podem ver todas as páginas do hub de governança, mas demos

04:50 o primeiro passo para permitir que administradores de workspace vejam informações de custo dos workspaces pelos quais são responsáveis, além de permitir que administradores de metastore vejam informações relacionadas à governança de dados dos metastores pelos quais são responsáveis. No futuro, estamos avaliando ampliar esse acesso, porque sabemos que, ao focar nos administradores, o grupo ainda é mais restrito. Mas, como estamos introduzindo um monitoramento tão abrangente, no nível da conta, queremos ter

05:24 certeza de que seremos cautelosos quanto a quem terá acesso inicialmente. >> Ótimo. Acredito que temos quatro áreas que estamos cobrindo. Podem nos contar mais sobre cada uma delas? Bem, vamos começar por dados e tags. O que há nessa seção? >> Sim, por que não mostro para você? Gosto de ter algo na tela enquanto converso também. Um ponto que quero destacar, especialmente para quem está mais acostumado a trabalhar na experiência do workspace,

05:55 é que agora há uma nova seção de governança no console da conta. Como eu disse antes, administradores de workspace e administradores de metastore podem acessar essa experiência em páginas específicas. Isso significa que essa área do serviço, que antes não estava disponível para eles, agora está. Então, aqui temos quatro seções diferentes. Como você mencionou, temos dados, tags, IA e custos. Quero destacar dois casos de uso principais para a página de dados.

06:27 O primeiro é poder ver quais são as tabelas mais populares e se estão bem selecionadas para uso com Genie. Aqui, vejo duas visualizações diferentes. Você pode ver a tendência ao longo do tempo: como as pessoas estão usando os recursos, especialmente tabelas e views, na sua conta. Também temos esta visualização por localização. Então, posso acessar e ver que o Fuzzer, que por acaso é o nosso metastore interno,

06:58 contém as tabelas mais populares. E posso usar este widget para identificar onde estão nossas tabelas mais populares e investigar se algumas delas são de alta qualidade, se estão completamente sem monitoramento e também identificar, por exemplo, que talvez devêssemos adicionar tags a essas tabelas para descrevê-las melhor e ajudar o Genie e outras ferramentas a atender melhor os usuários finais. Esse é um dos nossos principais casos de uso. E o outro que eu quero

07:29 mencionar, e que me deixa particularmente animada, é a visualização de acesso. Historicamente, era um pouco difícil ver a que um único usuário tinha acesso, não só em um determinado workspace ou metastore, mas também em toda a conta, porque era um pouco complicado ver a participação em grupos. Então, introduzimos esta visualização. Ela já vem filtrada para mim, e excluí algumas das permissões associadas a todos os usuários. Mas agora posso acessar e ver vários tipos diferentes de

08:02 objetos protegidos, novamente em toda a conta, aos quais eu — ou esse usuário — pode ter acesso. Também posso ver exatamente como esse acesso foi concedido. Aqui, combinamos diferentes tipos de origem: posso ver que sou proprietária de um objeto específico ou que pode haver uma concessão direta. Mas também posso ver a participação em grupos, que é o ponto principal e que historicamente era muito difícil de verificar. Tenho uma novidade interessante: no futuro, estamos avaliando incluir nesta visualização a indicação de políticas ABAC em

08:35 vigor, mas, por enquanto, você vê apenas seus privilégios. >> Isso é muito interessante. Simplifica a forma como as pessoas que mantêm a plataforma ou concedem permissões podem visualizar as permissões, mas também entender como as pessoas estão usando os dados dentro da plataforma. >> Com certeza. Sim, conversei outro dia com um cliente que disse: “É, queremos tirar uma captura de tela disso e usá-la na nossa análise de conformidade.” Porque antes eles tinham que fazer tudo por conta própria, e era um processo inteiro

09:09 todo o processo. >> E também em relação às tags, acho que elas são muito importantes agora. Também podem ser associadas a páginas, então você pode adicionar tags às tabelas que são acessadas com frequência para marcá-las como, digamos, válidas. E aquelas que não são mais acessadas, como obsoletas, para garantir que não sejam incluídas na ontologia oficial. Acho que vejo muitos casos de uso interessantes que poderiam aproveitar esses dois primeiros componentes. Mas e quanto a custos e IA? Eu

09:43 acho que essas são as partes mais sensíveis, porque sei que estamos numa era em que muita gente está consumindo tokens, e eu diria o mesmo sobre os custos, porque estão intimamente integrados. >> Antes de passarmos para IA e custos, quero destacar uma coisa sobre a nossa visualização de tags. Como você disse, as tags são úteis e importantes para destacar o que é mais importante no Genie, e também são essenciais para representar informações de identificação pessoal nos dados e coisas assim.

10:13 Por isso, temos esse novo pilar de tags. O motivo de o termos separado é que descobrimos que os clientes estavam enfrentando dificuldades para identificar lacunas nos metadados e também para acompanhar quando recorriam às nossas ferramentas de automação. Temos toda uma série de ferramentas recentes de automação de tags. Temos classificação de dados, temos nossas duas novas ferramentas de automação de tags e agora também propagamos tags por meio da linhagem. Então, é mais importante

10:45 do que nunca poder acompanhar e verificar: “Quem está atribuindo essas tags? Posso falar com essa pessoa e garantir que as tags atribuídas são as corretas?” Só queria destacar isso. >> Perfeito. Obrigado. Você mencionou muitas coisas, mas acho que ainda faltam duas partes importantes do hub de governança: custos e IA. >> Então, vamos mudar de perspectiva por um segundo. O Christian mostrou principalmente a perspectiva de um administrador de dados, alguém responsável pela governança de dados, talvez até um engenheiro de IA que busca manter a integridade e a qualidade dos dados. Vamos mudar de perspectiva por um segundo e assumir o papel de alguém de FinOps ou de um administrador de faturamento. O hub de governança tem uma área dedicada a custos, que se tornou popular entre os clientes atuais durante a prévia. Esta é uma visualização centralizada, que abrange toda a conta, dos custos do Databricks em todas as linhas de produtos, seja um banco de dados, um app ou o Genie. Então, você acessa aqui. Isso também está disponível para administradores de workspace, que geralmente são responsáveis pelos orçamentos dos próprios workspaces.

11:16 Tenha uma visão geral de onde você está gastando e de como o ritmo de gastos mudou nos últimos 30 dias. Acho que os clientes adoram o hub de governança de custos porque oferecemos tanto um resumo executivo dos gastos quanto uma forma muito fácil de detalhar os maiores responsáveis pelos custos. Por exemplo, digamos que eu queira saber quais são as equipes que mais gastam neste ambiente. Posso acessar aqui e

11:50 agrupar por tag. Internamente, usamos uma tag chamada budget, que representa as diferentes equipes cujos custos cobramos. Vejo que há uma equipe específica — na verdade, duas equipes — com gastos consideravelmente maiores. Agora, quero identificar rapidamente em que elas estão gastando, o que está fazendo os custos subirem 30% neste mês. Então, filtro rapidamente. Agora, quero agrupar por produto, certo?

12:22 E vejo que isso faz sentido. Trata-se de uma organização de engenharia de runtime. Os gastos são principalmente com jobs. Com mais um clique, consigo identificar alguns dos jobs responsáveis que elevaram os custos dessa equipe nos últimos 30 dias. Este subiu 35%. Este aqui subiu 100%. Em média, eles estão gastando mais de US$ 100 por dia nesses jobs. Assim, como líder de FinOps, consigo identificar rapidamente quais equipes estão gastando no Databricks, em quais linhas de produtos estão gastando e quais são as cargas de trabalho específicas para as quais posso delegar a busca por

12:52 oportunidades de otimização de custos. Esse é o hub de governança de custos. E, claro, como todo mundo está pensando em custos agora, a IA está em primeiro plano. Para isso, criamos um painel dedicado à IA. Como isso se relaciona com o Unity AI gateway, o Unity gateway? Todo o tráfego que passa pelo Unity AI gateway, seja de serviços de modelos internos, como os chamamos, ou de serviços de provedores de modelos externos, todo

13:26 esse tráfego conta com alto nível de detalhamento e muita observabilidade, e o hub de governança fornece um relatório executivo com indicadores sobre todo o tráfego e o consumo de IA. Tudo isso se baseia nos mesmos dados de governança de tráfego e observabilidade que também estão disponíveis nas system tables do AI gateway. Ao acessar aqui, consigo identificar rapidamente quanto gastei com IA nos últimos 30 dias, quais são, possivelmente, meus modelos internos

13:57 também e quais usuários estão elevando os custos de IA. Consigo ver uma série temporal semelhante, agrupá-la por modelo, família de modelos, usuário ou workspace e analisar os gastos. Mas também posso consultar apenas a contagem de tokens e de solicitações. A observabilidade é ótima, mas, obviamente, não basta para a governança de IA, porque os custos de IA podem crescer exponencialmente. Por isso, também criamos orçamentos para o Unity AI gateway. Eles estão disponíveis no hub de governança para administradores de conta e administradores de workspace

14:29 também. Com esses orçamentos, você pode acessar aqui e criar um orçamento direcionado ao Unity AI gateway. Você pode até especificar se quer incluir apenas o Genie, porque estamos buscando integrar melhor o Genie ao gateway. Neste caso, criei um orçamento que cobre todos os meus workspaces e é direcionado aos gastos com o Genie. Posso acessar aqui e definir limites por usuário. E não se trata apenas de um alerta preventivo: posso bloquear totalmente o uso. Digamos que cada usuário só possa gastar US$ 1.000 com o

15:02 Genie. Posso adicionar isso aqui e bloquear o uso depois que o limite for atingido. Mas talvez eu queira um orçamento maior para mim, já que também sou administrador. Então, posso definir um orçamento de US$ 2.000 para mim. Pronto. É uma configuração com a qual estou satisfeito. E qual é o resultado disso? Quando você cria um orçamento e ele começa a acompanhar o uso, recebe atualizações frequentes, quase em tempo real, sobre seus usuários, seus gastos e quanto já gastaram em relação ao limite.

15:35 Aqui, estamos vendo que definimos um limite de US$ 10. E os nossos usuários internos adoram o Genie, então já ultrapassamos esse limite nos primeiros dias do mês. Vou acessar aqui e aumentar o limite excepcional para alguns desses usuários. Isso é parte da governança de IA: observabilidade dedicada, limites rígidos de orçamento, muito mais insights e novas áreas a caminho. >> Acompanhar os custos nunca foi tão fácil. Gosto muito do fato de podermos detalhar os custos, desde a visão geral até as partes mais específicas, para entender de onde eles vêm: por workspace, workflow ou produto. E também penso que, ao passarmos para a parte de IA, os orçamentos nos permitirão

16:06 evitar gastos acidentais ao conceder, digamos, um orçamento a cada usuário e, é claro, definir um limite maior para o superusuário, garantindo que ele ainda consiga realizar as tarefas que recebeu usando IA. Gosto muito disso. Vocês definitivamente deveriam usar o hub de governança. Estou muito curioso para saber o que vem por aí e o que vocês esperam acrescentar ao roadmap. E

16:36 verticais chegando. >> Acompanhar os custos agora está mais fácil do que nunca. E eu gosto muito do fato de podermos detalhar, passando do custo em nível mais alto até as partes mais granulares, onde poderemos entender de onde o custo está vindo. Seja por área de trabalho, por workflow, por produto. E também penso em quando passarmos para a parte de IA, com os orçamentos, poderemos

17:07 evitar gastos acidentais concedendo, digamos, um orçamento a cada usuário e, é claro, definindo uma exceção para o superusuário, para garantir que ele ainda consiga realizar a tarefa que recebeu usando IA. E eu gosto muito, muito disso, então vocês definitivamente deveriam usar o hub de governança. Estou muito interessado em ter uma visão geral do que vem por aí. O que vocês esperam adicionar ao roteiro? E

17:39 Além disso, o Genie está em toda parte agora. Como vocês pretendem integrar o Genie ao hub de governança? >> Há algumas maneiras diferentes de expandirmos o hub de governança. A primeira é expandi-lo para outros segmentos. Basicamente, temos duas prioridades principais que estamos lançando neste trimestre. A primeira é segurança. Alguns dos ouvintes do seu podcast talvez conheçam nossa ferramenta de análise de segurança, que, acho, foi criada por algumas pessoas da equipe de campo…

18:10 …na verdade. E tivemos bastante sucesso com esse recurso, e vamos trazer para o produto muitas das métricas e estatísticas que acompanhamos com ele. Isso também ficará no hub de governança. E há outra área que estamos destacando. Estamos lançando uma prévia privada para isso: um segmento de desempenho. Então, se alguém estiver especialmente interessado em entender oportunidades de desempenho, por exemplo, analisando warehouses específicos, estamos fazendo uma pequena…

18:44 …prévia antes de apresentá-la à experiência principal do hub de governança. E há outras duas áreas nas quais estamos investindo. Eu diria que uma delas é a que você mencionou: a integração com o Genie. Hoje, na nossa experiência, os usuários têm uma integração com o Genie One. Assim, é possível clicar no botão para perguntar ao Genie diretamente na interface, e isso leva à interface do Genie One, onde você pode fazer perguntas que serão respondidas com skills específicas do nosso hub de governança.

19:17 No entanto, recebemos bastante feedback de pessoas que querem interagir e fazer perguntas diretamente na interface do hub de governança. Por isso, estamos trabalhando com nossa equipe do console da conta para introduzir uma integração com o Genie Code diretamente no console da conta. Em breve teremos mais novidades sobre isso. Acredito que a data-alvo mais recente era o início de setembro, então deve estar disponível em breve. E a última área, sobre a qual tenho certeza de que Satyanarayan também pode compartilhar algumas ideias, é que queremos tornar essa experiência mais…

19:50 …prática. Temos nos concentrado bastante em garantir que as equipes de contas e de governança tenham visibilidade do que as pessoas estão fazendo, mas agora queremos garantir que vocês possam fazer cumprir suas políticas e padrões. Então, vamos adicionar mais recomendações de boas práticas da DataBricks, DataBricks, além da possibilidade de definir seus próprios critérios. >> Isso é muito interessante. Mal posso esperar para ver todas essas inovações surgindo no hub de governança. Se eu for…

20:20 …cliente ou desenvolvedor, quais são os pré-requisitos para acessar o hub de governança ou começar a usá-lo? >> Sim, o hub de governança entrou em beta há algumas semanas. A equipe está avançando rápido e trabalhando bastante para disponibilizá-lo também para todos. É uma prévia no nível da conta. Então, no console da conta, se você acessar a lista de prévias e procurar o hub de governança, poderá habilitá-lo com um único clique. Há termos de serviço associados a essa prévia, relacionados à centralização de dados, que você pode consultar, mas os clientes já podem começar a usá-lo hoje.

20:53 Já recebemos ótimos comentários. Muitos clientes estão usando o produto. A governança não é mais algo secundário na DataBricks. É um produto de primeira classe, então estamos muito animados para ouvir seus comentários sobre o hub de governança e agradecemos por dedicar seu tempo a conhecê-lo melhor. >> E, se você estiver assistindo a este vídeo daqui a três ou quatro meses, talvez o hub de governança já esteja disponível para todos e você o tenha por padrão no console da conta. Muito obrigado, Sadana e Kristen. Até breve.

Transcrição original

[00:00] Your FinOps lead is juggling dozens of custom queries just to figure out what spike cloud spent overnight. Your governance team built a home-brew tools to track classification coverage, but those dashboards were outdated the day they went live. And your AI deployment team is flying completely blind and aware of which models developers are running or how fast they are burning through token budget. When critical telemetry is scattered across system tables, isolated workspace views, and third-party tools, your team stop

[00:31] innovating and start fire-fighting. You spend half of your week playing detective, hunting down orphan tables and mystery charges, until platform admins eventually starts blocking your clothes out of the sheer self-preservation. That’s not governance. That’s a bottleneck. And that end today. And today, we’re breaking down the brand new governance hub with Sadhana and Kristen. Hi. >> Hey Youssef, thanks for having us. My name is Sadhana, I’m a product manager

[01:02] here at Databricks. I actually specialize more on on cost governance and some of our AI observability. We’re excited to show you the GovHub. >> Yeah, I’m Kristen. I’m a PM on the Unity Catalog team. I’ve been here a little over 3 and 1/2 years. So, kind of making my way through Databricks. Previously focused more on our tagging system and have kind of shifted gears towards governance and AI observability. >> And I can guarantee that the governing govern tags are super critical and very

[01:36] useful for when it comes to using them with ABAC. And by the way, you should really go have a look at the the I think 10,000 of features ABAC >> [snorts] >> has had for the past for the past weeks. >> Yeah, there’s some cool features out there right now, so yeah, go go check them out. >> So, tell me, what’s the governance hub, and why should users care about it? >> Yeah, so governance hub is really meant to serve as basically an account level single pane of glass for admins and then of course governance teams. Basically

[02:10] right now more than ever we’ve noticed that our customers adoption of AI honestly including our own adoption of AI is just growing exponentially. And because of that the like stakes for needing visibility into what teams within your organization are doing is becoming more and more important. So where a governance hub comes in is where trying to solve for that visibility problem. So you can actually understand what are people doing within your organization, how are they using data, should they be even accessing PII, and

[02:44] then also identify you know when there’s spikes in cost, AI models, and etc. maybe shouldn’t be being used. We’re really serving the like one-stop shop for observability for governance. >> Is this built exclusively on system tables? And how is it different from the existing dashboards we do have right now? >> Yeah, that’s a good question. I mean up until now you’ll be familiar with the the usage dashboard, there’s an AI gateway dashboard. These were all AI BI

[03:17] dashboards that customers used to have to import into their workspace. There are a couple issues with that. I mean of course it’s customizable by the customer, but it was running on system tables on our customers on warehouse. We couldn’t really control the performance, right? It’s based on what else your warehouse is consuming, and we wanted to build a more curated experience. So the governance hub is not a traditional dashboard. Think about it like a web app. It’s a web UI we’ve curated. We’ve actually pre-aggregated all the underlying data. A lot of it is system tables. The

[03:48] customers can still reproduce some of the insights if they want to go deeper, but there’s some insights uh for example on data governance we have user to group mapping that actually come from internal telemetry API support. So, we’ve just tried to centralize all of the most insightful telemetry, clearly aggregate it, and serve it directly in the governance hub. >> Uh who are the targeted user personas for the governance hub, and which permissions I am required to access it? >> Yeah, so I’ll say is this is evolving

[04:18] and we’re in the earlier stages. Uh our like North Star target audience is truly governance teams, uh and we know that there’s kind of different flavors depending on what you’re looking at, whether it be cost, whether it be AI, whether it be, you know, security, and then also admins. So, for now this experience has been pretty consistently locked down to admins. Uh it does live in the account console, uh so account admins can see all pages within governance hub, but we did take

[04:50] the first step in allowing workspace admins to view cost information for their workspaces that they’re responsible for, uh as well as allow metastore admins to view information related to data governance for metastores that they are responsible for. In the future, we are looking into expanding this further cuz we know it you know, when we’re focusing on admins, still narrower set, uh but because we’re introducing such wide, you know, account level monitoring, we we want to make

[05:24] sure we’re conservative with who we give access to to start. >> That’s great. So, I believe we have four verticals that we’re covering. Can you tell us more about each one of them, and well, let’s start first with the data and tags. Uh what’s in there? >> Yeah, so why don’t I actually just show you? Uh I like to see something while I’m talking as well. One thing I’ll call out again, especially for people who are more familiar with working in the workspace experience,

[05:55] uh this is now a new governance section in the account console. Um like I said before, workspace admins and Metastore admins can now access this experience for particular pages. So, what that means is the service surface that was previously not open to them is now available. Uh so, basically here we have four different sections. Like you mentioned before, we have data, we have tags, and then we also have AI and cost available. Um I want to highlight like two key use cases for the data page.

[06:27] So, the first one is basically being able to see where your most popular tables are and whether they’re like well curated for Genie usage. So, here I can see we have two different views. You can either see kind of trend over time, how are people using assets, uh particularly tables and views within your account, and then we also have this location-based view. So, actually I can actually go in and see, hey, Fuzzer, which happens to be our internal Metastore,

[06:58] happens to contain the most popular tables. And I can actually use this widget to kind of identify where are our most popular tables and help me investigate uh whether some of them are high quality, whether they’re completely unmonitored, and then also identify like, hey, maybe we should be adding tags to these tables to help describe them and help our uh Genie and other tools better serve end users. So, that’s one of our key use cases. And then the other one that I want to

[07:29] hit on, which I’m particularly very excited about, is our access view. So, historically it’s been somewhat challenging to be able to see what a single user has access to, uh not only within like a given workspace or metastore, but also across the entire account because seeing group membership is a little bit challenging. So, we’ve introduced this view. It’s pre-filtered to me, and I’ve excluded some of the, you know, permissions associated with all users. But, I can now go in and see a bunch of different

[08:02] securables again across the entire account, which I or this user may have access to. And I can also see how exactly they have this access. So, here we’re blending a mix of source types, so I can see I’m a particular owner, or there may be like a direct grant here. But, I can also see group membership, and that’s the key piece that historically has been super challenging. I have some exciting news that in the future we are looking into embedding whether there’s like ABAC policies in

[08:35] place as well in this view, but for now it’s purely, you know, you see your privileges. >> This is very interesting. It simplifies how the people maintaining the platform or those who are granting permissions can view permission, but also understand how people are using the the data inside the platform. >> Definitely. Yeah, I talked to a customer the other day who was like, “Yeah, we just want to screenshot this and use it for our compliance review.” Cuz previously they had to go do it themselves, and it was like a whole

[09:09] whole process. >> And also regarding the tags, so I think they are very important now. They can be also associated with pages, so you can add tags on the tables that are frequently accessed to tag them as, let’s say, valid. And those who are no longer accessed as deprecated to make sure they are not included in the genuine ontology. I think so, I see a lot of interesting use cases that could leverage the those the first two components. But what about I think cost and AI? I

[09:43] think those are the most sensitive parts because I know we’re on the era where a lot of people are burning tokens and same thing I would apply for the cost because they’re tightly integrated. >> Before we jump into AI and cost, I do want to highlight one thing with our our tags view. Uh because tags are to your point useful and important for uh pushing what’s most important in Genie, and then also are kind of critical to representing PII in data and things like

[10:13] that. So we do have this new tags pillar, and the reason why we pulled this out separately uh is cuz we found that customers were having some challenges in identifying gaps in their metadata, and then also being able to track when they’re relying on our automation tools. So we have a whole fleet of recent like tag automation tools. We have data classification, we have our two new tag automation one, and then we also are now propagating tags via lineage. So it’s more important

[10:45] than ever to be able to go in and track like, “Hey, who’s assigning these tags? Can I go reach out to that person and ensure that these are the right ones to be assigned?” So just want to call that out. >> Perfect. Thank you. And you mentioned so many things, but I think we’re still missing two important parts from the governance hub, cost and AI. >> So let’s let’s switch hats for uh a second. Uh Christian was showing you primarily from the lens of a data

[11:16] steward, data governance, maybe even AI engineer that’s looking to maintain integrity quality of their data. Let’s switch hats for a second and um put on a FinOps hat or any of billing admin hat. The governance hub has a dedicated cost vertical that’s been made popular among uh current customers in preview. This is a centralized account-wide view of your Databricks cross across the product lines, no matter if it’s a database, if it’s an app, or if it’s Genie. So, you come in here. This is also open to workspace admins who are generally responsible for the budgets of their own

[11:50] workspaces. Um get a high-level view of of where you’re spending, um kind of what the the rate of spend change has been in the last 30 days. And I think what customers love about the cost governance hub is we both provide executive-level summary of your spend, but make it very easy to drill down into the highest contributors of cost. So, for example, say I’m looking to understand who are the highest um what are the highest spending teams on uh in this environment. I can come in, I can

[12:22] group by tag. So, internally we use a tag called budget that uh represents the different teams we charge back for. Um I view that there’s actually a specific team that is two teams that are you know, materially higher in terms of spend. Now, I want to quickly identify what they’re spending on that’s stripping up cost 30% up this month. So, I quickly filter. Now, I actually want to group by product, right? Um

[12:52] and I see okay, this is makes sense. This is a runtime engineering organization. They’re primarily spending on jobs. With one more click, I can actually identify uh some of the culprit jobs in the past 30 days that have uh driven up cost on this team. So, you see this one’s up 35%. Uh this one’s up 100. On average, they’re spending over $100 per day on these jobs. So, quickly as a FinOps leader, I’m able to identify what teams are spending on Databricks, what product lines are they spending on, and what are the particular workloads that I can now delegate and look for

[13:26] cost optimization opportunities on. So, that’s the cost governance hub, and of course, when everyone’s thinking about costs right now, AI is top of mind. So, to that effect, we’ve built a dedicated AI AI pane. So, how is this related to Unity AI gateway, Unity gateway? Um all of the traffic that passes through Unity AI gateway, whether those are internal model services, is what we call them, or external model provider services, uh all

[13:57] of that traffic, we have high granularity and a lot of observability on, and the governance hub provides an executive uh scorecard report on all of your AI traffic and consumption. So, all of this is built off the same governance traffic and observability that um you also have available in system tables for the AI gateway. I come in here, I’m able to quickly identify how much have I spent uh in the last 30 days on on AI, what are my potentially they’re internal

[14:29] models as well, and uh who are the users that are driving up AI costs. So, I’m able to get a similar time series view, group it by model, model family, user workspaces, um and look at spend, but I can also just look at token and request count as well. Now, observability’s great, but, you know, obviously for AI governance, that’s not enough, because AI costs can go exponentially. So, we’ve also built um budgets for Unity AI gateway. This is available in the governance hub for account admins and workspace admins as

[15:02] well. Um so, with these budgets, you’re actually able to come in and create a budget that’s targeted at Unity AI gateway. You can even specify if you want Genie specifically, because we’re looking to integrate uh Genie better in the gateway. Uh so, in this case, I’ve spent uh I’ve created a budget covering all my workspaces targeting Genie spend, and able to come in here and actually set per user uh thresholds. And it’s not just a soft alert, I can actually block usage completely. Say every user should only get $1,000 of

[15:35] Genie. Um I can add that there. I can block them after that. But um maybe I want to give myself a higher budget because I happen to be an administrator as well. So, I can give myself $2,000 a budget. There we go. That’s a hap- that’s a setup I’m pretty happy with. So, what what’s the output of that? Uh when you create a budget, um and actually starts tracking your usage, you’ll actually get um a I actually almost said a near real-time frequent update on

[16:06] your users, what they’re spending, what what they’re spending against their threshold. So, here you’re sort of seeing we set a we set a $10 limit. And um our internal users love Genie, so we’ve already surpassed that uh limit in the first couple days of the month. So, I’ll actually come in here and increase the override for some of these users. So, that’s kind of going back to AI governance, it’s dedicated observability, hard caps of budgets, and a lot more insights, and um

[16:36] verticals coming. >> Tracking the cost is now easier than ever. And I really like the fact that we can drill down going from the higher level cost through the like the most granular um parts where we can where we will be able to understand from where the cost is coming. Whether by workspace, by workflow, by by product. And I also think about when we move to the AI part, with uh the budgets, we will be able to

[17:07] avoid any accidental spend by granting, let’s say, a budget to every single user, and of course overriding for the super user to make sure that they are still able to achieve uh the task that has been given to them using using AI. And I really really like I so you should definitely use the governance hub and I’m really keen uh to uh to have an overview about what’s coming soon, what do you expect to add for on the on the road map? And

[17:39] also Genie is now everywhere. How do you intend to integrate Genie uh uh in the governance hub? >> There’s a couple of different ways that we’re expanding governance hub. The first being expanding to other verticals. Uh so basically we have two key priorities that we’re rolling out this quarter. The first one is security. So some of the folks that listen to your podcast may be familiar with our security analysis tool that’s uh I think some folks from field

[18:10] actually built. And we found a lot of success with that feature uh and we’re actually going to bring in a lot of the metrics and stats that we’re tracking against it into the product and that will live in governance hub as well. And then there is another one where we just call out. We actually are introducing a private preview for this which is a performance vertical. So if anyone’s particularly keen on kind of understanding performance opportunities, uh looking at like specific warehouses, uh we are doing a small

[18:44] um preview before we introduce that to the the main governance hub experience. And then there’s two other areas that we’re investing in. Um I’d say one you mentioned which is the Genie integration. So today for users in our experience we do have a Genie one integration. So you can actually click and ask Genie button directly in the UI and it will take you to the Genie one surface where you can ask questions and they’ll be powered by our governance hub specific

[19:17] skills. However, we did hear a lot of feedback around people wanting to interact and ask questions directly in the governance hub UI. So, we’re working with our account console team to introduce a Genie code integration directly in the account console. Um so, more on that coming soon. I believe the latest target date was early September, so uh should be available shortly. And then the final one, uh which I’m sure Satyanarayan can also share some thoughts on, is uh we want to make this experience more

[19:50] actionable. We’ve been very focused on making sure uh account teams and uh governance teams have visibility into what people are doing, but now we want to make sure that you can ensure your policies and standards are enforced. So, we’ll be adding more DataBricks DataBricks best practice recommendations, as well as the ability to kind of define your own criteria. >> This is really interesting. Can’t wait to see all all those innovations popping up on the governance hub. If I’m a

[20:20] customer or a developer, what are the prerequisites to access the uh govern or to get started with the governance hub? >> Yeah, so uh governance hub, as of a couple weeks ago, is now in beta. Um the team is moving fast, working hard to make this generally available as well. Um it’s an account-level preview. So, if you in in the account console, if you go to your preview list, look up governance hub, you can enable it from one click there. Uh there’s sort of terms of services associated um in that preview around data centralization you can look at, but customers can get started on it today.

[20:53] We’ve already had great feedback. We have lots of customers using it. Governance is no longer an afterthought on DataBricks. It’s a first-class product, so we’re really excited to hear your feedback on governance hub and appreciate your time um learning more about it. >> And if you’re watching this video maybe in 3 months or 4, the governance hub would maybe be GA and you’ll have it by default on your account console. Thank you so much Sadana and uh, Kristen and see you soon.