Como VAST e NVIDIA estão viabilizando IA confidencial

Autoria: VAST Data · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: How VAST and NVIDIA Are Delivering Confidential AI · Canal: VAST Data · 04:23 · Assistir no YouTube

Tópicos: Agentes de IA, Dados, bancos de dados e embeddings, Infraestrutura e hardware de IA, Privacidade e proteção de dados, Segurança de IA

Resumo

VAST Data e NVIDIA descrevem sua parceria para desenvolver uma plataforma de dados acelerada por GPU, que chamam de sistema operacional de IA. A conversa aborda o desafio de conectar modelos a dados empresariais sem comprometer a segurança, especialmente em setores regulados. A computação confidencial permite executar modelos com pesos criptografados em ambientes protegidos, sem que operadores do data center possam acessá-los. Os participantes defendem a colaboração entre empresas de modelos, servidores e nuvens de IA para levar essa capacidade à borda e permitir que empresas protejam seus próprios modelos e agentes.

Pontos-chave

A parceria entre VAST Data e NVIDIA busca desenvolver uma plataforma de dados acelerada por CUDA e GPU.
Conectar a IA aos dados empresariais de forma governada e segura é um desafio para muitas organizações.
Setores como saúde, finanças e governo podem não ter permissão para transferir dados confidenciais para a nuvem.
Levar os modelos ao data center é apresentado como uma forma de usar esses dados sem removê-los de seu ambiente.
A computação confidencial permite executar pesos de modelos criptografados em uma VM criptografada.
A NVIDIA descreve recursos de GPU com memória criptografada e verificação do software antes da descriptografia dos pesos.
A governança em escala e na borda depende da colaboração entre empresas de modelos, plataformas, servidores e nuvens de IA.
Os participantes esperam que empresas possam fazer fine-tuning, aplicar aprendizado por reforço e executar agents com segurança.
A conversa prevê que empresas poderão vir a operar milhões de agents, cujo aprendizado e propriedade intelectual poderão se tornar uma vantagem competitiva.

Capítulos

Início	Capítulo	Resumo
00:04	A parceria e a plataforma de dados para IA	VAST Data e NVIDIA apresentam a parceria e a evolução da plataforma de dados acelerada por GPU.
01:08	Dados empresariais e adoção segura de IA	Os participantes discutem por que empresas têm dificuldade para conectar modelos aos seus dados com segurança.
02:10	Computação confidencial para proteger modelos	A conversa explica como pesos criptografados podem ser executados em uma VM criptografada no data center.
03:16	Colaboração para levar modelos à borda	As empresas destacam a necessidade de colaboração e discutem a implantação segura de modelos e agents.
03:50	Propriedade intelectual e agents empresariais	Os participantes abordam o uso seguro de modelos empresariais e a possibilidade de milhões de agents no futuro.

Citações

As empresas não querem abrir mão dos seus dados. Em alguns casos, não podem. — 01:40

A única maneira de viabilizar a IA com esse conjunto de dados é levar o modelo ao data center. — 02:10

O provedor do modelo pode ter a garantia de que os operadores dos data centers não conseguem ver os pesos do modelo. — 02:44

Todos precisam colaborar para que isso funcione e para ampliar a escala das implantações de IA. — 03:16

Hoje, uma empresa tem mil pessoas; amanhã, terá um milhão de agents. — 04:23

Conceitos e entidades

VAST Data (empresa): Empresa que desenvolve a plataforma de dados apresentada como sistema operacional de IA.
NVIDIA (empresa): Empresa que trabalha com a VAST Data na plataforma e fornece recursos de computação acelerada e confidencial.
confidential computing (conceito): Abordagem que protege modelos e dados durante a execução em ambientes de computação seguros.
encrypted model weights (conceito): Pesos de modelos mantidos criptografados até serem executados em uma VM criptografada.
encrypted VM (conceito): Máquina virtual protegida na qual os pesos do modelo são descriptografados durante a execução.
AI factories (conceito): Infraestruturas de computação para construir e executar sistemas de IA.
Cohere (empresa): Empresa citada como participante da colaboração para ampliar a implantação de modelos.
Fundamental (empresa): Empresa mencionada entre as que trabalham em conjunto para acelerar a adoção de IA.
Neumotoron (empresa): Nome citado na transcrição como uma empresa que está construindo modelos em colaboração.

Tradução completa (pt-BR)

00:04 Oi, Ren, que bom ver você. >> Oi, que bom ver você também. Obrigado por nos receber. >> Obrigado por essa parceria tão, tão longa que temos agora. >> A parceria entre NVIDIA e VAST tem sido incrível. Acho que foi há 3 anos que decidimos reinventar a plataforma de dados. >> Sim, construímos a plataforma de dados, o que chamamos de sistema operacional de IA, e, com o tempo, ela evoluiu para gerenciar modelos e torná-los seguros e protegidos. E, por isso, todos esses aspectos de >> [música] >> segurança dos dados, segurança dos pesos e garantir que todos possam trabalhar juntos estão se tornando uma parte importante do que está

00:35 desbloqueando o valor da IA. >> Sei que há projeções de que um trilhão de dólares será investido na construção da infraestrutura de IA nos próximos, ah, poucos anos. E as plataformas de dados são fundamentais para todos que estão construindo e executando IA. Por isso, o fato de vocês terem reinventado a plataforma para ser acelerada por CUDA e por GPU, tanto no processamento estruturado quanto no não estruturado, realmente garante que essas fábricas de IA possam ser plenamente utilizadas no mundo todo. >> E, à medida que [música] essas fábricas de IA crescem, ganham escala e exigem mais computação e mais redes, não há parceiro melhor

01:08 do que a NVIDIA. Vamos falar um pouco sobre para onde isso está indo. As empresas estão tendo um pouco de dificuldade para adotar IA. O que… por que você acha que isso acontece? >> Bem, nos últimos 6 meses, o avanço tem sido fenomenal. A IA finalmente se tornou útil. Mas, para a IA realmente desbloquear o valor das empresas, é preciso conectá-la aos dados empresariais, às fontes de dados das empresas. Mas muitas empresas simplesmente não sabem como fazer isso de maneira governada e segura. Existe uma espécie de falsa escolha: uso APIs de nuvem? Qual é o modelo de segurança quando eu

01:40 movo meus dados para a nuvem? Acho que essa é a próxima grande evolução. Como conectar com segurança a IA do mundo todo ao conhecimento armazenado nas empresas? >> Sim, as empresas não querem abrir mão dos seus dados. Em alguns casos, não podem. Mas quem desenvolve os modelos também não quer abrir mão dos pesos dos modelos. >> Sim, bem, em setores regulados, seja na área da saúde, nas finanças ou em órgãos governamentais, não se pode transferir esses dados do próprio ambiente para a nuvem. E isso porque, sejam transações financeiras,

02:10 registros de saúde ou contratos governamentais, >> [música] >> as informações são proprietárias demais e confidenciais demais. Por isso, a única maneira de desbloquear a IA usando esse conjunto de dados é realmente levar o modelo até o data center. E eu diria que de 60 a 70% de todos os dados do mundo estão armazenados nessas empresas. Então, agora, quem desenvolve modelos está pensando: como levo meu modelo para o data center? E a melhor maneira de fazer isso é por meio da computação confidencial. A computação confidencial nos permite levar >> [música] >> pesos de modelo criptografados para o data center, e esses pesos de modelo criptografados nunca são descriptografados até

02:44 serem executados em uma VM criptografada. Dessa forma, o fornecedor do modelo pode ter certeza de que os operadores dos data centers não conseguem ver os pesos do modelo. >> E, para isso ser possível, são necessários tanto software quanto hardware por baixo, certo? >> Exatamente. Quer dizer, como você sabe, somos uma empresa de computação acelerada. Construímos os alicerces para coisas como computação confidencial. Criamos os recursos para que as GPUs executem esses modelos em memória criptografada e, então, garantimos que o software possa ser atestado e verificado antes de os pesos do modelo serem descriptografados. Mas, para isso, precisamos trabalhar com empresas de plataformas como

03:16 vocês, que então fornecem, em última análise, a camada de governança para executar esses modelos em escala e na borda. >> Então, parece que precisamos das empresas de modelos, das empresas de servidores e das nuvens de IA. Todo mundo precisa colaborar para fazer isso funcionar e aumentar a escala das implantações de IA. >> Exatamente. E vocês, acho que são a plataforma ideal, certo? Para disponibilizar esses enclaves confidenciais a todos os fornecedores de modelos, para que levem seus modelos com segurança até a borda. >> Estamos trabalhando [música] com empresas como a de vocês, com a Neumotoron, que está construindo seus modelos, com a Cohere e a Fundamental, e todos

03:50 trabalhando juntos para aumentar a velocidade com que podemos avançar. >> E o incrível é que qualquer empresa de modelos que invista qualquer quantia para construir essa propriedade intelectual proprietária pode implantá-la na borda. Isso também dá às empresas a capacidade de fazer pós-treinamento desses modelos e, depois, executá-los com segurança em qualquer data center do mundo. >> Sim, acho que hoje são as empresas de modelos que detêm os pesos, mas amanhã queremos que toda empresa ajuste seus próprios modelos com fine-tuning, faça aprendizado por reforço e execute agents; e, com o tempo, a propriedade intelectual contida nesses modelos também estará segura para elas.

04:23 >> Sim, isso se torna uma vantagem competitiva. >> Acho que se torna tudo. Se hoje temos uma empresa com mil pessoas, amanhã ela terá um milhão de agents e >> [música] >>, com o tempo, eles aprenderão coisas, e isso é o que essa empresa é. Obrigado mais uma vez, Justin, por nos receber aqui. >> E obrigado, Renen, pela parceria entre Nvidia e Vast. Tem sido incrível.

Transcrição original

[00:04] Hey Ren, good to see you. >> Hi, good to see you, too. Thank you for having us. >> Thank you for the very, very long partnership that we’ve now had. >> The partnership between NVIDIA and VAST has been amazing. I think it was 3 years ago we decided to reinvent the data platform. >> Yeah, we built the data platform, what we call the AI operating system, and over time that evolves into managing models and making them safe and secure. And so, all of these aspects of >> [music] >> data security, weight security, making sure that everybody can work together is becoming a big part of what’s

[00:35] unlocking the value of AI. >> I know there’s been a trillion dollars projected to be building out of AI infrastructure over the next uh few years. Uh and uh data platforms are foundational uh to everybody building AI and running AI. And so, the fact that you guys have reinvented your platform to be CUDA-accelerated, GPU-accelerated, both in structured and unstructured processing, uh really makes sure these AI factories can be fully utilized globally. >> And as [music] these AI factories grow and scale and require more compute and more networking, uh there’s no better

[01:08] partner than NVIDIA. Let’s talk a little bit about where this is going. Uh the enterprises are a little bit struggling to adopt AI. What Why do you think that is? >> Well, in the last 6 months it’s been pretty phenomenal. Uh AI has finally become useful. But for AI to truly unlock the value of enterprises, you’ve got to connect it into enterprise data uh in enterprise uh data sources. Um but for many enterprises, they just don’t know how to do that in a governed and secure way. Uh there’s been kind of this false trade-off of do I use cloud APIs? What’s the security model around me

[01:40] moving my data to the cloud? Um and so, I think that’s the next big evolution. How do we securely connect the world’s AI into the knowledge that’s stored within enterprises? >> Yeah, the enterprises, they don’t want to give up their data. In some cases, they’re not allowed to. But the model builders also don’t want to give up their weights. >> Yeah, well, regulated markets, whether we’re talking healthcare, finance, uh government agencies, um they can’t move that data from their environment to the cloud. Uh and it’s because uh you know, whatever whether it’s financial

[02:10] transactions, healthcare records, or government contracts, >> [music] >> that the information’s too proprietary and too confidential. And so, the only way to uh unlock AI with that data set is really to bring the model down to the data center. Um and that’s where I’ll say 60 to 70% of all the world’s data stored within that enterprise. So, every model builder now is thinking about like how do I bring my model into the data center? And the best way to do it is through confidential computing. Confidential computing allows us to bring >> [music] >> um encrypted model weights into the data center, and those encrypted model weights are never decrypted until

[02:44] they’re running in an encrypted VM. In this way, the model provider can be assured that their model weights can’t be seen by the operators of the data centers. >> And that requires both software and hardware underneath to make it possible, right? >> That’s right. I mean, we’re as you know, an accelerated computing company. We build the foundations for things like confidential computing. We build the capabilities to have uh GPUs uh run these models in encrypted memory, and then we ensure that the software can be attested and verified before the model weights are decrypted, but that requires us to work with platform companies like

[03:16] yourselves that then provide ultimately the governance layer for running these models at scale and at the edge. >> So, it sounds like we need the model companies, we need server companies, we need AI clouds. Everybody needs to collaborate in order to make this work and increase the size of the AI deployments. >> That’s right. And you guys I I think uh are that ideal platform, right? To be able to bring these confidential enclaves for all the model vendors uh to bring their models securely to the edge. >> Uh we’re working [music] with companies like yourself, with Neumotoron building your models, and Cohere, and Fundamental, and all

[03:50] working together to increase uh this [music] the speed at which we can go. >> And what’s awesome is any model company that spends any amount of money in building [music] this proprietary IP can deploy it to the edge. It also gives enterprises the ability to post train those models and then run them securely in any data center around the world. >> Yeah, I think today it’s the model companies that own the weights, but tomorrow we want every enterprise [music] to fine tune their own models and do reinforce learning and run agents and over time that IP that’s in those models is secure for them as well.

[04:23] >> Yeah, that becomes their competitive advantage. >> I think it becomes everything. If today we have a company that has a thousand people, tomorrow they’ll have a million agents and >> [music] >> over time they learn things and that’s what that company is. Thank you again, Justin, for having [music] us here. >> And thank you, Renen, for the partnership between Nvidia and Vast. It’s been amazing.