Obtenha insights de grafos do BigQuery sem mover seus dados

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Unlock Graph Insights from BigQuery Without Moving Your Data · Canal: Neo4j · 22:39 · Assistir no YouTube

Tópicos: Dados, bancos de dados e embeddings, Infraestrutura e hardware de IA, Modelos de IA

Resumo

Ben Lackey, da Neo4j, apresenta como a tecnologia Virtual Graph permite criar uma camada de grafos sobre dados que continuam armazenados no BigQuery. A demonstração percorre a configuração pelo Google Cloud Marketplace e a criação de um modelo de dados de grafo com auxílio de IA. Em seguida, ele explora dados de eventos de segurança alimentar da FDA no Neo4j Aura, mostrando como visualizar nós e relacionamentos sem duplicar os dados. A apresentação também destaca usos de grafos de conhecimento como camada para aplicações e agentes.

Pontos-chave

O Virtual Graph cria uma abstração de grafo sobre dados do BigQuery sem movê-los nem manter uma segunda cópia.
A integração pode reduzir barreiras relacionadas à soberania de dados e a desafios organizacionais associados ao ETL.
O Neo4j Aura pode ser acessado e implantado pelo Google Cloud Marketplace.
O modelo de dados do grafo pode ser gerado com IA, definido manualmente ou derivado de um schema.
O modelo gerado pode ser revisado e ajustado antes da criação do Virtual Graph.
A demonstração usa dados públicos da FDA sobre eventos de segurança alimentar.
A interface permite consultar e explorar nós, relacionamentos e subgrafos conectados.
A Neo4j também oferece suporte a fontes como Snowflake e Databricks para virtualizar dados em uma camada de grafo.

Capítulos

Início	Capítulo	Resumo
00:09	Neo4j, Google e grafos de conhecimento	Ben Lackey apresenta a parceria entre Neo4j e Google e explica como grafos de conhecimento podem fundamentar respostas de IA.
05:25	Virtual Graph para dados do BigQuery	A apresentação introduz o Virtual Graph como alternativa a mover dados do BigQuery para uma base de grafos.
11:13	Configuração pelo Google Cloud Marketplace	Ben acessa o Neo4j Aura e mostra como configurar uma fonte BigQuery e gerar um modelo de dados de grafo.
17:57	Criação e exploração do grafo	A demonstração abre um Virtual Graph já implantado e explora os dados de eventos da FDA por meio de consultas e visualizações.
21:37	Encerramento e próximos passos	Os apresentadores resumem a demonstração e indicam documentação, casos de uso e o Google Cloud Marketplace como recursos para continuar.

Citações

Nesse caso, usamos o Gemini para extrair uma estrutura de grafo dos dados subjacentes. — 03:20

O Virtual Graph evita esses desafios ao deixar os dados no data warehouse subjacente. — 06:29

A ferramenta inspecionou a fonte de dados e importou as diferentes linhas da tabela subjacente do BigQuery. — 16:24

É possível virtualizar os dados subjacentes do BigQuery e explorá-los no Neo4j. — 21:06

Conceitos e entidades

Neo4j (empresa): Empresa de tecnologia de grafos que oferece o Neo4j Aura e o Virtual Graph apresentados no vídeo.
BigQuery (ferramenta): Data warehouse do Google onde os dados da demonstração permanecem armazenados.
Google Cloud (empresa): Plataforma de nuvem usada para acessar o BigQuery e o Google Cloud Marketplace.
Neo4j Aura (ferramenta): Plataforma SaaS da Neo4j usada para criar e explorar o Virtual Graph.
Virtual Graph (conceito): Camada de abstração que permite consultar dados como grafo sem movê-los do BigQuery.
Gemini (modelo): Tecnologia de IA mencionada para processar dados e apoiar a geração de modelos de dados de grafo.
Google Cloud Marketplace (ferramenta): Marketplace usado na demonstração para acessar e configurar o Neo4j Aura.
Bloom (ferramenta): Ferramenta de inteligência de negócios para grafos, citada como uma opção para explorar os dados.
Food and Drug Administration (empresa): Órgão dos Estados Unidos cujos dados públicos sobre eventos de segurança alimentar são usados na demonstração.
Ben Lackey (pessoa): Diretor sênior de arquitetura de parceiros da Neo4j que conduz a apresentação e a demonstração.
Nathan Barney (pessoa): Diretor de marketing de parceiros da Neo4j que apresenta o episódio.

Tradução completa (pt-BR)

00:09 [música] Olá a todos, bem-vindos à edição desta semana do Neo4j Connected Intelligence. Mais uma vez, sou Nathan Barney, diretor de marketing de parceiros aqui na Neo4j. Nesta série, exploramos como a tecnologia de grafos se integra ao ecossistema mais amplo de IA para resolver desafios complexos de dados. Hoje, vamos nos concentrar em como desbloquear insights de grafos do BigQuery sem mover seus dados. Juntando-se a mim

00:41 hoje está Ben Lackey, diretor sênior de arquitetura de parceiros aqui na Neo4j. Oi, Ben, obrigado por se juntar a nós. >> Oi! Obrigado, Nathan. Vou apresentar alguns slides sobre como a Neo4j trabalha com o Google. Vou falar sobre como trabalhamos com IA e grafos de conhecimento e permitimos que você crie uma camada de conhecimento corporativa. Depois, vou fazer uma demonstração de como o BigQuery funciona no Google Cloud Console, de como você pode usar a Neo4j

01:13 pelo Google Cloud Marketplace e, por fim, de como, usando a Neo4j pelo Marketplace, você pode fazer o deploy do Aura e de um de seus componentes, chamado Virtual Graph, que se conecta ao BigQuery. Então, vamos começar, certo? [limpa a garganta] Primeiro, a Neo4j e o Google trabalham juntos há bastante tempo, desde que estabelecemos uma parceria estratégica. A partir daí,

01:44 criamos todo tipo de integração profunda entre diferentes produtos, incluindo coisas como Gemini, Google Distributed Cloud e, claro, o BigQuery, sobre o qual vamos falar mais agora. A Neo4j roda no Google e tem mais de 500 clientes. Estes são alguns exemplos de marcas que podem ser mencionadas publicamente e que usam a Neo4j no Google Cloud,

02:16 embora, é claro, existam muitas outras. Pensando especificamente em como a Neo4j trabalha com IA, muitas vezes observamos um fluxo de dados em duas partes. No lado esquerdo deste diagrama, você vê várias fontes de dados diferentes, que podem ser estruturadas ou não estruturadas. Vemos nossos clientes usando ferramentas como as ferramentas de IA do Gemini para processar esses dados e gravá-los

02:48 em um grafo de conhecimento armazenado no banco de dados de grafos da Neo4j. Quando esse grafo de conhecimento fica disponível, vemos usuários criando aplicações com base no Gemini, e então o Gemini fazendo chamadas ao grafo de conhecimento para fundamentar melhor seus resultados, melhorar a precisão e reduzir o número de tokens necessários para várias solicitações. Essa abordagem também aumenta a explicabilidade das

03:20 respostas, pois é possível inspecionar o grafo de conhecimento para entender o que a IA fez e por quê. É claro que, no caso específico de usar a Neo4j com o BigQuery, nossa fonte de dados não seria não estruturada; seria uma fonte de dados muito estruturada, em uma tabela do BigQuery, e então executaríamos a Neo4j sobre essa tabela sem precisar mover

03:51 os dados. Nesse caso, usamos o Gemini para extrair uma estrutura de dados de grafo da estrutura subjacente de linhas e colunas do banco de dados do BigQuery. Esse é mais ou menos o fluxo que observamos hoje e que muitos dos nossos clientes estão usando. Ao mesmo tempo, vemos o setor caminhando para uma arquitetura de camada de conhecimento corporativa. Embora

04:24 eu não diria que algum cliente tenha implantado hoje todos os pequenos ícones que você vê juntos neste diagrama, temos clientes que implantaram partes dessa arquitetura, e é sobre isso que vamos falar hoje. No nosso caso, estamos considerando uma situação em que nossos dados estão no BigQuery e estamos criando uma camada de conhecimento sobre eles, que outras aplicações, agents

04:54 e ferramentas possam usar. É muito empolgante ver como tudo isso está se desenvolvendo, e esta imagem representa mais ou menos como vemos a situação hoje. Fico pensando se, daqui a seis meses, teremos continuado nesse caminho ou se, mais uma vez, a IA vai nos surpreender com alguma reviravolta empolgante e estaremos fazendo coisas ainda mais inesperadas. É uma ótima época para trabalhar nessa área.

05:25 Certo. Já falamos sobre essas infraestruturas de agents, sobre o valor de criá-las e sobre como criá-las. Agora, se considerarmos especificamente um caso de uso em que seus dados estão no BigQuery e você quer criar um desses grafos de conhecimento corporativos, percebemos que surgem algumas objeções e barreiras comuns, que realmente se concentram no fato de seus dados

05:55 estarem em um sistema e de você querer usar um sistema de camada de conhecimento corporativa como a Neo4j. Tradicionalmente, isso exigia ETL dos dados, movendo-os do data warehouse para a Neo4j e mantendo duas cópias dos dados. Isso traz todo tipo de barreira, como questões de soberania de dados, desafios organizacionais e assim por diante. Então, temos algumas

06:29 novas tecnologias que buscam resolver isso, e é aí que entra o Virtual Graph. O Virtual Graph é um componente da plataforma Aura SaaS da Neo4j. Ele evita todos aqueles desafios que acabamos de ver, deixando os dados no data warehouse subjacente — neste caso, o BigQuery — e permitindo que coloquemos uma camada de abstração de grafos sobre

07:01 ele e consultemos os dados usando todas as ferramentas, agents e outros recursos normais que a Neo4j oferece. Também estamos trabalhando em algumas funcionalidades mais avançadas, digamos assim: trata-se da funcionalidade de consulta composta, que permite ter vários armazenamentos subjacentes para um único grafo virtual composto na Neo4j. Por exemplo, você

07:33 poderia ter dados no BigQuery, dados em um banco de dados nativo de grafos da Neo4j e também outros armazenamentos de dados virtualizados. Também oferecemos suporte a Databricks e Snowflake. A vantagem é que, em todas essas fontes de dados diferentes, você pode virtualizar um único grafo de conhecimento com o qual os agents podem interagir para raciocinar sobre os sistemas

08:06 subjacentes. Certo? Neste ponto, terminamos os slides. Vou passar para o Google Cloud Console para vermos isso ao vivo e, depois, volto para falar dos próximos passos. Então, vou sair da apresentação. Aqui, já tenho uma aba aberta no Google Cloud Console. Este é um daqueles casos: existem muitos como este, mas este é o meu. Neste

08:36 caso, vocês podem ver que abri o projeto Neo4j Business Development, que é mais ou menos o projeto do dia a dia que uso para criar demonstrações com o Google. Ao mesmo tempo, se eu for até aqui, vocês podem ver que há um projeto para dados públicos do BigQuery, o que é bem legal. O Google mantém conjuntos de dados públicos. Alguns são de domínio público, outros são

09:08 conjuntos que o Google adquiriu e depois compartilha conosco. Eles são um ótimo ponto de partida para explorar tanto o BigQuery quanto, consequentemente, o Virtual Graph da Neo4j. Posso selecionar esse projeto e, agora, na barra de pesquisa, vou digitar BigQuery. Aparece a opção de análise de data warehouse de produtos. Sim, com certeza é isso.

09:39 Vou clicar nela e esperar carregar. Também vou fechar esta caixa de diálogo. Aqui, vocês podem ver uma lista dos diferentes conjuntos de dados disponíveis no BigQuery. Há muitos deles. Tenho explorado alguns e conferido quais têm estruturas de dados de grafo interessantes, porque alguns conjuntos de dados são bem representados como

10:09 linhas e colunas e, por isso, são ótimos para bancos de dados relacionais. Outros conjuntos de dados têm muitas conexões entre os diferentes pontos de dados. Embora possam ser armazenados em um banco de dados tradicional, armazená-los em um banco de dados de grafos pode nos ajudar a examinar as conexões entre os dados e descobrir informações novas que, de outra forma, não seriam evidentes. Um conjunto de dados que achei interessante foi o da FDA,

10:41 a Food and Drug Administration, nos Estados Unidos. São eles que garantem que alimentos e medicamentos sejam seguros. É um banco de dados de ocorrências de segurança e violações. Por exemplo, a alface embalada às vezes pode causar problemas por causa de contaminação; isso é informado e um caso é registrado aqui. Achei isso bem interessante, e este é um conjunto de dados

11:13 que agora vamos ver sendo executado no grafo virtual da Neo4j. Vou sair do BigQuery e pesquisar novamente por Neo4j Aura. Neo4j Aura é o software como serviço da Neo4j, que inclui o grafo virtual de que estou falando. Parece que há alguns resultados, e o segundo é o produto do

11:44 Marketplace. Vou clicar nele. Isso nos leva à página do produto no Marketplace. Há um botão para se inscrever. Claro, estou no projeto de dados públicos do BigQuery, ao qual, como alguém que não é do Google, não tenho o nível de acesso correto. Então, vou voltar aqui para o projeto que uso para brincar com essas coisas. E você pode ver

12:14 que, sem surpresa, já me inscrevi. Neste caso, vou clicar em “Gerenciar” no provedor, e isso vai me tirar do Console do Google Cloud — esse é o termo técnico — e me levar ao console do Neo4j Aura, passando por alguns redirecionamentos. Neste caso, acho que me autentiquei há pouco tempo o suficiente para que minhas credenciais do Google fossem mantidas durante todo o processo

12:44 e eu entrasse no console sem precisar me autenticar novamente. Isso foi bem conveniente. Aqui no Neo4j Aura, você pode ver que estou em uma organização chamada marketplace e, em seguida, em um projeto chamado Ben Google Cloud Marketplace GCMP. Aqui tenho instâncias do Aura. Neste caso, já tenho duas em execução. Acredito que esta seja uma avaliação que estamos fazendo com o Google

13:15 para uma nova integração. E este é um dos meus agents do Gemini Enterprise. Mas, aqui, se eu clicar em grafo virtual, você pode ver que já tenho um grafo virtual em execução. A fonte de dados indicada aqui é, sem surpresa, FDA food. Claro, se eu não tivesse isso em execução, para criar um grafo virtual, bastaria criar um

13:45 grafo virtual. Clique nesse botão. Se eu fizer isso, você verá os diferentes detalhes. Posso selecionar a região em que vou fazer o deploy. Posso selecionar o tamanho do grafo. Depois, seleciono a fonte de dados que o grafo virtual vai usar. Também é possível adicionar novas fontes de dados. Basta clicar neste botão. Atualmente, há três opções de fontes de dados compatíveis: Snowflake,

14:16 Databricks e, claro, o que nos empolga hoje: BigQuery. Se eu clicar nessa opção, aparece um menu de configuração. Nele, informo o nome da fonte de dados. Vou mostrar como ficaria. No nosso caso, seria FDA food. Informo o projeto de origem. Há até uma instrução útil aqui na descrição. O projeto se chama BigQuery public data

14:47 A forma como o BigQuery funciona é separando a computação do armazenamento subjacente. Então, informo o ID do projeto de faturamento. Neste caso, seria o meu projeto, Neo Forj business dev. Por fim, informo o nome da fonte de dados. Também é preciso criar uma conta de serviço e conceder a ela as

15:18 permissões apropriadas. Essa conta ficará no seu projeto de faturamento, onde executará tudo isso. Claro, no meu caso, já criei a fonte de dados. Então, vou sair daqui. Basta selecionarmos a fonte de dados existente. Para criar o grafo virtual, clico em “Avançar”. Você pode ver que já passei por esta etapa e criei alguns modelos de dados, mas vou mostrar como criar um novo. Basta

15:51 clicar em “Criar novo modelo de dados”. Depois clico em “Avançar”, ele pensa por um instante e, em seguida, deve mostrar várias opções para o modelo de dados do grafo. Temos diferentes ferramentas de modelagem. Há ferramentas para usar IA na criação de um modelo de dados de grafo, além de ferramentas para defini-lo

16:24 manualmente ou a partir de um esquema. Você pode ver aqui que ele fez uma introspecção da fonte de dados e carregou as diferentes linhas da tabela subjacente do BigQuery. Em seguida, são apresentadas estas opções. Gosto muito da opção “Gerar com IA”. Claro, ela usa IA nos bastidores para analisar a tabela do BigQuery e

16:54 criar um modelo de dados de grafo para nós. Mais uma vez, ele pensa por um instante, faz a introspecção de todos esses dados e cria um modelo de dados para nós. Pronto. Ele gerou um modelo de dados e podemos ver que, se você se lembra, este conjunto de dados é sobre segurança alimentar. Então, há um nó de recall aqui. Há o nome de uma empresa. Há

17:25 um evento de fiscalização, que acredito que provavelmente seja a FDA criando um caso. E há um relatório de evento adverso e um produto relacionado a ele. Um dos aspectos interessantes deste modelo de dados é que o processo é iterativo. Criamos este modelo, mas podemos editá-lo se ele não atender exatamente às nossas necessidades, interagindo com a IA e fornecendo

17:57 feedback sobre o que ela gerou. Claro, vou deixá-lo como está e clicar em “Criar grafo virtual”. Neste ponto, ele usa a fonte de dados subjacente que acabamos de ver, que faz referência ao BigQuery, e cria uma instância de grafo virtual sobre ela. Ela vai funcionar como qualquer outra instância do Neo4j. O deploy leva alguns minutos. Então,

18:29 em vez de esperar, adotei a abordagem da Julia Child e já temos uma instância em execução para explorar. Vamos dar uma olhada. Como em outros produtos Neo4j, há opções bem comuns para interagir com o banco de dados. Temos nosso ambiente de consultas e o Bloom, nossa ferramenta de inteligência de negócios para grafos. Vou clicar em “Consulta” e

19:01 ele deve se conectar. Certo, levou um segundo para estabelecer a conexão e agora está carregando o banco de dados. Parece que carregou cerca de 500 mil nós, com 300 mil relacionamentos entre eles. Posso clicar em um tipo de nó, e isso vai gerar automaticamente uma consulta Cypher. Neste caso, pesquisei eventos de fiscalização e retornei 25 deles.

19:31 Posso ampliar, e os nomes desses elementos não são muito empolgantes. Parece que são apenas números, mas posso clicar neles e expandir os vizinhos que possam ter, ou seja, os nós conectados. Neste caso, parece que a Trafa Pharmaceuticals faz parte do evento de fiscalização 99314. E, como expandimos este nó, sabemos que não há outras empresas relacionadas a esse evento de fiscalização. Nenhuma outra

20:04 empresa. Ao mesmo tempo, temos este nó do tipo empresa. Esse grafo não foi muito empolgante. Fiquei curioso para saber se encontraríamos algo mais interessante expandindo alguns dos vizinhos. Aqui vemos mais alguns subgrafos desconectados e dispersos. É divertido abrir esses elementos

20:36 e explorá-los. Da mesma forma, podemos executar uma consulta para um evento adverso, ver esse tipo de nó e expandi-lo para descobrir a que está conectado. Ah, olha só, encontramos um supernó. Há um monte de coisas conectadas a ele.

21:06 Eu poderia escrever mais consultas para explorar isso. Também poderia voltar ao Bloom e usá-lo para explorar. Mas, neste ponto, vimos que é possível pegar os dados subjacentes no BigQuery, virtualizá-los e explorá-los no Neo4j. Claro, poderíamos fazer isso com qualquer conjunto de dados públicos do BigQuery e também com os dados nas suas próprias instâncias do BigQuery, usando o Google Cloud Marketplace para fazer o deploy do Neo4j

21:37 Aura e, em seguida, configurar um grafo virtual sobre esses dados. Neste ponto, vou encerrar a demonstração e voltar aos slides. Depois, vou passar a palavra para Nathan, que dará continuidade. >> Ótimo. Obrigado, Ben. Acho que você deu a todos uma boa ideia de como o grafo virtual do Neo4j pode ajudar a extrair mais valor dos dados que vocês já têm no BigQuery. Então, obrigado.

22:09 por isso. Claro. Então, para quem está assistindo e quer explorar a documentação, ver mais casos de uso ou obter mais informações, acesse neo4j.com. Vocês também podem acessar vários materiais adicionais pelos links destes QR codes. E vocês também podem fazer o que Ben acabou de fazer. Basta acessar o Google Cloud Marketplace. Se vocês tiverem requisitos específicos para um projeto ou enfrentarem desafios técnicos, entrem em contato com a equipe. Adoraríamos

22:39 ouvir vocês. Enviem um e-mail para ecosystem@neo4j.com. Será um prazer ajudar. Obrigado novamente por acompanharem o Connected Intelligence desta semana. E obrigado novamente a você, Ben, pela apresentação. Estamos aqui a cada duas semanas explorando como os grafos impulsionam a próxima geração da IA. Obrigado novamente e até mais, pessoal. >> [música]

Transcrição original

[00:09] [music] Hi everyone, welcome to this week’s edition of Neo4j connected intelligence. Once again, I’m Nathan Barney, partner marketing director here at Neo4j. In this series, we explore how graph technology integrates with the broader AI ecosystem to solve complex data challenges. Today we’re focusing on how to unlock graph insights from Big Query without moving your data. Joining me

[00:41] today is Ben Lackey, senior director of partner architecture here at Neo4j. Hi Ben, thanks for joining us. >> Hey there. Thanks Nathan. Uh yeah, so I’ll talk through a few slides about how Neo Forj works with Google. I’m going to talk through how we work with AI and knowledge graphs and allow you to build an enterprise knowledge layer. And then I’m going to go through a demonstration of how BigQuery works in the Google Cloud Console, how you can use Neo Forj

[01:13] through the Google Cloud Marketplace, and then finally when using Neo Forj through the marketplace, how you can deploy Aura and one of its components called virtual graph uh that connects up to BigQuery. So uh let’s get started, [clears throat] right? So first off uh Neo Forj and Google have been working together for a long time uh since we established a strategic partnership and then coming

[01:44] out of that built all manner of deep integrations between different products and these include things like Gemini, Google distributed cloud and of course uh BigQuery which we’ll go into more now. running on Google. Uh Neo Forj has over 500 uh customers. These are a few examples of um publicly referencable logos which use Neo Forj on Google Cloud

[02:16] though of course there are many many more. Thinking about how Neo Forj works with AI specifically uh we often observe a two-part data flow. So on the left side of this diagram you see a number of different data sources and these can be structured or unstructured data sources and we see our customers using tools like Gemini AI tools to process that data and write it

[02:48] into a knowledge graph uh stored in the Neo Forj graph database. Once that knowledge graph is available, uh we see users building applications on top of Gemini and then Gemini making calls down into the knowledge graph uh to better ground its results, improving accuracy uh and reducing the number of tokens that various requests require. This approach also increases explanability of

[03:20] responses as you can introspect the knowledge graph to understand uh what the AI did and why. Of course, in the context of using Neo forj with BigQuery specifically, our data source wouldn’t be unstructured, then it would be a very structured data source in a BigQuery table and uh then running Neo Forj on top of that table without having to move

[03:51] the data. In this case, we use Gemini to extract a graph data structure from that underlying uh rows and column structure in the BigQuery database. So this is kind of the flow we observe today and that many of our customers are using. uh at the same time we see the industry going to a enterprise knowledge layer kind of architecture and while I

[04:24] wouldn’t say we have any customer today who has deployed every little icon you see on this uh diagram together uh we do have customers who have deployed portions of this architecture uh and that’s what we’ll talk through today. So in our case today, we’re considering a use case where our data is residing in BigQuery and then we’re building a knowledge layer on top of that that other applications and agents

[04:54] and tools could make use of. It’s really exciting to see how this is all developing and this picture is sort of how we see it today. I really wonder uh if we come back in six months if it will have continued on on this path or if once again AI will throw us some exciting curveball and we’ll be doing even more unexpected things. It’s a great time to be in this space.

[05:25] Right. So we’ve talked about these agent infrastructures and sort of the value of building them and how you build them. Now if we specifically consider uh a use case where your data is in BigQuery and you want to build one of these enterprise knowledge graphs, we realize there are some common objections and barriers that come up and these really revolve around your data

[05:55] existing in one system and then wanting to use a enterprise knowledge layer system like Neo forj. Now, traditionally that required ETL of the data, moving it from that data warehouse into Neo forj and then maintaining two copies of the data. Uh that has all sorts of barriers uh data sovereignty issues um organizational challenges and so on. So we have uh some

[06:29] new technologies where we’re seeking to address this and this is where virtual graph comes in. So virtual graph is a component of Neo forj’s Aura SAS platform and what it does is avoid all those challenges we were just looking at by leaving the data in the underlying data warehouse in this case BigQuery and then allowing us to put a graph abstraction layer on top of

[07:01] that and query that using all the normal tools and agents and so forth that Neo Forj provides. We’re also working on um some more advanced functionality let us say uh so this is composite query functionality where you can have multiple underlying stores for a single composite uh virtual graph in Neo forj and as an example you

[07:33] might have data residing in bigquery you might have data residing in a neo native Neo forj database And then you could also have other virtualized data stores. Uh we support uh data bricks and snowflake as well. And the benefit of this is across all these different data sources you can virtualize a single knowledge graph that agents can interact with uh to reason about the underlying

[08:06] systems. Right? So, at this point, uh, we’ve made it through our slides. Uh, I’m going to pop over to the Google Cloud Console and we’ll look at some of this live and then I’ll be back to talk about next steps. So, let me exit out of our slides. And over here, I already have a tab open to the Google Cloud Console. This is one of

[08:36] those. There are many like it but this one is mine. Uh in this case you can see I have the project open to Neo forj business development and that’s sort of the day-to-day project that I build demos uh with Google with. Uh at the same time if I go over here you can see there’s a project for BigQuery public data and it’s kind of cool. Google maintains uh public data sets. Uh some of these are public domain, others are

[09:08] ones that Google has acquired and then shares with us. Uh but these are a great starting point for just playing around uh both with BigQuery and uh then as a result with Neo Forj’s virtual graph. So I can select that project and now in here in the search bar I’m going to type BigQuery. It pops up product data warehouse analytics. Sure, it definitely is that.

[09:39] And I’m going to click on that and wait for it to load. Also, dismiss this dialogue. And uh you can see here that there is a list of different data sets available in BigQuery. And there are a whole bunch of these. Uh, I’ve been poking around and sort of checking out ones that have interesting graph data structure because some data sets are represented well as

[10:09] rows and columns and therefore are great in relational databases. Other data sets have lots and lots of connections between the different data points. And while they can be stored in a traditional database, storing them in a graph database can help us look at the connections between the data and uncover um new information that wouldn’t otherwise be apparent. And one of those I I sort of thought was interesting was a data set from the FDA,

[10:41] the Food and Drug Administration in the US. And these are the folks who make sure that food and drugs are safe. uh and it’s a database of uh safety event violations. So this would be things like uh bagged lettuce is sometimes a problem and there’s contamination in that and then that gets reported and a case gets tracked in here. So I I thought that was kind of neat and uh this is a data set

[11:13] that we’ll now look at running in Neo Forj’s virtual graph. So I am going to exit out of BigQuery and I’m going to search again for Neo Forj Aura and Neo Forj Aura is uh Neo Forj’s software as a service of our product including virtual graph which I’m talking about. Uh looks like there are a couple results for it and the second result is the

[11:44] marketplace product. So, I’m going to click on that. And that directs us over here to the marketplace listing page for this. Uh, there’s a subscribe button. Uh, of course, I am in the BigQuery public data uh, project, which I, as a non-Gler, do not have right access to. So, I’m going to switch here back to the project I use for playing around with these things. And you can see

[12:14] unsurprisingly I have already subscribed to this. Uh so in this case I’m going to hit manage on provider and this is going to punch me out. It’s the technical term of the Google cloud console and take me into the Neoraj Aura console and that goes through a few redirects. In this case, I guess I have recently enough authenticated that it carried um my Google credentials all the way

[12:44] through and dropped me in the console without needing to reauthenticate. So, that was sort of nice. Uh in here in Neo Forj Aura, you can see I’m in an org called marketplace and then I’m in a project called Ben Google Cloud Marketplace GCMP. And here I have um instances for Aura. In this case, I already have two running. Uh I believe this is an evaluation we’re doing with Google uh

[13:15] for a new integration. And this is one of my gen Gemini enterprise agents. But uh over here, if I click on virtual graph, uh you can see I actually already have a virtual graph running. And it says the data source here is unsurprisingly FDA food. Um, of course, if I didn’t have this running, the way to go through and create a virtual graph would be unsurprisingly to create a

[13:45] virtual graph. Click that button. Uh, if I do that, uh, you see the different details. I can select the region I’m going to deploy in. I can select the size of the graph. And then I select which data source the virtual graph is going to use underline. And it’s possible to add new data sources. Simply click this button. And there are currently three different options supported for data sources. Snowflake,

[14:16] data bricks, and of course what we’re excited about today, BigQuery. If I click on that, a configuration menu comes up. Uh in this I give the name of the data source. Uh I’m just going to show you what this would look like. Uh in our case it’ be FDA food. I give the project uh that it came from. So uh and it even has a helpful prompt here in the description. Uh BigQuery uh public data

[14:47] is the name of that project. The way BigQuery works, it decouples um compute and underlying storage. Uh so I provide the billing project ID. In this case, this would be my project, the Neo Forj business dev. And then finally, I provide the name of uh the data source. And you also have to create a service account and grant it appropriate

[15:18] permissions. That account is going to be in your billing project uh where it’s going to run all this stuff. Of course, in my case, I already made the data source. So, I’m going to exit back out of here. Uh, and we just select the existing data source. To create the virtual graph, I simply click next. And you can see I’ve already been through here and I’ve created some data models, but I’m going to show you how you would make a brand new one. Just

[15:51] clicking uh create new data model. And uh then I hit next and it thinks for a moment and in a second it should pull up a number of different options for our graph data model. And we provide different modeling tools. uh there are tools to uh use AI to create a graph data model as well as uh tools to define

[16:24] it manually or from a schema. So you can see here uh it has introspected the data source and it’s pulled in uh the different rows in that underlying uh BigQuery table and then we’re presented with these different options. Uh I really like the generate with AI one. Uh this is of course using AI under the hood to look at the BigQuery table and

[16:54] then create a graph data model for us. So once again it it thinks for a moment uh introspecting all that data and building a data model for us. Here we are. It has generated a data model and we can see uh if you remember this data set is about food safety. So there’s a recall node in here. Uh there’s the name of a firm. Uh there’s

[17:25] an enforcement event uh which I I believe is probably the FDA uh creating a case. And then um there’s an adverse event report and a product it’s related to. And one of the neat things about this data model is it’s an iterative approach. So we’ve created this, but we can go through and edit it if it doesn’t exactly meet our needs. Uh sort of interacting with the AI and uh providing

[17:57] feedback on what it generated. Of course, I’m just going to leave this as is and hit create virtual graph. So, at this point, it uses that underlying data source we were just looking at uh that references BigQuery and it stands up a virtual graph instance on top of that. And this thing will behave just like any other Neo Forj instance. It takes a few minutes to deploy. So

[18:29] rather than waiting for it, I I’ve done the Julia child approach and we already have one running we can look at. So let’s look at it. Uh as with other Neo Forjs, there are these very standard options to interact with the database. We have our query workbench and then we have Bloom, our business intelligence tool for graphs. I’m going to click on query and

[19:01] it should connect here. Okay, it took a second to pick up the connection and uh we can see it’s thinking and loading the database. Looks like it had loaded 500,000 some nodes in with 300,000 relationships between them. And I can click on a node type and that will automatically generate a cipher query. In this case, I’ve searched for enforcement events and returned 25 of

[19:31] them. I can zoom in and the names of these guys aren’t overly exciting. Appears to just be a number, but I can click on those and expand any neighbors they might have. Any connected notes. So it looks like in this case, Trafa Pharmaceuticals is part of enforcement event uh 99314. And because we expanded this node, we know there are no other enforce no other

[20:04] firms related to that enforcement event. Uh at the same time, um we get this node of firm type. And that wasn’t the most exciting graph. I’m just curious if we expand some of the neighbors if we’ll find anything more exciting. Uh here we see a few more uh disconnected uh disperate subgraphs. So kind of fun to pop those guys open

[20:36] and explore. Uh similarly we can run a query for an adverse event and we see that node type um and we can expand those guys and see what they are connected to. Oh and that hey we got a little super node there. Uh we have a whole bunch of things connected up to that guy. Um,

[21:06] I could write more queries to explore this. I could also go back to Bloom and use that to explore this. But at this point, we’ve kind of seen that it’s possible to take that underlying data in BigQuery, uh, virtualize it and now explore it in Neo Forj. And we could of course do this with any of the BigQuery public data sets and you could of course do that with the data in your own BigQuery instances using the Google Cloud Marketplace to deploy Neo Forj

[21:37] Aura and then setting up a virtual graph on top of that. So, at this point, I’m going to end our demo and we’re going to go back to the slides and then I’m going to hand over to Nathan to take it away. >> Great. Thanks, Ben. I think you’ve given everyone a pretty good sense for how to or how Neo4j virtual graph can help you get more value from the data uh you already have in Big Query. Um, so thank

[22:09] you for that. Of course. So for our for our viewers uh to explore the documentation or see more use cases or get some more information, visit us at neo4j.com. Uh you can access a host of additional materials by accessing these QR code links as well. And you too can do what Ben just did. Just visit the Google Cloud Marketplace to make it happen. For those of you with specific project requirements or technical hurdles, feel free to reach out to the team. We’d love

[22:39] to hear from you. You can email us at ecosystem@neil4j.com. We’d love to help. Thanks again for joining this week’s connected intelligence. And thanks again, Ben, for your presentation. We’re here every other week exploring how graph powers the next generation of AI. Thanks again and goodbye all. >> [music]