Toda empresa de IA está construindo um banco sem perceber — Dor Sasson, Stigg

Autoria: AI Engineer · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Every AI Company Is Accidentally Building a Bank — Dor Sasson, Stigg · Canal: AI Engineer · 19:37 · Assistir no YouTube

Tópicos: Agentes de IA, Aplicações empresariais de IA, Infraestrutura e hardware de IA, Mercados e economia

Resumo

Dor Sasson argumenta que empresas de IA estão, sem perceber, construindo sistemas financeiros semelhantes aos de bancos. Como o uso de modelos e agentes pode variar muito, verificar limites e permissões somente depois do consumo causa gastos inesperados e problemas de infraestrutura. Ele defende reservar recursos antes da inference e reconciliar o consumo depois, além de dar suporte a concorrência, auditoria e diferentes fontes de créditos. Na visão do palestrante, essa infraestrutura financeira será essencial para vender workloads de IA em escala.

Pontos-chave

Várias empresas de IA enfrentaram emergências de preços e limites porque seus sistemas não estavam preparados para o comportamento imprevisível do consumo.
Verificar permissões e gastos somente após o uso pode levar a custos excessivos, surpresa na fatura e problemas de margem.
A autorização para consumir recursos deve acontecer de forma síncrona antes da inference; a reconciliação dos valores reais pode ocorrer depois.
Sistemas de IA precisam lidar com concorrência e evitar gastos duplicados quando muitos agentes acessam o mesmo saldo simultaneamente.
Créditos de diferentes origens, como créditos promocionais e créditos comprados, precisam ser contabilizados e consumidos conforme regras claras.
Empresas precisam acompanhar o consumo por organização, equipe, usuário, agente, modelo e produto, com controles e orçamentos granulares.
Manter dados de uso e infraestrutura de medição dentro da VPC pode atender a requisitos de latência, custo e soberania de dados.
A visibilidade do consumo de workloads de IA está se tornando um requisito básico para clientes e equipes financeiras.
Alterar a velocidade com que tokens são consumidos pode funcionar como uma mudança de preço e também exige mudanças na infraestrutura.
O setor ainda precisa de um equivalente ao “momento Stripe”: infraestrutura financeira fácil de integrar para empresas de IA.

Capítulos

Início	Capítulo	Resumo
00:12	Empresas de IA e a construção de sistemas financeiros	Dor Sasson apresenta a tese de que a economia de IA está levando empresas a construir sistemas que se comportam como bancos.
01:14	Crises de preços e consumo não controlado	Exemplos de Anthropic, OpenAI e GitHub ilustram os problemas que surgem quando o uso cresce sem controles adequados.
04:54	Autorizar o consumo antes da fatura	O palestrante defende verificar limites e permissões antes do consumo, em vez de reconciliar os gastos somente depois.
08:03	Decisões em tempo de execução e controles financeiros	A arquitetura deve avaliar políticas, permissões e limites de forma síncrona, antes de permitir que usuários ou agentes consumam recursos.
10:08	Concorrência, créditos e governança	A palestra aborda gastos concorrentes, contabilidade de partidas dobradas, origens distintas de créditos e controles por equipe e agente.
14:51	Padrões para vender IA em escala	Sasson destaca a reserva antes da inference, a implantação dentro da VPC e a verificação contínua dos saldos para agentes.
16:29	Visibilidade do consumo e infraestrutura do setor	A visibilidade dos gastos se torna indispensável, e o palestrante compara a oportunidade de infraestrutura financeira de IA ao “momento Stripe”.

Citações

Toda empresa de IA, neste momento, está construindo um banco sem perceber. — 00:12

Esses sistemas agora são essenciais para a missão, e nenhuma dessas empresas tinha a infraestrutura financeira necessária. — 05:25

A verificação de que você pode sacar não acontece depois que recebe o dinheiro. Acontece antes. — 07:31

Não acho que isso seja faturamento. Acho que é um sistema financeiro que toma decisões antes de qualquer fatura. — 09:37

O setor ainda não teve seu momento Stripe, em que essas estruturas simplesmente existem e são fáceis de usar. — 19:05

Conceitos e entidades

Stigg (empresa): Empresa cujo cofundador e CEO, Dor Sasson, apresenta a palestra.
Dor Sasson (pessoa): Cofundador e CEO da Stigg e palestrante do vídeo.
Anthropic (empresa): Empresa citada como exemplo de restrição ao acesso de agentes de terceiros a planos de assinatura.
OpenAI (empresa): Empresa citada por mudanças na precificação e por sua arquitetura de engenharia financeira.
GitHub (empresa): Empresa citada por suspender e eliminar o acesso experimental e gratuito a planos do Copilot.
Copilot (produto): Produto do GitHub mencionado no exemplo de mudanças em planos gratuitos.
OpenClaw (ferramenta): Agente de terceiros mencionado no exemplo de consumo subsidiado em um plano de assinatura.
Replit (empresa): Empresa citada como exemplo de usuários que podem consumir rapidamente os créditos disponíveis para toda uma organização.
Uber (empresa): Empresa citada por ter consumido seu orçamento anual de uso de IA em poucas semanas.
Stripe (empresa): Empresa usada como referência para a ideia de uma infraestrutura simples que facilite a integração de pagamentos.
reserva e liquidação de consumo (conceito): Padrão que reserva recursos antes da inference e reconcilia o consumo real posteriormente.
contabilidade de partidas dobradas (conceito): Método contábil mencionado como base para rastrear transações e lidar com gastos concorrentes.
concorrência de agentes (conceito): Problema que ocorre quando vários agentes tentam consumir simultaneamente recursos do mesmo saldo.
VPC (conceito): Ambiente de rede virtual onde empresas podem manter dados de uso e infraestrutura de medição.

Tradução completa (pt-BR)

00:12 Sim, estamos bem. Certo. Então, olá a todos. Pelo que ouvi, está acontecendo uma partida agora, enquanto falamos. Então, o fato de vocês estarem aqui significa muito para mim. Pelo menos, estou vencendo a Copa do Mundo agora. Isso é algo muito importante. Obrigado por terem vindo. Voei até aqui como cofundador e CEO da Stigg. Vim de tão longe para fazer uma afirmação meio peculiar em uma conferência de IA: literalmente, todas as empresas de IA estão construindo um banco sem querer. E, quando digo banco, vou

00:44 tentar destrinchar isso não como uma metáfora de marketing estranha, mas explicar o que realmente está acontecendo agora com a economia de IA e por que muitas das estruturas e coisas que vemos, usamos, consumimos e pelas quais pagamos em IA estão, na verdade, se comportando como estruturas que conhecemos dos sistemas bancários e financeiros. Certo. Obrigado por me receberem. E vamos começar. Aliás, sou a primeira palestra de hoje.

01:14 Então, o controle remoto não está funcionando. Isso vai ficar interessante enquanto tentamos avançar. Deixe-me dar um pouco de contexto. Enquanto eu preparava esta palestra, em abril, praticamente todos os produtos e plataformas de geração de código por aí simplesmente entraram em colapso sob esse novo tipo de economia e esse novo tipo de comportamento do consumidor. E, em apenas, sabe, umas cinco semanas,

01:44 tudo pareceu virar uma emergência de preços atrás da outra. E o argumento que quero apresentar aqui é que essas emergências de preços vão muito além de emergências financeiras ou comerciais. Na verdade, são emergências de infraestrutura, que surgem por causa de como esses sistemas foram construídos desde o início. Para dar uma perspectiva, em abril, a Anthropic basicamente eliminou o acesso das assinaturas a OpenClaw e a outros agents de terceiros. E, logo depois, tivemos

02:16 a OpenAI basicamente mudando o preço do produto, aumentando o preço em cinco vezes da noite para o dia, o que é bastante intenso. Depois, o GitHub congelou e, em seguida, eliminou completamente o acesso de avaliação e o acesso gratuito aos planos gratuitos do Copilot. Estamos com um pouco de eco aqui. E, efetivamente, todas essas empresas, ao mesmo tempo, em um único mês, vivenciaram o que significa realmente escalar a IA em escala

02:48 e o que acontece quando os fundamentos não estão estabelecidos. Deixe-me avançar mais um passo. Vamos nos concentrar em apenas um dos casos de uso, certo? Se pensarmos na Anthropic e no caso de uso do OpenClaw, o que aconteceu foi que a Anthropic estava subsidiando efetivamente todo o consumo de cada usuário que usava o OpenClaw dentro da assinatura Clo Clo Max. Assim, o que os clientes pagavam diariamente eram, sabe, alguns dólares e

03:19 centavos. Mas, do lado dos custos da Anthropic, o subsídio chegava a algo entre 150 e 750 dólares, o que não é uma economia escalável, nem mesmo para uma empresa do tamanho e da escala da Anthropic, certo? O que parecia ser um problema de negócios era, na verdade, um problema de infraestrutura, porque a Anthropic não tinha uma maneira eficaz de distinguir entre usuários das APIs e usuários dos programas de assinatura.

03:50 Então, tiveram que interromper e bloquear o acesso imediatamente, certo? Precisaram reagir. Certo. E isso não é um caso exclusivo da Anthropic, pessoal. Estamos vendo isso — não sei se todos ouviram ou leram as notícias mais recentes — com uma empresa não identificada que gastou meio bilhão em créditos de nuvem de IA, só porque alguns funcionários consumiram todo o contrato da organização. Também tivemos

04:23 a Uber dizendo que basicamente torrou todo o orçamento anual de consumo de IA em apenas algumas semanas do ano. E tivemos o Rep- Replit dando um exemplo do que pode acontecer se uma única organização tiver três usuários que, basicamente, esgotem todo o saldo de créditos da Replit da organização inteira. Então, o que está acontecendo aqui não é apenas um problema da Anthropic. E acho que o que há em comum, passando dos exemplos para o que realmente está acontecendo,

04:54 é que, nos três exemplos, as verificações do que você tem direito a fazer e do que pode fazer — seja você um agent ou um usuário de um produto de IA — acontecem depois da fatura, e não antes. Basicamente, em cada um desses exemplos, era possível consumir, usar o produto e gastar tokens, e as verificações só aconteciam depois da fatura. Assim, o gasto e as consequências só são reconciliados quando já é tarde demais, quando a fatura já foi enviada. E isso

05:25 é efetivamente ruim para os negócios, causa choque com o valor da fatura e é uma prática ruim para o uso desses sistemas. Esses sistemas agora são essenciais para as operações, e basicamente nenhuma dessas empresas tinha implementado a infraestrutura financeira que permite, exatamente como nos bancos, verificar antes de debitar, antes de consumir, certo? Então, acho que o que estamos vendo é, efetivamente, uma

05:57 mudança na forma como projetamos a arquitetura, lançamos e construímos software. A IA não está apenas mudando o que tem valor, nem apenas mudando como interagimos ou quem são os usuários. Ela também está mudando efetivamente o que está sendo pago e como projetamos sistemas capazes de lidar com a execução em tempo real e com a complexidade do uso antes da fatura, antes das verificações, e como podemos projetar sistemas para isso. Então, eu

06:27 acho que o interessante, e o que vocês veem à sua frente, é que, do lado esquerdo, está a arquitetura que a maioria das equipes usa para lançar produtos hoje. Como podem ver, as verificações e os acertos acontecem depois da inferência, depois que o uso é registrado. E normalmente isso é tarde demais. Vemos situações como picos, gastos excessivos, cobranças excedentes, experiências ruins para os negócios e para os usuários e, francamente, em muitos casos, também ruins para o fornecedor. Porque, se você não alocou recursos e

06:59 capacidade computacional suficientes para permitir que isso aconteça, também pode ter um problema de margem, certo? Do lado direito, estamos dizendo — ou estou tentando convencê-los — que, com a IA, a infraestrutura atual e a forma como a IA é construída e vendida, precisamos fazer a validação e aplicar os controles de forma síncrona, antes de atualizar os saldos; depois, podemos reconciliar e liquidar de forma assíncrona, após as consequências. Então, o caminho crítico é verificado de forma síncrona, e

07:31 tudo o que vem depois é reconciliado posteriormente. Acho que o melhor exemplo, pessoal, é imaginar que vocês vão a um caixa eletrônico e sacam dinheiro. Quando fazem o saque, a verificação para saber se podem sacar não acontece depois de receberem o dinheiro. Ela acontece antes do saque. E é exatamente a mesma coisa. Na prática, falta ao nosso setor essa camada, essa infraestrutura financeira que permite que esse tipo de comportamento aconteça naturalmente, certo? E, claro, isso parece uma

08:03 ótima ideia, não é? Vocês estão defendendo essa infraestrutura, parece que têm algo a ver com isso. Mas, pessoal, não sou só eu dizendo isso. Em fevereiro, a OpenAI — que tem uma equipe muito boa — publicou o trabalho de uma equipe chamada Engenharia Financeira. Eles explicaram como pensam a arquitetura e o que precisaram construir para que isso funcionasse na escala da OpenAI. O que escreveram é muito parecido com a forma como funcionam os sistemas transacionais dos bancos.

08:35 Basicamente, há uma sequência de decisões que precisa determinar, em tempo de execução, o que o cliente, o usuário ou o agent pode fazer. E é preciso levar em conta muitas condições e políticas diferentes para definir o que é realmente permitido, certo? Por exemplo, você tem permissão ou acesso a determinado recurso ou produto? Quais são os limites de taxa do seu plano? Você está em um período de avaliação ou em algum programa promocional? Todas essas decisões precisam ser calculadas imediatamente, no momento da solicitação.

09:07 E então, no fim, decide: posso dar acesso a este usuário? Ele pode consumir do saldo? Pode consumir ou não? E todas essas decisões podem acontecer depois da fatura. Não podem, porque você precisa conseguir calcular e priorizar isso de fato. Então, acho que há três coisas para observar aqui, certo? A primeira é que se trata de uma avaliação síncrona única. Ela acontece no momento da solicitação. Não acontece depois. Acho que a segunda coisa é que a prioridade é determinística. Então, sabemos

09:37 com antecedência quais são todas as regras diferentes que se aplicam ao consumo de determinadas coisas, certo? E acho que, por último — e aqui, pessoal, esta é a minha opinião, vocês podem discordar —, não acho que isso seja faturamento. Não acho que toda essa arquitetura esteja necessariamente relacionada apenas à ideia de emissão de faturas e cobrança. Trata-se de um sistema financeiro que toma decisões antes de qualquer fatura, antes de qualquer elemento de cobrança. E acho que veremos cada vez mais isso se tornando padrão em outros produtos e sistemas de IA

10:08 também. Vou só me aprofundar um pouquinho. Desculpem, pulei um slide. Então, sim, só me aprofundando um pouquinho em outras características ou elementos que vemos e aos quais estamos acostumados nos bancos, e que consideramos garantidos, mas que não são tão garantidos na IA nem no software. Só um exemplo, certo? Se duas partes diferentes têm acesso à mesma conta bancária, e essa conta tem, digamos, 10 dólares, e

10:40 as duas têm direito a consumir esses 10 dólares. O que acontece quando ambas tentam consumir ao mesmo tempo, certo? Os sistemas bancários têm a noção de reservar e liquidar. A concorrência é, na prática, resolvida pelos bancos, mas com IA e agents não é assim. Você poderia ter, sei lá, 10.000 agents tentando acessar o mesmo conjunto de dinheiro, e todos tentariam fazer isso ao mesmo tempo. À primeira vista, poderia parecer que eles conseguiriam consumir o saldo, porque há dinheiro disponível no conjunto.

11:12 Mas o que acontece quando todos consomem do mesmo conjunto simultaneamente? A concorrência se torna um problema. Então, como resolver isso? Essa questão nos sistemas financeiros é chamada de problema clássico do gasto duplo. Ela vem da contabilidade. É a escrituração por partidas dobradas e, como tenho certeza de que todos vocês estão criando e lançando produtos com IA hoje, à medida que a receita cresce e sua empresa cresce, a ideia de contabilidade por partidas dobradas, cobrança por partidas dobradas e a ideia de que é possível resolver

11:42 a concorrência são coisas que se tornam importantes à medida que você cresce e não são tão fáceis de resolver mais adiante. Então, pense em coisas como introduzir mecanismos de reserva e liquidação, e considere a idempotência e a auditabilidade dessas solicitações, etc. Outra coisa que é muito conhecida em como os sistemas bancários funcionam, mas que não está necessariamente

12:13 bem estabelecida na IA, é a ideia de que todos os diferentes conjuntos têm origens diferentes, certo? No banco, você tem sua conta de débito, sua conta em dinheiro, sua poupança, certo? E, quando você consome do saldo, o banco sabe calcular de onde esse dinheiro está saindo e o que isso significa. Aqui, digamos que eu tenha um conjunto de, sei lá, 1.700 créditos, mas eles não são iguais, não são equivalentes. Cada um vem de uma origem diferente. Então, como decidir de qual

12:45 deles você vai consumir? Você começa pelos que foram concedidos primeiro? Começa pelos promocionais? Então, como calcular de verdade o que está sendo consumido pelos usuários? Acho que esse é um problema real. Hoje, a maioria das empresas tenta resolvê-lo com um único inteiro no banco de dados, e isso realmente não vai funcionar quando você pensar no futuro. Legal. Então, para concluir, acho que, se pensarmos em como interagimos com

13:17 o software, antes tudo era plano. Havia apenas usuários e organizações, sem muita coisa entre eles, certo? A hierarquia de consumo do software era bem plana. Era bastante simples entender quem via o valor. Mas hoje, acho que os conjuntos de créditos deixaram de ser planos. Há muitas hierarquias diferentes entre quem consome os diferentes créditos, e também são necessários diferentes tipos de governança, lógicas, alocações, orçamentos e limites de gastos. E, na prática, o que

13:48 acontece é que os orçamentos são definidos no topo. Por exemplo, se você vende para grandes empresas, talvez esteja vendendo um contrato anual pré-comprometido. Os executivos de alto escalão, ou alguém que aprovou esse contrato de sete dígitos, esperam ver como esses créditos são consumidos ao longo da vigência do contrato. Mas não querem apenas ver que foram usados. Querem saber quem realmente os usou, qual equipe, quais usuários, quais agents, em que medida, e querem ter um controle detalhado sobre isso. Essa é literalmente a base de como

14:20 cada vez mais empresas pensam em vender cargas de trabalho de IA e em como elas funcionam efetivamente em produção. Vou passar por alguns desses pontos. Acho interessante falar sobre o que significam grafos e dimensões de alta cardinalidade, e sobre poder analisar por tipo de modelo, usuários e todos esses tipos de dimensões de consumo. Mas o que quero realmente desenvolver são, no fim das contas, aqueles quatro padrões. Então, à medida que você desenvolve IA

14:51 e começa a vender IA em escala, há, na prática, quatro padrões que se repetem e que são muito parecidos, bastante semelhantes à ideia dos sistemas bancários. Acho que o primeiro, sobre o qual falamos antes, é poder reservar antes da inference e liquidar os valores reais depois. Esse vai ser um padrão que veremos cada vez mais, repetidamente, e isso tem implicações na forma como você faz a contabilidade, como lida com todas essas diferentes cargas de trabalho concorrentes e coisas do tipo. Acho que a segunda coisa é que estamos vendo cada vez mais empresas de IA pouco entusiasmadas com a ideia de enviar todos esses dados de uso para algum outro lugar pela nuvem. Por motivos de latência, custo e soberania dos dados, há muitos bons motivos para essas empresas preferirem manter os dados de eventos dentro da própria VPC. Acho que veremos cada vez mais empresas de IA considerando seriamente implantar essa arquitetura, esse ledger e essa medição dentro da própria VPC, em vez de enviá-los pela internet. Acho

15:23 que, no caso das verificações para agents, é preciso pensar em como os agents são iniciados. Quando um agent faz algo, você não sabe de antemão o que ele vai acabar fazendo nem quanto essa tarefa vai custar. Então, se você não sabe o custo, precisa conseguir verificar os saldos enquanto o agent continua trabalhando. E precisa poder reservar uma conta para ele com antecedência e, depois, fazer a conciliação de forma assíncrona. Avançando rapidamente, então, no fim das contas, se

15:55 você tiver esses sistemas implementados, o que realmente ganha com eles é visibilidade. Antes, era certo que produtos baseados em uso precisavam de visibilidade, mas acho que hoje isso vai além da simples visibilidade. Na prática, significa que a capacidade de o CFO e o CIO verem o consumo de cargas de trabalho de IA em diferentes modelos, recursos e produtos não é apenas algo bom de ter. Está se tornando um requisito básico. É algo sem o qual não dá para fazer negócios, e veremos cada vez mais

16:29 empresas esperando ter isso desde o início, antes mesmo de fazer negócios com você. E, para dar alguns exemplos de como algumas das melhores empresas de IA de fronteira estão lidando com isso, acho que vocês já estão vendo esses padrões. Muitas dessas empresas já entendem que não estão mais apenas vendendo software da maneira convencional, como costumávamos pensar em assinaturas e uso. Isso está se tornando cada vez mais um sistema financeiro — sistemas financeiros

17:00 —

17:33 exigem algumas dessas ideias complexas que não existiam antes da IA. E acho que, só para dar um pequeno exemplo que mencionei antes, mas que talvez tenha passado um pouco despercebido: uma das mudanças que a OpenAI fez em abril é que, na verdade, não mudou os preços. Tudo o que fez foi mudar o ritmo em que os tokens são consumidos. Então, na prática, você usa o mesmo modelo, pagamos o mesmo custo por unidade, mas consumimos mais tokens. Então, isso efetivamente

18:03 foi uma mudança de preço. Como se implementa uma mudança dessas? Porque não é apenas uma mudança financeira, é uma mudança de infraestrutura. Basicamente, você está mudando o ritmo em que o software é consumido. Então, há muita complexidade não só em como mudamos os preços, mas também em como a infraestrutura subjacente permite ideias mais complexas sobre como o valor é apresentado aos usuários. E, na verdade, só para concluir: nossa equipe gosta de dizer — e é algo que começamos a dizer cada vez mais — que

18:33 realmente parece que, no início da década de 2010, houve aquele momento da Stripe, em que toda empresa queria lançar um produto na internet, e você precisava de um checkout, precisava que fosse seguro, e os desenvolvedores precisavam conseguir fazer tudo isso com facilidade e colocar o produto no ar rapidamente. Sinto que, hoje, estamos nesse momento de construir bancos. Tudo bem se você pensa: “Não sei, gosto de usar terno e gravata, talvez queira construir um banco”, mas, se estiver construindo um banco, provavelmente vai querer conhecer todas essas características e elementos que

19:05 precisam estar presentes, para não se deparar com eles mais adiante, quando ficar muito, muito mais complexo corrigi-los depois. Então, parece que falta à indústria o seu momento Stripe, em que todas essas estruturas simplesmente existem e são muito fáceis de usar. E há muito entusiasmo na nossa equipe com relação ao potencial de ter sistemas assim prontos e ajudar as empresas de IA a continuar lançando produtos. Se alguma coisa disso chamou sua atenção, apareça no nosso estande. Estamos num lugar meio estranho, bem no começo, mas estamos lá. Sei que tem um

19:37 jogo acontecendo agora. Venha nos visitar. Estamos fazendo uma demonstração do produto. Fique à vontade para fazer qualquer pergunta, e obrigado por terem vindo hoje. Foi ótimo ter vocês comigo. E, sim, adoraríamos conversar mais sobre isso no nosso estande.

Transcrição original

[00:12] Yeah, we’re good. Okay. So, hi everyone. Given there’s I hear there’s a match right now as we speak. So, given that you are here means a lot to me. So, at least I’m I’m winning the World Cup right now. So, that’s that’s a that’s a big thing. Thank you for joining me. I flew all the way over on co-founder CEO of Stig. I flew all the way over to make a kind of a funky statement on an AI conference which is literally every AI company right now is accidentally building a bank. And when I mean bank, I’m going to

[00:44] try to kind of unpack this thing not as like a weird marketing metaphor, but effectively what what is really happening right now with the AI economy and why a lot of the constructs and the things that we are seeing using consuming and paying for in AI are actually really behaving like constructs that we know from the banking financial systems. So, cool. Thank you for for for having me. Um and let’s get it going. By the way, I’m the first talk today.

[01:14] So, the clicker is not working. It’s going to be interesting here and out as they move for this. So, let me take you through a little bit of background. As I was working through this talk back in April really every single code generating product platform out there just broke under this new type of economy and under this new type of consumer behavior. And in just a you know, matters like 5 weeks

[01:44] everything felt like pricing emergency one after the other. And the case I want to make here is that these pricing emergencies go way beyond just emergencies from a financial commercial set of the house. These really are infrastructure emergencies that are emerging because of how those systems were built to begin with. So, just to give you some perspective, we had in in April we had Anthropic basically eliminating access for Open Clo and other third-party agents to basically use the subscriptions plans. Then immediately we

[02:16] had OpenAI basically changing how the product here is being priced, bumping the price overnight 5 5x, which is quite intense. And then we had GitHub freezing and then completely eliminating access trial access free access to their We have some echo here. To their free plans for for for Copilot. And effectively like all these companies all at once in a single month experienced what it means to actually scale on scale

[02:48] AI and what actually happens when you don’t have the fundamentals in place. So, let me take one one step farther. So, let’s zoom into even just one of the use cases, right? So, if you think about Anthropic and you think about the Open Clo use case, right? What happened was effectively Anthropic was subsidizing every consumption of every user using Open Clo within the Clo Clo Max subscription. So, effectively what the customers were paying daily was, you know, dollars and

[03:19] cents. But on the on the cost side for Anthropic, it was like 150s to even 750 subsidized, which is effectively not an economics that you can scale even for the company at at the size at the scale of Anthropic, right? So, what it seemed to be a business problem really was an infrastructure problem because Anthropic didn’t have a an effective way to delineate between users who are using their APIs and users who are using their subscription um, uh,

[03:50] programs. And so, they had to immediately cease and stop access, right? They had to to to react. Um, cool. So, and this is not unique to Anthropic, guys. Like, uh, we’re seeing this like, I don’t know if you all heard read the news most recently with a company, uh, undisclosed company burning through like half a billion of their AI, uh, cloud credits, um, just merely having like a few employees burning through the entire organization contract. Uh, we had, uh,

[04:23] Uber saying they’re basically torched down their entire, uh, AI usage consumption budget for the year in just a few weeks into the year. And then we had Rep- Replit giving an example of what could happen if, uh, a single org has three users that basically burning down the entire credit pool for Replit for the entire org. So, really what happening here is, uh, this is not just an an an Anthropic problem. And I think what’s what’s mutual and kind of like

[04:54] switching gears from the examples to the actual what’s really happening here, um, the problem basically with with all these three examples is that the checks for what you’re entitled, what you’re allowed to do, whether you’re an agent or a user, we are AI product happened, uh, after, uh, the invoice and not before. So, basically with each and every one of those examples, you were allowed to consume, you were allowed to use the product, you were allowed to burn tokens, and checks happen only after the invoice. So, basically the spend and the

[05:25] aftereffect gets reconciled only after it’s too late, only after the invoice is is sent, and this is effectively bad for business, it’s sticker shock, it’s bad for practice of how we use these systems. These systems are now mission critical, and we’re basically none of these companies had in place the financial infrastructure that allows, exactly like banks, guys, to check before we draw down, before we consume, right? So, I think what what we’re seeing is effectively uh really is a

[05:57] change in how we architect, and how we ship, and how we build software. AI is not just changing what is value, is not just changing how we interact, who is the users. It also effectively changing what exactly is getting paid, and how we actually architect for systems that can uh handle runtime, handle the complexity of usage happening before the the the invoice, before the checks, and how we actually can architect for that. So, I

[06:27] think what’s interesting, and what you see in front of you um is basically on the left side, what we’re seeing is how most teams ship this architecture today, and you can see that basically the check and the settlements are happening after after the inference, after the usage is being logged. And that’s typically too late. We see situations like spikes, overspends, overages, like experiences that are bad for business, bad for your users, and quite frankly, in many cases, also bad for the vendor. Because if you didn’t allocate enough resources and

[06:59] compute to actually allow for this to happen, you you also have a margin problem potentially, right? On the right side, we’re basically saying, or I’m trying to make the case for you all that with AI, with the current infrastructure, and how AI is being built and sold, we actually need to enforce and and do this synchronously before we actually update the balances, and reconcile and settle in in async way after after effects. So, hot path actually get checked synchronously, and

[07:31] everything that comes after uh is basically reconciled after. I think the best example, guys, is if imagine you go to the ATM, right? And you draw cash. When you draw the cash, it that the check if you are allowed to draw it, doesn’t happen after you get the cash. It happens before you draw the cash. And so, that’s exactly the same thing. Our industry effectively misses this layer, this financial infrastructure that allows for this type of behavior to happen naturally, right? And so, obviously this sounds like a

[08:03] great idea, though, right? Like you’re you’re pitching this infrastructure, sounds like you have something to do with this. Um But guys, this is not just me. Uh in February, OpenAI, they have a quite a great team. They’re team called financial engineering. And these guys basically published how they think about the architecture and what they had to build for this to work at the scale of OpenAI. And what they had to say reads very similarly to how transactional systems of banks work.

[08:35] Basically, you have a decision waterfall that needs to consider in runtime what is the client, the user, the agent is allowed to do. And it needs to take into account many different conditions and policies of what is really allowed, right? So, are you allowed or you have access to a certain feature or product? What are the certain rate limitations under your plan? Whether you are in a trial or in a certain promotional program. Like you need all these decisions to be calculated immediately at front time.

[09:07] And then it ultimately decide, can I give this user access? Can they draw down? Can they consume or not? And all those decisions really can happen after the invoice. They can’t because you need to actually be able to calculate and prioritize this. So, I think we have three things to notice from here, right? The first thing is this is a single synchronous evaluation. It happens at the request. It doesn’t happen after effect. I think the second thing is the priority is deterministic. So, we know

[09:37] in advance what are all the different rules that apply for certain things to be consumed, right? And I think lastly, and here you guys, this is my opinionated view, you can disagree. I don’t think this is billing. I don’t think this is necessarily this entire architecture is just related to the idea of invoicing and billing. This is a financial system that actually make decisions ahead of any invoice, ahead of any billing element. And I think we’re going to see more and more of this becoming a standard for other products and other AI systems

[10:08] as well. Really just nerding just a little bit on I’m sorry, I just skipped one slide. So, yeah, just just nerding just a little bit about what other trades or or elements we see and are used to in banks and we take them for granted, but in AI they’re not that granted, in software they’re not that granted. So, just one example, right? Like if two separate parties have access to the same banking account, and that banking account has like $10, and

[10:40] they are entitled to draw down those $10. What happens and when they both of them try to draw down at same time, right? So, banking systems has the idea of holding, of settling. You can really the concurrency is effectively solved with banks, but with AI and agents, it’s not that case. You could have whatever, like 10,000 agents trying to reach out to the same dollar pool, and they’re going to try to do that all at once, and superficially it might look like they should be able to draw down because there is balance in the pool.

[11:12] But, what happens when they all draw down from the same pool simultaneously, concurrency become an issue. So, how do you solve for that? This entire idea in financial systems actually called like it’s a classic double double spend problem. It comes from the accounting world. It’s a double entry bookkeeping, and as I’m sure you all are building shipping today with AI as the revenue scales, as your company scale, the idea of double entry accounting, double entry billing, the idea that you can solve

[11:42] concurrency, these things would matter as you scale and they’re not so easily solved down the line. So, think about things like you know, can you basically introduce rates like hold and settle, think about idempotency and auditability of those uh requests and etc. Another thing that I think is very very known in in you know, how banking systems works but not not necessarily

[12:13] enough established in AI is the idea that all the different pools have different sources, right? So, in bank you have your debit account, you have your cash account, you have your savings, right? And if you draw down, the bank actually knows how to calculate where you drawing down from and what does it mean? Here, you know, say I have a pool of you know, one you know, 1,700 credits but they’re not the same, they’re not alike. Each one of them is sourced from a different source. So, how do you decide which

[12:45] which one of them do you draw down against? Do you start with the ones that were you know, given granted earlier? Do you start with the ones that were promotional? So, how do you really calculate what’s getting drawn down to the users? I think that’s that’s a real problem. Most companies today try to solve it like a single integer databases and that’s not really going to work as you think forward. Cool. Um so really tying the knot the knot here, I think if you think about how we interact with

[13:17] software, it used to be flat. So, it used to be just users and organizations and there wasn’t a lot of meat in between them, right? The the the hierarchy of you consume software was quite flat. It was quite straightforward in terms of who see the value. But today, I think effectively credit pools are no longer flat. Uh you have a lot of different hierarchies in between who consumes different credits, and also they demand different governance, different logics, allocations, budgets, spend caps. And effectively, what

[13:48] happens is that budgets are set at the top, where for instance, if you’re selling to the enterprise, you’re maybe selling like pre-commit annual contract. Uh C-suite or somebody who approved that seven-digits contract, they expect to see how that credit are getting drawdown along the contract life. But they don’t just want to see that they were used. They want to know who actually used them, which team, which users, uh which agents, uh to what extent, and they want to have fine-grain control over that. That’s literally the bare bones of how

[14:20] more and more companies thinking about selling AI workloads and how they they effectively work in production. I’m going to run through some of this. Um I think this idea of like what does it mean like high cardinality graphs and dimensions, being able to slice and dice against model types, users, like all this type of uh dimensionality of uh of uh consumption is is probably interesting to to talk about. But what I actually want to expand on is ultimately those four patterns. So as you build AI

[14:51] and start selling AI at scale, you’re effectively like four patterns that keep repeating themself, and they are very very much alike and and very similar to the idea of, you know, banking systems. I think the first one we talked about earlier is basically being able to reserve before inference and settle actuals after. Um this is like going to to be like a pattern that again and again we’re seeing more and more often, and it has ramifications on how you do accounting, how you do uh basically handle all those uh different concurrencies workloads and what have

[15:23] you. I think the second thing is we’re seeing more and more AI companies unexcited about the idea of sending all this usage data to to somewhere else over the cloud. For latency reasons, for cost reasons, for data sovereignty reasons, there’s a lot of good reasons for why these companies actually rather to keep the events data inside their VPC, and I think we’re going to see more and more AI companies seriously considering deploying this this architecture, this ledger, this metering within their VPC rather the the contrary of sending it over the internet. I think

[15:55] for agentic checks, so think about how agents spawn, the idea of checking balances when agent does something you don’t know in advance what they’re ultimately going to do, how that how that task is going to basically cost. So, if you don’t know the cost, you need to be able to check those balances as the agent continues to get work. And you need to be able to reserve an account for them in advance and then asynchronously after effect reconcile. Quickly moving forward, so ultimately if

[16:29] you have those systems in place, what you really gain out of it is visibility. So, it used to be given that for usage-based products you need visibility, but I think what happens today, you know, it goes beyond just plain visibility. It it means that effectively like the ability to see for CFO, for CIO consumption of AI workloads across different models, across different features, across different products is not just, you know, a nice to have. It’s becoming a table stakes. It becomes something that you can’t do business without, and we’re going to see more and

[17:00] more companies expect to have this off the bat before they actually do business with you. And so really just giving some examples to how some of the best frontier AI companies are approaching some of this, I think you’re you’re seeing the patterns already there. So, I think a lot of these companies already appreciate that you’re no longer just selling software in the you know, commodity way that we used to think about subscriptions and usage. It’s becoming more and more of a financial systems and financial systems

[17:33] require some of these complex ideas that weren’t we’re not there before AI. Um and I think just to give like one small example that I talked about earlier, but I think might have gone a little bit uh hidden. Um One of the changes in April that OpenAI did is really they didn’t change the pricing. All they did was change the pace in which tokens get burned. So, effectively you use the same model, we pay the same cost uh per unit, but we burn more tokens. So, that effectively

[18:03] was a pricing change. How do you execute such a change? Um because it’s not just financial change, it’s an infrastructure change. You’re basically change the rate of how the software gets consumed. So, there’s a lot of complexity not in terms of just how we change pricing, but also how the infrastructure underneath allows for more complex ideas into how value is getting uh uh introduced to the users. And really just, you know, before wrapping up, you know, there our team likes to say, and this is something we started to say more and more often than before, it

[18:33] really feels like you know, there was in the in the early 2010s there was this Stripe moment where every company wanted to ship product into the internet and you need a checkout and you need it to be secure and it and the developers need to to to to to make it easy for them to quickly get them up and running. I feel like where we are today is those ideas of like building a banks, it’s okay if you feel like, I don’t know, you like wearing suit and tie, maybe you want to build a bank, but if you are a building a bank, you probably want to be aware to all of these traits and elements that

[19:05] has to be there so you don’t meet them down the line where where it’s get really, really more complex to fix in a hindsight. And so, feels like the industry really misses its Stripe moment where all these constructs just exist and it’s they’re so easy to use. And you know, there’s a lot of excitement from our team when it comes to the potential of having such systems ready and help AI companies keep shipping. Um if any of that was interesting, really come by our booth. We are in a quite of a weird location right at the start, but still there. I know there’s a

[19:37] game right now. Come visit. We’re demoing the product. Feel free to ask any questions and thank you for coming today. It was awesome to to have you have you with me. And yeah, love to nerd some more by our booth.