Há risco existencial se a IA não estiver alinhada com seus usuários humanos, diz Gensler

Autoria: Bloomberg Television · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: There’s Existential Risk About AI ‘Not Aligning’ with Their Humans, Says Gensler · Canal: Bloomberg Television · 12:48 · Assistir no YouTube

Tópicos: Agentes de IA, Governança e regulação de IA, Mercados e economia, Segurança de IA

Resumo

Gary Gensler discute o boom de investimentos em IA, os riscos de os gastos com data centers não gerarem receita suficiente e a concorrência de modelos chineses mais baratos. Ele alerta para capacidades de agentes de IA, como se replicar e encontrar vulnerabilidades, e para o risco de desalinhamento com os humanos. A conversa também aborda a necessidade de salvaguardas, os efeitos da IA nos mercados financeiros e os riscos associados ao crédito privado. Gensler se diz otimista quanto à capacidade humana de lidar com essas mudanças, mas defende um capitalismo responsável e reconhece riscos reais.

Pontos-chave

O investimento em IA equivale a cerca de 2,5% da economia dos EUA, segundo Gensler, e supera a proporção associada ao boom da internet nos anos 1990.
Modelos chineses, mesmo que estejam alguns meses atrás dos modelos de fronteira, podem pressionar os preços e a receita de empresas como Anthropic e OpenAI.
Gensler alerta para agentes capazes de escrever código, se replicar e procurar vulnerabilidades, além de possíveis problemas de alinhamento com os usuários humanos.
Salvaguardas para IA enfrentam dificuldades, especialmente quando modelos open weight podem ser alterados por usuários mal-intencionados.
A dívida ligada a data centers pode aumentar os riscos no crédito privado e expor investidores de varejo a perdas e limitações de liquidez.
O uso de modelos semelhantes por instituições financeiras pode levar a comportamento de manada e ampliar o risco sistêmico.
Agentes de IA podem ajudar consumidores a encontrar depósitos com juros mais altos, mas também provocar a saída de depósitos dos bancos.
Gensler defende a construção de melhores práticas de cibersegurança e resiliência cibernética para enfrentar os riscos da IA.

Capítulos

Início	Capítulo	Resumo
00:00	Boom de investimentos em IA e concorrência chinesa	Gensler compara o investimento em IA ao boom da internet e discute a pressão competitiva dos modelos chineses.
02:37	Capacidades dos agentes e risco de desalinhamento	A conversa aborda agentes que se replicam e procuram vulnerabilidades, além da necessidade de salvaguardas e alinhamento.
04:11	Salvaguardas e crédito privado	Gensler compara a regulação da IA à dos mercados de capitais e alerta sobre riscos de liquidez e dívida em data centers.
07:58	IA, consumidores e estabilidade financeira	Gensler analisa possíveis benefícios para consumidores e riscos de saída de depósitos, comportamento de manada e instabilidade.
10:09	Riscos existenciais e capitalismo responsável	Gensler defende mais cibersegurança, comenta os riscos de agentes desalinhados e conclui que a IA exige salvaguardas.

Citações

A questão é: os modelos estão alinhados com seus senhores humanos, se preferir? Nós, os humanos. — 03:08

É possível estabelecer salvaguardas para a IA, mas há uma complicação importante. — 05:14

Quando houver um recuo no grande boom da IA, há muita dívida ligada a esses data centers. — 07:27

Há riscos existenciais se os agentes de IA estiverem desalinhados ou não alinhados com seus usuários humanos. — 10:43

Há uma crença profunda no capitalismo, mas ele precisa ser responsável. — 12:17

Conceitos e entidades

Gary Gensler (pessoa): Ex-presidente da Securities and Exchange Commission que comenta os riscos da IA e seus efeitos nos mercados financeiros.
Anthropic (empresa): Empresa de IA mencionada na discussão sobre investimentos, concorrência e desafios de receita.
OpenAI (empresa): Empresa de IA citada na discussão sobre o boom de investimentos e um relatório sobre agentes que buscaram vulnerabilidades.
Hugging Face (empresa): Plataforma citada como local onde agentes encontraram vulnerabilidades durante um incidente relatado pela OpenAI.
modelos open weight (conceito): Modelos cujos pesos podem ser acessados e potencialmente modificados por usuários, o que pode dificultar a aplicação de salvaguardas.
alinhamento de IA (conceito): Questão de garantir que o comportamento dos modelos corresponda às intenções e aos interesses dos usuários humanos.
agentes de IA (conceito): Sistemas capazes de realizar tarefas, como escrever código e procurar vulnerabilidades, que Gensler associa a riscos de segurança e desalinhamento.
crédito privado (conceito): Segmento financeiro discutido em relação à liquidez para investidores de varejo e à dívida ligada a data centers.
risco sistêmico (conceito): Risco de que o uso de modelos semelhantes por muitas instituições financeiras amplifique movimentos de manada e instabilidade.

Tradução completa (pt-BR)

00:00 Alan era um verdadeiro servidor público, e tive a honra de trabalhar com ele. Não pude estar lá neste fim de semana por causa de compromissos aqui em Boston, onde estou agora, no MIT. Mas ele realmente entendia os mercados, entendia profundamente os mercados, e acho que, nos anos 1990, analisou essa nova tecnologia, a internet, e o que ela estava fazendo com a nossa economia. Acho que, um pouco antes dos outros, entendeu como controlar

00:32 a inflação, mas ainda deixar espaço suficiente para os, não sei se você quer chamá-los de espíritos animais, mas para aquele boom de investimentos nos anos 1990. >> Olho para eles aqui. Deixe-me logo avançar para o que você está fazendo no MIT, inclusive com seu maravilhoso podcast. A nova internet é a IA. Gary, nesta manhã, eu e Paul abrimos o programa falando do fluxo de notícias. Nunca vi uma empresa fazer uma cortina de fumaça como a reportagem da Reuters sobre a Anthropic. Quero dizer, para ser educado, Gary, é bizarro. Essas empresas são legítimas? >> Bem, é impressionante como elas conseguiram atrair tantos usuários tão rapidamente: Anthropic, OpenAI e outras. Mas a negociação de IA que paira sobre nossos mercados de capitais faz parte de um boom de investimentos que é cerca de duas vezes maior que o da internet. Então, voltando a Alan Greenspan, ele observava muitas empresas de tecnologia investindo, e isso

01:04 somava cerca de 1% a 1,5% da economia. No fim, foi considerado uma bolha. Agora, isso corresponde a 2,5% da nossa economia. Estou falando de todos os data centers e coisas do tipo. E eis o desafio para a Anthropic e a OpenAI: os modelos chineses. Talvez não estejam exatamente na fronteira tecnológica, mas, se estiverem de dois a seis meses atrás de nós, independentemente de como façam isso — usando ou não o que se chama destilação —

01:36 e estiverem gastando muito menos na economia chinesa, muitas empresas dos EUA estão dizendo: “Olha, vou usar o modelo chinês para fazer meu raciocínio e talvez não use a OpenAI ou a Anthropic.” Então, esse é o desafio para elas. Estão gastando tanto, mas isso vai gerar receitas que justifiquem esses gastos? >> Gary, como você bem sabe, muito capital foi captado nos mercados de ações e nos mercados de renda fixa para sustentar o crescimento da IA.

02:07 Até algumas das vozes fundadoras dessas empresas, na OpenAI e na Anthropic, estão pedindo algumas salvaguardas para essa tecnologia. Como você pensa sobre isso? >> Bem, acho que o verdadeiro desafio são as capacidades da IA: a capacidade de programar sozinha, sabe, escrever software, a capacidade de se replicar e depois enviar agents para a internet. A OpenAI divulgou um relatório sobre um incidente neste verão, em que os agents se multiplicaram até chegar a 1.200 agents diferentes, todos procurando vulnerabilidades ao mesmo tempo.

02:37 E eles as encontraram no Hugging Face. E a última coisa que eu diria é que, além das capacidades, há o alinhamento. Os modelos estão alinhados com seus senhores humanos, se você quiser chamá-los assim? Nós, os humanos. E cada vez mais eles estão mostrando que

03:08 têm algum raciocínio sobre como enganam e como escapam de ambientes de teste isolados e protegidos. Então, esse é um desafio real. Sei que o presidente chama isso de farsa. Discordo do presidente quanto a isso. >> Gary Gensler está conosco, pessoal, ex-presidente da Securities and Exchange Commission, devo dizer. A Goldman Sachs também destacou o bom trabalho dele no seu ciclo. Preciso tratar de outros assuntos aqui. É incrível, Gensler aparece no programa. Os repórteres da Bloomberg em Washington são implacáveis. Vocês deveriam

03:39 ver as perguntas. Querem saber o que ele pensa sobre Yankees e Red Sox. [risos] Quero dizer, é demais. Mais uma pergunta sobre IA, Gary. Preciso ir. Já tivemos outras IAs. Não tínhamos salvaguardas nos trens. Não tínhamos salvaguardas para a maravilha dos produtos farmacêuticos e dos antibióticos, da tetraciclina e de tudo isso. E quem, em nome de Deus, vai instituir as salvaguardas? Não vejo nenhuma instituição com motivação para adotar uma abordagem ex ante e se antecipar à tecnologia de IA. Onde ela está? >> Bem, no momento, isso não está acontecendo nesta administração nem no Congresso. Embora eu diga que o Congresso está começando a se debruçar seriamente sobre o assunto. Mas, veja, colocamos salvaguardas nos nossos mercados de capitais para que funcionem melhor. E elas não são perfeitas, mas, quando a Securities and Exchange Commission foi criada, o objetivo era proteger os investidores.

04:11 Era para [limpa a garganta] garantir que os mercados funcionassem melhor e criar um bem público: a confiança no mercado. >> Certo. [limpa a garganta] >> Então, eu diria que é possível fazer isso com a IA, mas há uma complicação, e ela tem consequências importantes. Os chineses estão competindo com os EUA. Os EUA querem continuar na frente, mas os chineses estão fazendo algo chamado modelos de pesos abertos. Isso é um desafio competitivo, porque as empresas dos EUA podem usá-los, e podem usá-los por menos, o que enfraquece a proposta de receita da Anthropic e da OpenAI. Também enfraquece a possibilidade de colocar salvaguardas em algo cujas salvaguardas o usuário, ou o agente mal-intencionado, talvez consiga remover. Pense naquelas pessoas que às vezes dizem: “Vou tirar o conversor catalítico do meu carro.” E isso não é legal, mas um agente mal-intencionado poderia dizer: “Ah, vou simplesmente tirar as salvaguardas.” >> Gary, tenho um grupo inteiro de repórteres que faz isso 24 horas por dia, os pit bulls de Washington. >> Aham. >> Nicola White. >> Nossa. >> Ela é uma ameaça à sociedade. Ela cobre fiscalização para nós, pessoal, e tem

04:42 uma nota brilhante aqui para mim, Gary, sobre o experimento de dar aos pequenos investidores acesso ao crédito privado e a todas essas outras coisas que também são ilíquidas. Como está indo esse experimento? E ela quer saber, Nicola quer saber, se isso tira o seu sono: estamos tornando o varejo — esse é o meu termo, só quero impressionar o Gensler — estamos levando os investidores de varejo, Gary, para coisas nas quais não deveriam investir? >> Tom, você me impressiona toda vez que vai

05:14 àquela conferência de Jackson Hole e tem tanto acesso a todos que participam da reunião. Então, não se preocupe. Olha, acho que há um descompasso: o público de varejo, inclusive os investidores de varejo de alto patrimônio, está recebendo ofertas de crédito privado. E também estão dizendo a essas pessoas que podem obter liquidez. Mas, na verdade, não podem. Se você quer retornos maiores, precisa manter seu capital de risco investido por períodos mais longos e não fazer resgates. Agora, veja, até aqui está funcionando, mas eu diria que, quando — e não é uma questão de “se”, mas de “quando” — houver um recuo na grande negociação de IA, haverá muita dívida relacionada a esses data centers dentro desse complexo de crédito privado. Então, para responder à pergunta da sua colega, é nesse momento que o público de varejo vai dizer: “Espere, esse título já não vale 100 centavos por dólar; vale 80 ou 90 centavos, ou até menos. Eu gostaria de sair.” E o que acontece então? Esse é um desafio real. >> Então, Gary, Torsten Slok, economista da Apollo, publicou recentemente uma nota levantando algumas questões sobre como o crescimento dos agents de IA pode afetar o sistema financeiro. Como você pensa sobre isso? Tivemos ontem o CEO da LPL Financial, e ele também expressou algumas dessas preocupações.

05:49 Como você pensa sobre a IA no contexto dos consumidores e dos serviços financeiros? >> Bem, estou dando aulas sobre inteligência artificial e dinheiro, abordando justamente essas questões com alguns alunos excelentes do MIT. E Simon e eu, claro, falamos repetidamente sobre isso no nosso podcast Power and Consequences. Na minha opinião, são três coisas. Primeiro, para os consumidores, talvez seja possível obter acesso automatizado melhor a depósitos com taxas mais altas. Foi

06:21 isso que o senhor Slok, da Apollo, apontou. Ele disse: “Os investidores talvez consigam encontrar opções melhores do que as taxas muito baixas pagas pela maioria dos depósitos bancários.” Então, isso é um ponto positivo. Mas, segundo, se você usa o Facebook Muse e encontra esses depósitos com taxas mais altas, talvez também passe a investir em fundos do mercado monetário; nesse caso, os bancos podem sofrer uma saída de depósitos. Acho que isso vai acontecer mais lentamente do que a nota dele sugeria, mas é algo real. O outro risco é se todo o setor financeiro começar a usar

06:54 à conferência de Jackson Hole, e você tem tanto acesso a todos que estão naquela reunião. Então, não se preocupe com isso. Olha, acho mesmo que há uma incompatibilidade: estão vendendo crédito privado ao público de varejo, até mesmo ao público de varejo de alto patrimônio. E também estão dizendo que é possível ter alguma liquidez. Mas, na verdade, não é possível. Se você quiser obter retornos maiores, precisa manter seu capital de risco investido por períodos mais longos e não ter esses resgates.

07:27 Agora, olha, está funcionando até aqui, mas eu diria que, quando — e não é uma questão de “se”, mas de “quando” — houver uma retração na grande operação de IA, haverá muitas dívidas nesses data centers, dentro desse complexo de crédito privado. Então, para responder à pergunta do seu colega, é nesse momento que o público de varejo vai dizer: “Espere, este

07:58 papel já não vale mais 100 centavos por dólar; vale 80 ou 90 centavos, ou até menos. Eu gostaria de sair.” E o que acontece então? Esse é um desafio real. >> Então, Gary, Torsten Slok, economista da Apollo, publicou recentemente uma nota levantando algumas questões sobre como a ascensão dos agentes de IA pode afetar o sistema financeiro. Como você pensa sobre isso? Ontem recebemos o CEO da LPL Financial, e ele também expressou algumas dessas preocupações. Como você pensa sobre a IA no contexto dos consumidores e dos serviços financeiros? >> Bem, estou dando aulas sobre inteligência artificial e dinheiro, abordando justamente essas questões com alguns alunos brilhantes do MIT. E Simon e eu, é claro, conversamos repetidamente sobre isso no nosso podcast Power and Consequences. Minha opinião é que há três pontos. O primeiro é que, para os consumidores, talvez seja possível ter acesso automatizado melhor a depósitos com taxas mais altas. Isso é

08:29 o que o Sr. Slok, da Apollo, estava destacando. Ele disse: “Os investidores talvez consigam encontrar taxas melhores do que as taxas muito baixas oferecidas pela maioria dos depósitos bancários.” Então, isso é um ponto positivo. Mas, em segundo lugar, se você estiver usando o Facebook Muse e encontrando esses depósitos com taxas mais altas, talvez até migrando também para fundos do mercado monetário, os bancos poderão sofrer uma fuga de depósitos. Acho que isso vai acontecer mais lentamente do que a nota dele sugeriu, mas é algo real. O outro risco é se todo o setor financeiro começar a usar

09:03 o que o Sr. Slok, da Apollo, estava destacando. Ele dizia: “Os investidores talvez consigam encontrar opções melhores do que as taxas muito baixas oferecidas pela maioria dos depósitos bancários”. Então, isso é um saldo positivo. Mas, em segundo lugar, se você estiver usando o Facebook Muse e encontrando depósitos com taxas mais altas, talvez também migrando para fundos do mercado monetário, os bancos poderão sofrer uma fuga de depósitos. Acho que isso acontecerá mais lentamente do que a nota dele sugeria, mas é real. O outro risco é se todo o setor financeiro começar a usar

09:37 modelos semelhantes, então pode haver comportamento de manada. E escrevi um artigo sobre isso há algum tempo. Isso poderia realmente levar a um risco sistêmico real. E, em terceiro lugar, há a questão geral de que, quando houver uma retração — e, em algum momento, esse boom vai se estabilizar e até mesmo se inverter —, quando isso acontecer, como Alan Greenspan gostaria de ouvir seu amigo Warren Buffett dizer: quando a maré baixa, dá para ver quem está nadando sem roupa.

10:09 >> Gary, [fungada] quer dizer, parece que — e tenho certeza de que você vê isso todos os dias na sala de aula — os jovens estão simplesmente adotando a IA, porque ela virou parte da vida deles, em vez de adotá-la como Tom e eu estamos tentando fazer. Em algum momento, imagino que isso vai afetar como eles investem, como poupam, como alocam o próprio capital. Na sua perspectiva, isso é algo bom? >> Sem dúvida. Olha, eu sou meio otimista e acredito que nós, humanos, vamos descobrir como lidar com isso, mas há riscos reais sobre os quais já falamos neste programa. Há [limpa a garganta]

10:43 riscos existenciais relacionados a agentes de IA desalinhados ou não alinhados com seus usuários humanos. >> Certo. >> Atores mal-intencionados vão usá-la, e isso vai desestabilizar os mercados. Então precisamos melhorar muito a cibersegurança e a resiliência cibernética. >> Aham. >> Mas também acho que isso vai transformar os mercados financeiros. E esse é um período de incerteza. Já vimos isso em booms anteriores. Você mencionou, sabe, as ferrovias e

11:16 os produtos farmacêuticos, e também falamos da internet. Está tudo aí. Tudo isso traz alguma incerteza. E há também a competição geopolítica com a China. E a China não está tirando o pé do acelerador. >> Gary, vou bancar o espertinho no MIT, no fundo da sala, com a mão levantada para fazer uma pergunta ao professor Gensler. Gensler, o governo Clinton, o governo Obama, diretor financeiro da campanha de Hillary Clinton, trabalhando para o presidente Biden, etc. Da sua perspectiva atual, há um

11:47 toque de experimento anticapitalista no Partido Democrata neste momento? >> Olha, acho que cada um dos partidos aqui nos Estados Unidos — e dá para dizer que isso também é verdade para os partidos na Europa — está passando por transições, porque a economia está mudando muito. E falamos sobre inteligência artificial, mas os EUA também estão recuando de seu papel de liderança no cenário mundial, e estamos numa

12:17 guerra no Irã que, eu diria, não tem uma resolução clara e tem sido muito prejudicial para a nossa economia e para o nosso papel no mundo. Acho que é nisso que o Partido Democrata está mais concentrado, mas eu diria que existe uma crença profunda no capitalismo — mas ele precisa ser um capitalismo responsável. E, assim como criamos salvaguardas para que nossos mercados de capitais funcionem melhor — foi isso que Franklin Roosevelt fez com o Congresso há cerca de 90 anos —, acho que vamos encontrar uma maneira de fazer isso com a IA. Mas, neste momento, há riscos reais.

12:48 há cerca de 90 anos, com o Congresso. Acho que vamos encontrar uma maneira de fazer isso com a IA, mas, neste momento, há riscos reais.

Transcrição original

[00:00] Alan was a real public servant and I had the honor to work with him. I couldn’t be there this weekend just because of things up here in Boston where I’m at right now for MIT. Um, but he he really understood the markets and deeply understood the markets and I think in the 1990s he sorted through this new technology, the internet, and what it was doing to our economy and I think a little bit before others understood how to control

[00:32] inflation but still leave enough room for the um I don’t know if you want to call them the animal spirits, but that investment boom in the 1990s. >> I I look here at them let me jump forward right away to what you and you’re working on at MIT with your wonderful podcast as well. The new internet is the AI. The news flow this morning Paul and I opened the show. Gary, I’ve never seen a company do a red herring like the Reuters report on Anthropic. I mean, to

[01:04] be polite Gary, it’s bizarre. Are these companies legitimate? >> Well, they they have a remarkable thing how they’ve pulled in so many users so rapidly, Anthropic, OpenAI and the like. But the AI trade that our capital markets is hovering on top of is an investment boom that’s about twice what the internet was. So, back to Alan Greenspan, he was watching as a lot of tech companies were investing and it

[01:36] added up to about 1 to 1 and 1/2% of the economy. It was considered at the end a bubble. This is now 2 and 1/2% of our economy. I’m talking about all the data centers and and so forth. And here’s the challenge for Anthropic and OpenAI is the Chinese models. they might not be quite at the frontier, but if they’re two to six months behind us regardless of how they do it, whether they use what’s called distillation or

[02:07] not, and they’re spending a lot less in the Chinese economy, a lot of US companies are saying, “Look, I’ll use the Chinese model to do my reasoning and maybe I won’t use a open AI or Anthropic.” So, that’s the challenge for them. They’re spending so much but will it lead to the revenues to justify that spending? >> Gary, so much capital, as you well know, has been raised in equity markets

[02:37] fixed income markets to support the growth of AI. Even some of the founding voices of these companies at Open AI and Anthropic, they are calling for some guardrails on this technology. How do you think about that? >> Well, I think that their real challenge is AI’s capabilities, the ability to do coding on its own, you know, write the software the ability to replicate itself and then send agents out on the internet. Open

[03:08] AI’s released that report about an incident this summer where the agents multiplied to 1,200 different agents simultaneously looking for vulnerabilities. And and they found them at Hugging Face. And the last thing I’d say is beyond their capabilities, alignment. Are the models aligned with their human overlords, if you wish? We, the humans. And more and more they’re showing that they’re

[03:39] they have some reasoning on how they deceive and how they jump out of guarded sandboxes. So, this is a real challenge. I I I I know the president calls it a hoax. I I differ with the president on that. >> Gary Gensler with us folks, the former chairman I should say of the Securities and Exchange Commission. His good work for your cycle Goldman Sachs noted as well. I got to get to some other matters here. It’s amazing Gensler comes on. The Bloomberg reporters in Washington are brutal. You should

[04:11] see the questions. I mean, they want to know what he thinks about Yankees Red Sox. [laughter] I mean, it’s too much there. One more AI question Gary. I got I I got to go here. We’ve had other AIs. We didn’t have guardrails on the trains. We didn’t have guardrails on the miracle of pharmaceuticals and antibiotics, tetracycline and all that. And got Who in God’s name is going to institute the guardrails? I don’t see any institution with motivations to want an ex anti

[04:42] basis get out front on AI technology. Where is it? >> Well, currently it’s not in this administration nor in the Congress. Though, I would say the Congress is starting to really lean into it. But look Tom, we put guardrails on our capital markets so that those capital markets work better. And they’re not perfect, but when the Securities and Exchange Commission was created, it was about investor protection.

[05:14] It was about [clears throat] making sure that the markets worked better, created a public good that you could trust the market. >> Right. [clears throat] >> So, I would say on AI it’s possible, but here’s the wrinkle and it’s a big consequential wrinkle. The Chinese are competing with the US. The US wants to stay ahead, but the Chinese are doing something called open weight models. This is a competitive challenge cuz US companies can use it and they can use it for cheaper and it undermines the revenue proposition for Anthropic and Open AI. It also undermines, can you put

[05:49] guardrails on something that then the user, the threat actor, can maybe take off? Think about those people that sometimes say, “I’ll take my catalytic converter off my automobile.” And um it’s not legal, but a threat actor could say, “Oh, I’m just going to take the guardrails off.” >> Gary, I got a whole group of reporters that do this 24/7, the pitbull terrier down in Washington. >> Mhm. >> Nicola White. >> Oh, boy. >> She’s a threat to society. She covers enforcement for us folks, and she’s got

[06:21] a brilliant note here to me, Gary, about the experiment of mom-and-pop retail access to private credit, to all this other stuff that’s illiquid as well. How is that experiment going? And she wants to know, Nicola wants to know, does it keep you up at night that we’re retailizing, that’s my word, with the I just want to impress Gensler, that we’re retailizing, Gary, retail into things they shouldn’t be going into. >> Tom, you impress me every time you go

[06:54] out to that Jackson Hole conference, and you have such access to everybody that’s in that meeting. So, don’t worry about it. Look, I do think that there’s a mismatch that the retail public, even high net worth retail public, is being sold private credit. And then they’re also being told they can get some liquidity. And you really can’t. You if you if you want to get the higher returns, you need to put

[07:27] your risk capital at work for longer periods of time and not have those redemptions. Now, look, it’s working so far, but I would say when, and it’s not a question of if, but when we have a retrenchment in the big AI trade, there’s a lot of debt on those data centers that is in this complex in the private credit complex. And so, to your colleague’s question, that’s when the retail public’s going to be saying, “Wait, this

[07:58] paper’s no longer worth 100 cents on the dollar, it’s worth 80 or 90 cents or even lower. I I’d like to get out.” And what happens then? That’s a real challenge. >> So, Gary, Torsten Slok, economist at at Apollo, was out with a note recently raising some questions about how the rise of AI agents might affect the financial system. How do you think about that? We had the CEO of LPL Financial in yesterday, and he was voicing some of those concerns as

[08:29] well. How do you think about AI in the context of just consumers and financial services? >> Well, I’m in the classroom teaching artificial intelligence and money, which is addressing those very questions with some terrific MIT students. And Simon and I, of course, talk about it repeatedly on our Power and Consequences podcast. My thought is three things. One is, for consumers, they might actually get some better automated access to higher rate deposits. That’s

[09:03] what Apollo’s Mr. Slok was pointing out. He was saying, “Investors might be able to find better than the very low rates that most bank deposits get.” So, that’s that’s a net plus. But, two, if you’re using Facebook Muse and finding those higher rate deposits, maybe moving into money market funds as well, then the banks might have deposit flight. I think it will happen slower than his note suggested, but it’s it’s real. The other risk is if all of finance starts using

[09:37] similar models, then you might have herding. And I wrote a paper on this a while back. It it could really to real systemic risk. And then thirdly, it’s just the overall when we have a retrenchment, and at some point in time this boom will plateau and even turn the other way. When that occurs, then as Alan Greenspan would have liked to hear his friend Warren Buffett say, when the tide goes out, you see who’s swimming with their trunks

[10:09] off. >> Gary, [snorts] I mean, it just feels like and I’m sure you see it every day in your classroom, the young folks are just embracing AI for it’s just become a part of their life as opposed to embracing it like Tom and I are trying to do. At some point that’s going to I would think you know, impact how they invest, how they save, how they allocate their own capital. Is that a good thing from your perspective? >> Absolutely. Look, I’m I’m I’m kind of bullish and optimistic that we humans will figure it out, but there’s real risk we’ve talked about in this program. There are [clears throat]

[10:43] existential risk about AI agents misaligned or not aligned with their human uh users. >> Right. >> That threat actors will use it and it will disrupt markets. And so we have to build cybersecurity and cyber resilience way better. >> Mhm. >> But I also think it will transform financial markets. And that’s a that’s a period of time of uncertainty. We’ve seen this in prior booms. Uh you mentioned you know, railroads and

[11:16] and pharmaceuticals and we’ve talked about the internet. Uh it’s it’s all there. It’s all has some uncertainty. And then you have the geopolitical competition with China. And China’s not taking their foot off the gas pedal. >> Gary, I got to be a smart alec at MIT in the back of the room with my hand up asking Professor Gensler a question. Gensler, the Clinton administration, the Obama administration, uh CFO for Hillary Clinton’s campaign, working for President Biden, etc. From where you sit now, is there a

[11:47] tinge to the Democratic Party experiment of being anti-capitalist right now? >> Look, I think that each of the uh parties here in the United States, and you could say this is true in the parties in in Europe, are going through transitions because the economy’s changing so much. And so uh we’ve talked about artificial intelligence, but also the US is stepping back from its leadership on the world stage, and we’re in a

[12:17] uh I would say uh a war in Iran that’s doesn’t have any clear resolution and has been a very uh damaging to our economy and to our role in the in the world. I think that’s what uh the Democratic Party is mostly looking at, but uh I would say that there are there’s a deep belief in capitalism, but it’s got to be responsible capitalism. And just as we put guardrails on our capital markets to make them work better. That Franklin Roosevelt did that

[12:48] some 90 years ago with Congress. I think we’ll find our way to do that on AI, but right now there’s there’s real risks.