A semana mais assustadora da história da IA...

Ver no idioma original →

Autoria: Riley Brown · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: The Most Terrifying Week in AI History… · Canal: Riley Brown · 29:23 · Assistir no YouTube

Tópicos: Agentes de IA, Cibersegurança e segurança de software, Modelos de IA

Resumo

Riley Brown e Ansh Nanda discutem uma série de vulnerabilidades e ataques cibernéticos que, segundo a conversa, se tornaram mais baratos e acessíveis com modelos de IA de baixo custo. Eles descrevem riscos ligados a servidores PHP desatualizados, ao roubo de API keys e ao uso dessas credenciais para revender acesso a modelos. A conversa também aborda medidas de segurança para empresas e pessoas, como limitar gastos, usar autenticação multifator e monitorar sistemas com agents. No final, os convidados debatem se restringir o acesso a modelos avançados pode dificultar a defesa e defendem maior colaboração sobre salvaguardas.

Pontos-chave

• A transcrição descreve uma vulnerabilidade grave em PHP que poderia permitir acesso amplo aos arquivos de servidores afetados.
• Modelos baratos e rápidos podem reduzir o custo de procurar vulnerabilidades, segundo os participantes.
• O roubo de API keys pode gerar cobranças elevadas e permitir a revenda de acesso a modelos.
• Os participantes descrevem um ciclo em que credenciais roubadas ajudam a obter acesso a modelos, cujas respostas podem ser usadas para treinar outros modelos.
• Empresas podem limitar o uso de API keys e armazená-las por meio de referências a credenciais, em vez de mantê-las diretamente nos servidores.
• Para proteger contas pessoais, a conversa recomenda verificar vazamentos, revisar apps autorizados e ativar autenticação multifator ou passkeys.
• Os participantes sugerem usar agents para monitorar gastos, registros e atividades suspeitas continuamente.
• A conversa questiona se as restrições a modelos avançados dificultam que empresas usem esses modelos para defesa cibernética.

Capítulos

Início	Capítulo	Resumo
00:00	Uma semana de incidentes cibernéticos	Riley Brown apresenta a escala dos incidentes e conversa com Ansh Nanda sobre as falhas e os ataques da semana.
04:39	IA mais barata para encontrar vulnerabilidades	Ansh relaciona o custo e a velocidade de modelos como Deep Seek version 4.1 flash ao aumento da capacidade de procurar falhas.
08:15	Roubo de API keys e ciclo de distilação	Os participantes descrevem o roubo e a revenda de acesso a modelos e como isso poderia alimentar a distilação de outros modelos.
11:51	Riscos e medidas para empresas	A conversa aborda o risco de cobranças elevadas por API keys roubadas e as dificuldades de usar modelos com restrições de segurança para investigar ataques.
16:28	Proteção de credenciais e contas pessoais	Ansh recomenda proteger API keys e contas, verificar possíveis vazamentos e revisar os aplicativos autorizados.
20:39	Passkeys e agents na segurança	Os participantes discutem passkeys e o uso de agents para encontrar contas antigas, reforçar a segurança de apps e monitorar atividades.
23:43	Acesso aos modelos e colaboração	A conversa debate o acesso público a modelos de ponta e a possibilidade de colaboração entre empresas para desenvolver salvaguardas.
27:19	Monitoramento contínuo como defesa	Os participantes recapitulam medidas práticas e defendem o uso contínuo de agents como uma camada de proteção.

Citações

Se você não consegue atualizar seu servidor agora, tire-o do ar por algumas horas. — 04:09

Eles só querem suas API keys. É isso. — 12:22

Passkeys são ainda mais seguras do que a autenticação de dois fatores. — 20:39

Agora você precisa ter seus agents protegendo você 24 horas por dia. — 28:21

Conceitos e entidades

• PHP (conceito): Linguagem associada, na conversa, a uma vulnerabilidade que poderia afetar servidores e sites mais antigos.
• Node.js (ferramenta): Tecnologia mencionada entre os componentes em que os participantes dizem ter sido encontradas vulnerabilidades.
• DeepSeek V4.1 Flash (modelo): Modelo descrito pelos participantes como barato, rápido e capaz de tarefas de programação.
• GPT-6 Astra (modelo): Modelo que, segundo a conversa, recusou ajudar a investigar um incidente de cibersegurança.
• OpenCode (empresa): Plataforma mencionada como alvo de ataques voltados ao roubo de API keys.
• Railway (empresa): Provedor citado como alvo de tentativas de roubo de créditos e credenciais.
• haveibeenpwned.com (ferramenta): Site recomendado na conversa para verificar se um endereço de email aparece em conjuntos de dados expostos.
• Ansh Nanda (pessoa): Desenvolvedor convidado que comenta os incidentes de segurança e as medidas de proteção discutidas no vídeo.
• Riley Brown (pessoa): Apresentador do vídeo e anfitrião da conversa sobre segurança e IA.

Tradução completa (pt-BR)

00:00 Todo mundo está falando da Quarta-feira Negra, porque parece que a internet está quebrando em tempo real. E vou ser sincero com vocês: esta é a semana mais assustadora que já vi na IA. O PHP, que sustenta cerca de 70% da web, tinha um bug tão grave que o FBI e a NSA disseram: corrijam sua aplicação ou tirem-na do ar. E, ao mesmo tempo, hackers estavam roubando chaves de API e revendendo-as em mercados clandestinos chineses. Antes, isso exigia uma equipe inteira de hackers. Agora, basta um cara, um modelo de IA barato e

00:32 cerca de 50 dólares. Então, hoje, convidei Ange Nanda, um dos melhores desenvolvedores que conheço, para explicar tudo o que está acontecendo. Certo, Ange, minha primeira pergunta é: que diabos está acontecendo? >> Tem muita coisa acontecendo. Quer dizer, esta é a semana mais maluca da história da cibersegurança. Lembra quando a CrowdStrike caiu, tipo, há um ano? Isso provavelmente é o pior nível de incidentes que já vimos. Acho que dá para quantificar assim: antes de a IA

01:02 se tornar uma realidade, todas essas empresas de nuvem, como AWS, Google e Microsoft Azure, se gabavam de ter cinco noves de disponibilidade, o que significa 99,999% de tempo no ar. Isso quer dizer que elas só ficam fora do ar por umas duas horas por ano. Para contextualizar, neste ano, ninguém chegou nem a dois noves de disponibilidade. Então, a situação ficou tão ruim assim. Na verdade, ficou três ordens de magnitude pior do que costumava ser. Aconteceram duas coisas principais. Uma é que

01:34 encontramos um monte de bugs em algumas tecnologias fundamentais que sustentam mais de 90% da internet, no PHP e no Node.js, além do GitLab, que hospeda o código de quase todas as empresas e é o segundo maior provedor de Git, depois do GitHub. E também vimos uma série de ataques que acompanhei de perto, em primeira mão, nos quais esses cibercriminosos tentaram, basicamente, invadir provedores de infraestrutura como Railway e OpenCode para roubar créditos de IA. E queriam

02:06 roubar esses créditos para revendê-los. Então, podemos falar mais disso depois, mas foi basicamente o que aconteceu. >> Certo, vamos destrinchar isso. Você pode falar sobre qual é o bug específico, ou quais são os bugs, por que isso está acontecendo agora e que modelos as pessoas estão usando para explorar essas vulnerabilidades? >> Sim, ótima pergunta. O PHP, basicamente, sustenta a maior parte da internet. E isso pode ser verdade mesmo que você não esteja programando seu site em PHP. Ninguém usa muito isso hoje em dia. Para contextualizar, o último grande site feito em PHP foi o

02:37 Facebook, que começou há mais de 20 anos. Desde então, as pessoas pararam de usá-lo, mas ele ainda sustenta boa parte da internet porque muitos dos serviços fundamentais que sustentam as tecnologias mais novas foram criados em PHP. Então, muito código ainda se baseia em coisas antigas, e o PHP é uma dessas tecnologias fundamentais. O bug era, basicamente, que qualquer hacker que conseguisse explorá-lo podia obter acesso root a todos os arquivos do seu servidor. Era muito, muito grave. Então, podia acessar

03:08 tudo. >> Um site inteiro. >> Podia ler tudo. Podia ler todos os seus dados de back-end, ou seja, todos os seus dados protegidos, que não deveriam estar disponíveis publicamente. A maioria das pessoas provavelmente foi poupada desse problema porque estava usando outro provedor de serviços que fez a atualização automaticamente, mas alguns sites mais antigos foram os que realmente sofreram com isso. Se você já teve um blog no WordPress, mande verificar, porque provavelmente já foi comprometido a essa altura.

03:38 >> Sim, isso é preocupante, né? Milhões de pessoas já usaram WordPress. Certo, certo. Então, existe essa vulnerabilidade, e acho que não precisamos nos aprofundar muito em como ela surgiu. A próxima pergunta, acho, é: a NSA ou o FBI basicamente disseram que era preciso aplicar uma correção. Então, havia essa vulnerabilidade, e cabia às pessoas que criaram essas aplicações em PHP corrigi-las. O que significa aplicar uma correção? Você pode explicar o que isso significa na prática?

04:09 >> Sim, a correção em si é muito simples. Basta atualizar o servidor. Você o tira do ar por uns cinco minutos e faz a atualização. É muito simples. Mas, provavelmente, são servidores bem antigos. Foi por isso que a NSA e o FBI emitiram esse alerta de segurança. Eles disseram: se não puder atualizar o servidor agora mesmo, tire-o do ar por algumas horas. Porque a exploração era muito grave. Lembre-se: essa exploração dá a qualquer invasor acesso total a tudo no seu servidor. >> E como a IA entra nisso? Como a IA

04:39 entra nisso? Tipo, é porque… Certo, pode falar. >> Após 15 dias desses ataques, recebemos um novo modelo dos nossos favoritos do outro lado do mundo: Deep Seek. Eles criaram o Deep Seek versão 4.1 flash, um modelo extremamente barato e muito bom para programação. É muito melhor do que qualquer coisa que tivemos antes e é bem rápido. Essa combinação de características fez com que agora valha a pena, do ponto de vista econômico,

05:11 os invasores simplesmente mandarem o modelo: “Ei, por que você não procura todos os sites da internet e tenta invadi-los?” Basicamente. >> Certo. Então, basicamente, está mais barato e rápido do que nunca procurar essas vulnerabilidades. Antes, isso exigiria uma pessoa, e também é uma habilidade especializada, né? >> Sim. >> Nem todo mundo saberia procurar vulnerabilidades. Por isso, na minha imaginação, isso era feito por criminosos encapuzados, num armazém qualquer. Mas agora, um Billy

05:42 Bob de 16 anos, em qualquer país, pode simplesmente pedir ao Deep Seek V4 flash para procurar essas vulnerabilidades, e agora isso está crescendo exponencialmente. Estou vendo gráficos — estou vendo gráficos de pessoas, esqueci como se chamam — que mostram como a situação piorou exponencialmente nos últimos três dias. A quantidade dessas vulnerabilidades encontradas está crescendo exponencialmente. >> Acho que isso

06:13 tem tudo a ver com os modelos Deep Seek, porque, embora a IA já fosse boa o bastante para invadir sistemas talvez há uns seis meses,

06:44 ou até há 12 meses, simplesmente não valia a pena do ponto de vista econômico, ou não era permitido por causa das barreiras de segurança dos modelos dos EUA. Se você conhece a Anthropic, sabe que eles se preocupam muito com segurança, barreiras de segurança e coisas desse tipo. Então, dificultaram bastante o uso dos modelos deles de maneiras que não queriam. Mas agora, com o lançamento do deep seek versão 4.1 flash, que é superbarato — custa 15 centavos por milhão de tokens, acho que duas ordens de magnitude menos do que o

07:14 Sonnet, e talvez quatro ordens de magnitude menos do que o Opus. É só… >> Centavos por milhão de tokens? >> Isso. >> Quanto custa o Opus? Uns 50 dólares? >> Isso, 50 dólares. 35, algo assim. >> Sim, sim, sim. >> Então, é umas duas ordens de magnitude, umas 100 vezes, mais barato. E também é muito fácil contornar as barreiras de segurança. Na verdade, não acho que esses laboratórios chineses sejam malignos, sabe? Não é como se dissessem: “Ah, vamos lançar este modelo para derrubar os EUA.” Acho que a China é extremamente competitiva. Se você já viu Travis Kalanick, do Uber, falar sobre como a China é competitiva, você já viu isso, né? O que ele disse sobre a China? Foi mais ou menos: eles copiam tudo sem nenhum escrúpulo. Então, a indústria de tecnologia chinesa chegou a um ponto em que olha para os Estados Unidos e diz: “Nossa, estamos ficando para trás. Só queremos copiar tudo.” E não fazem isso com más intenções, mas não têm o mesmo nível de preocupação com segurança. Então, eu

07:45 Na verdade, falei com o CEO da Xiaomi, que é uma das maiores empresas de tecnologia de capital aberto da China, que, sabe, é meio que, digamos, o Google da China. E ele disse que quer que as empresas americanas de modelos os ajudem a entender a segurança e digam o que fazer, porque eles nem sabem por onde começar. Sim, colocar proteções nesses modelos. E as empresas americanas de modelos não querem conversar com as empresas chinesas de modelos porque elas basicamente estão roubando seus

08:15 modelos, e podemos falar disso. >> É. >> Então, esse é, na verdade, o principal motivo pelo qual esses ataques estão acontecendo, porque é um ciclo vicioso. Por exemplo, esses hackers, que são exploradores na China, vão invadir o Railway ou o Open Code e nem vão se importar com as credenciais dos usuários, sabe? Em alguns desses ataques, eles poderiam ter acesso à sua conta bancária inteira ou ao Google. Talvez não à conta bancária, mas às suas informações do Google e aos seus dados pessoais. Eles ignoram isso e vão direto às suas API keys, porque esses hackers podem basicamente roubar as API

08:47 keys de empresas como Railway e Open Code, de desenvolvedores que estão desenvolvendo nessas plataformas. Aí, conseguem usar os modelos na nuvem por um preço muito, muito baixo, porque a China tem restrições. Lembrem-se: a China não tem acesso aos modelos da Anthropic. Na verdade, é bem difícil para eles conseguir acesso. Então, esses hackers pegam esses modelos e os vendem para outras pessoas na China por meio dos próprios serviços. Há, na verdade, dezenas de sites que vocês podem encontrar online. Não vou dizer quais, mas dá para comprar

09:17 Opus com um desconto de cerca de 90% em relação ao preço normal do Opus, porque as pessoas estão literalmente roubando API keys do Opus e revendendo esses tokens. E aí os laboratórios simplesmente compram inference desses provedores e destilam seus próprios modelos, como o DeepSeek, usando as saídas dos modelos na nuvem. Depois, esses modelos são usados para hackear. Então, os ataques ficam ainda mais baratos porque os modelos ficam melhores, ficam mais inteligentes, e o DeepSeek está tentando chegar ao menor preço possível.

09:47 E aí vira esse ciclo vicioso: as API keys são roubadas, há destilação, depois você tem um modelo chinês melhor, e os ataques ficam mais baratos, então mais API keys são roubadas, há mais destilação, e assim você consegue um modelo chinês ainda melhor. >> [risos] >> Isso é loucura. Então, toda essa situação está literalmente melhorando os modelos chineses. >> Sim. Sim. O fato de os EUA não estarem fazendo nada, ou de serem tão restritivos com a China, na verdade está melhorando os modelos chineses. É como, sabe, o que Jensen Huang disse num podcast. Ele

10:19 disse: “Como cortamos o fornecimento de GPU para a China, eles desenvolveram seus próprios chips para executar seus próprios modelos.” Então, todos esses modelos chineses rodam nos próprios chips porque, sabe, como se fazem diamantes? Pressão. A pressão cria diamantes. A China está bem no meio dessa zona de pressão agora. Então, eles precisam… É uma questão de vida ou morte para eles. >> Certo. E eles estão levantando bilhões de dólares, então está se tornando ainda mais crucial que sejam competitivos. Então, é, isso não parece… É muito… É uma situação muito interessante. Então, acho que deixa

10:49 eu resumir o que conversamos até agora, e depois quero passar para assuntos mais práticos, como o que as pessoas podem fazer na prática e o que as empresas deveriam fazer diante disso. Mas, só para resumir: temos esse bug terrível que foi exposto no PHP e em outras tecnologias, e as pessoas não necessariamente usam PHP tanto quanto usam outros serviços que vêm usando PHP há muito tempo. Então, é uma camada muito fundamental da infraestrutura que usamos para a

11:20 internet, e ela está começando a parecer frágil, e as pessoas estão ficando preocupadas. Agora, como modelos de IA como o DeepSeek 4.1 Flash estão ficando mais rápidos e baratos, as pessoas estão usando esses modelos para procurar vulnerabilidades, criando um ciclo de feedback: elas usam essas vulnerabilidades para roubar API keys, e há sites que basicamente têm milhares de API keys, que são esgotadas, e você consegue usar essas chaves com desconto, o que permite que eles coletem

11:51 mais dados — que a China colete mais dados dos laboratórios de ponta — e depois usem esses dados para melhorar seus modelos. Então, temos esse ciclo vicioso, e obviamente isso parece assustador. Parece assustador. Então, agora vamos pensar no que podemos realmente fazer para evitar que coisas ruins aconteçam. Para começar, você pode explicar algumas das coisas ruins que, em tese, poderiam acontecer comigo ou com a minha empresa por causa disso? >> Se você administra uma empresa e usa IA, o que provavelmente se aplica à maioria de vocês que estão assistindo, e usa API keys sem definir limites para elas,

12:22 em teoria, um hacker poderia obter sua API key e simplesmente gastar tudo. Isso aconteceu com o Vibe Code, e você viu isso em primeira mão, certo? Perdemos, acho que, felizmente, nunca fomos hackeados e nenhum dado de usuário foi perdido, mas gastamos cerca de US$ 100 mil porque esses exploradores conseguiram encontrar um monte de créditos gratuitos e simplesmente acumular cobranças na nossa API key. Provavelmente, essa é a pior coisa que pode acontecer: eles só querem suas API keys. Só isso.

12:52 E é engraçado porque… É, pode falar. >> Não, não, acho… É, quer dizer, acho que é mais fácil falar do que fazer. Em nível pessoal, ou se você administra uma empresa pequena, pode definir limites para as API keys. Mas, obviamente, se você é uma empresa com milhares de usuários e pode gastar centenas de milhares de dólares por mês com API keys, provavelmente é mais difícil estabelecer limites. Então, acho… É, o que você recomenda fazer em relação ao esgotamento das API keys? >> Acho que a coisa mais irônica

13:23 é que nem sequer podemos usar os modelos americanos para nos proteger desse incidente. O Open Code estava sendo hackeado e suas API keys estavam sendo roubadas, e eles tentaram usar o GPT-6 Astra, dizendo: “Ei, alguém está nos hackeando. Você pode investigar o que está acontecendo?” E o GPT-6 Astra respondeu: “Por causa da terminologia de cibersegurança, não podemos investigar isso, pois pode ser considerado malicioso.” >> Isso é interessante. Certo, então… Ah, porque… Certo, certo, isso é muito interessante. Então, lembro

13:53 de ler sobre isso: quando o Fable 5… Deus, estou com muita dificuldade para lembrar… quando o Fable 5 foi lançado. >> É. >> Eles não permitiam que ninguém fizesse solicitações relacionadas a cibersegurança, certo? Foi assim que ficaram conhecidos por redirecionar você silenciosamente para um modelo Claude pior, como o Claude Opus 4.7 ou algo assim na época. E é que, para fazê-lo cometer atos maliciosos, você o enganava dizendo que estava fazendo um teste de estresse na sua infraestrutura. >> Exatamente. É. >> É, mas, se algo realmente dá errado, você nem consegue fazer

14:25 os modelos Claude fazerem qualquer coisa, porque eles dizem: “Ah, não, estão tentando nos hackear. Estão tentando fazer jailbreak no modelo para nos levar a fazer coisas ruins.” Então, o que o Open Code teve que fazer? >> Eles tiveram que usar os mesmos modelos open source que foram usados para hackeá-los. >> [risos] >> Isso é loucura. >> Então, a coisa mais irônica é que temos que usar o DeepSeek 4.1 Flash para nos proteger do DeepSeek tentando nos hackear. >> Bem, quer dizer, talvez você pudesse usar o Kimmy K3, ou talvez… Nem sei quais são os modelos open source mais poderosos, mas isso parece muito

14:55 assustador. E existe algum tipo de programa pelo qual OpenAI e Anthropic poderiam dar acesso a esses modelos melhores para essas tarefas a empresas confiáveis, ou algo assim? >> É. A OpenAI tem o programa Daybreak, é assim que eles o chamam. E acho que a Anthropic chama o dela de programa de proteção cibernética, ou algo assim. Eles têm programas de proteção cibernética aos quais você pode se candidatar, e aí permitem que sua conta tenha acesso

15:27 modelos que… É o mesmo modelo, mas com menos barreiras de proteção. Por exemplo, nos inscrevemos no programa da Anthropic, mas, sinceramente, provavelmente há uma fila bem longa para esses programas agora. E ainda não conseguimos acesso. Então leva algum tempo para descobrir isso. Na verdade, estamos tendo que usar os modelos open source para nos impedir. É como se, sabe, nós… É como se os EUA tivessem inventado armas e estivéssemos lutando contra pessoas com espadas, mas não pudéssemos usar as

15:57 armas na batalha porque nossos líderes dizem: “Ei, essas armas são poderosas demais. Precisamos desacelerar o desenvolvimento de armas. Fazemos uso.” E aí ficamos presos usando espadas para lutar contra espadas, mesmo tendo… tendo armas. É mais ou menos isso. >> É. >> Mas, mas, mas, de alguma forma, eles estão roubando nossas armas e aprendendo a fazer espadas melhores. >> [risos] >> De alguma forma. Algo assim. >> Sim, claro, claro, claro, claro. >> Mas, sim, você pode se inscrever nesses programas. Tenho certeza de que vão descobrir como incluir mais empresas neles agora que isso se tornou um grande problema. Eu

16:28 acho que outra dica importante para as empresas é usar contas de serviço do 1Password, que basicamente apontam para API keys. Assim, você não armazenaria uma API key abertamente no servidor. Armazenaria apenas um ponteiro para ela. Isso não impede os ataques, mas facilita restringi-los depois, basicamente. Então, recomendo usar o 1Password. >> Certo. Então não são só as API keys que estão em risco, certo? Também os seus dados, certo? Seus nomes de usuário, senhas, e-mails e

17:00 outros dados já foram comprometidos e vendidos no exterior, segundo me disseram. Primeiro, como você sabe se foi comprometido, se é possível saber? E, segundo, o que eu deveria fazer como usuário da internet para garantir que meus dados estejam seguros? >> Sim, acho que, antes de tudo, acesse haveibeenpwned.com. Você pode inserir seu e-mail [fungada] lá, e sua senha, e ver se eles aparecem em algum desses conjuntos de dados públicos da dark web. Normalmente, os hackers que invadem suas contas não se importam muito com seus dados. Eles só

17:32 os vendem para outras pessoas, que então fazem coisas com esses dados. Mas, se você acessar haveibeenpwned.com, pode inserir seus e-mails e suas senhas e ver… >> E é seguro? Tipo, é seguro? >> Está no ar há uns 20 anos. Acho que foi criado por alguns engenheiros de segurança muito bons. Então, recomendo. Você pode incluir o link oficial. Mas, sim, está no ar há bastante tempo. Eu já usei muitas vezes e vi quando minhas contas foram invadidas e coisas assim. E acho que o 1Password até patrocina o site. Então…

18:03 >> Certo, então é algo legítimo. É… >> É um site legítimo. >> É haveibeenpwned.com. Talvez você entenda por que eu achei que não fosse seguro; sabe, é um nome engraçado. >> Sim, sim. >> Certo, você pode acessar o site e, obviamente, se sua conta foi invadida, provavelmente deve redefinir suas senhas e coisas do tipo. Outra coisa: acho que hackearam minha conta do Twitter há 6 meses. Acho que você se lembra. E foi porque eu tinha autorizado aplicativos que não deveriam estar autorizados. Então, outra coisa a verificar no Twitter — recomendo muito que você confira

18:34 isso — especialmente se você já clicou em links em um e-mail, como talvez tenha feito, e de alguma forma conseguiram fazer você autorizar sua conta do Twitter. Alguém pode ter acesso a ela a qualquer momento para fazer alterações. Então, a primeira coisa que você precisa fazer é verificar as contas autorizadas no Twitter, Instagram e coisas assim, para garantir que ninguém tenha acesso à sua conta do Twitter. Vi um cara, um artista, que teve a conta hackeada ontem. Mas, de qualquer forma, você deveria verificar isso. E também precisa garantir que a autenticação de dois fatores esteja ativada. Tem alguma recomendação de como fazer isso? Ou

19:06 qual é a melhor opção? Você deveria usar o app Google Authenticator ou algo assim? >> Eu recomendo usar o 1Password, acho. Se você tiver suas senhas e seus códigos de autenticação de dois fatores lá, ótimo. Se usa iPhone e dispositivos Apple, também pode usar o app Senhas da Apple. Acho que é ótimo também. Mas, sim, o ideal é entrar nos serviços usando sua conta do Google ou da Apple, porque elas têm a melhor segurança. Então, mesmo que alguém consiga sua senha e descubra sua autenticação de dois fatores, se a tentativa vier da China, por exemplo, eles vão bloquear

19:37 sua conta, restringi-la. Eles conhecem os padrões de comportamento dos consumidores e têm esses modelos de machine learning enormes rodando 24 horas por dia, 7 dias por semana, tentando descobrir: “Ei, alguma dessas contas está vulnerável? Estou vendo algum comportamento estranho?”. E bloqueiam sua conta na hora e entram em contato com você. Às vezes, até pedem verificação de identidade, o que não é ideal, mas, sabe, neste momento, você prefere perder seus dados ou deixar o Google saber um pouco mais sobre você? Quer dizer, eles já sabem tudo, então acho que eu

20:08 preferiria confiar no Google a confiar em qualquer desenvolvedor de app aleatório. Pense nisso, certo? Se você entrar em uma conta de um app novo digitando um nome de usuário e uma senha, e usar aquela senha que usa sempre, se ela vazar, poderão entrar em qualquer outro site que use a mesma senha. Mas, se você entrar com o Google, estará confiando ao Google essa autenticação da senha, e é bem provável que o Google não seja hackeado. Então, recomendo entrar com o Google e a Apple. Além da autenticação de dois fatores, use também passkeys.

20:39 As passkeys são ainda mais seguras do que a autenticação de dois fatores, porque você precisa de um dispositivo físico para se autenticar, como o Touch ID ou o Face ID, o que é ainda melhor do que usar apenas um código de autenticação. E você pode usar agents para vasculhar a internet. Por exemplo, se tiver o Grokbot ou o ChatGPT dots, pode simplesmente dizer: “Ei, estes são meus e-mails. Verifique se minhas contas foram invadidas e acesse sites que não uso há uns 6 meses para apagar todas as minhas contas.” E ele vai entrar em todos esses sites e apagar todos os seus dados,

21:09 o que nunca tinha sido possível antes. Acho que essa é uma dica que eu recomendaria muito. Se você ainda não usou essas ferramentas, esse é um caso de uso perfeito. >> Use agents para encontrar essas coisas e excluir contas que você não usa. Acho que faz sentido. Muito interessante. Certo, quero falar sobre criar apps. Hoje, obviamente, muitas pessoas sem conhecimento técnico estão criando apps, sejam apps para dispositivos móveis, apps web ou ferramentas internas para a empresa. O que você acha que vai acontecer com isso no futuro? Que precauções as pessoas precisam tomar ao

21:40 criar apps para evitar essas vulnerabilidades? Ou isso não é um problema tão grande porque a maioria das pessoas não está criando apps em PHP? Fale um pouco sobre isso. >> Sim, acho que os novos modelos provavelmente são melhores em segurança do que a maioria das pessoas, certo? Então, usam tecnologias mais novas, não usam PHP e sabem o que fazer para proteger você disso. Só… sabe, não… Acho que muitas pessoas cujas contas foram invadidas usam Superbase e depois acabam sobrescrevendo as regras de segurança, algo muito comum entre desenvolvedores de apps. Só digo que…

22:12 Tipo, sabe, é só pedir à sua IA: “Ei, deixe meu aplicativo seguro”, e provavelmente ela vai fazer um trabalho melhor do que qualquer ser humano conseguiria. Tipo, elas são melhores do que nós em programação. Então, outra coisa que recomendo é ter um agent sempre ativo, como Dart, Rockbot ou o que você preferir, até mesmo Cloud Code, simplesmente rodando em loop. Ele verifica toda a sua infraestrutura de cobrança, porque esse é o principal vetor de exploração. Tipo, essas pessoas invadiram o OpenCode e não se importam com os dados dos seus usuários. Elas só se importam com as chaves de API. Porque isso

22:43 se transforma diretamente em dinheiro. Se conseguirem só seu nome de usuário e sua senha, aí precisam descobrir em quais outras contas você usa o mesmo usuário, e isso dá muito mais trabalho. Já uma chave de API é equivalente a dinheiro. É basicamente o item hackeável mais líquido que existe. É a coisa mais líquida. Então, sabe, tenha um agent sempre ativo que analise todas as suas transações, todos os seus dados e todos os seus registros, e que, a cada 30 minutos, verifique:

23:13 “Tem algo errado?” Se tiver, corrija e me mande uma mensagem. É isso. Fazemos isso, e já nos evitou pelo menos três desses problemas e prejuízos de no mínimo US$ 30 mil. E o investimento se paga. Tipo, é só uma assinatura de nuvem de US$ 200 e pronto, sabe? >> Sim, sim. Sim, e isso não é novidade, né? As pessoas vêm lidando com invasões o ano todo. Quer dizer, nos últimos seis a 12 meses. É só que está ficando mais acessível. E acho que… bom, isso me leva a algo em que eu estava pensando ontem. Eu tuíte: qual você acha que

23:43 será o último modelo de fronteira lançado ao público? Fiquei pensando nisso e, na verdade, fiquei muito triste, porque, para mim, a IA sempre foi algo que permitia que qualquer pessoa, como cidadã, estivesse na fronteira, né? O Chat GPT era simplesmente o melhor modelo que tinha sido lançado, e eu estava usando o melhor modelo. Quando Claude 3.5 saiu, sabe, as pessoas estavam à frente do governo. Estavam à frente das empresas, porque foram as primeiras a adotar a tecnologia, e era o melhor modelo do mercado. Sabe, e acho que Fable

24:13 foi meio que a primeira vez que pensei: “Nossa, a fronteira vai ficar escondida a portas fechadas”. E agora não consigo deixar de sentir que isso só vai piorar, especialmente com as destilações. Sabe, colocar esses modelos no mundo faz com que surjam modelos muito melhores em invasões. Para mim, parece que os modelos talvez fiquem escondidos a portas fechadas, e isso me entristece. O que você acha? Acha que talvez estejamos chegando ao fim da fronteira acessível ao público

24:43 — pelo menos no curto prazo? >> Quer dizer, espero que não. Acho que isso só pioraria esse processo. Porque, se chegarmos a esse ponto, significa que os modelos ficaram tão bons que, sabe, é só uma questão de tempo até destilarem esses modelos restritos, né? E, quando isso acontecer, o que vem depois? Sabe, aí é como… tipo, o OpenCode não precisou usar modelos open source para se proteger.

25:13 Acho que precisamos equipar nosso país e nossos desenvolvedores com modelos melhores. E, se o acesso for restrito, só algumas empresas terão acesso. Então, fico com medo. Acho que é como se estivéssemos numa corrida contra o tempo, mas, ao mesmo tempo, tentando impor essas restrições. Tenho uma opinião polêmica sobre isso. Acho mesmo que as empresas de modelos dos EUA deveriam trabalhar com as empresas chinesas de modelos e ensiná-las a criar salvaguardas e proteções nos modelos. Assim, mesmo que essas empresas chinesas de modelos

25:45 fiquem melhores — e vão ficar, é só uma questão de tempo —, elas já são boas o bastante para essas explorações, mas vão melhorar. Só que, se souberem implementar as proteções tão bem quanto as empresas americanas de modelos, talvez essas invasões diminuam, porque os hackers não conseguirão usar os modelos chineses para fazer o trabalho sujo. Então, acho que deveria haver mais colaboração entre as duas principais potências de IA, o que vai contra o que sinto que a maioria das pessoas está recomendando. É tipo: “Ah, precisamos…” >> É mais fácil falar do que fazer, agora. Sabe o que eu

26:16 quero dizer? Porque não só você precisa se coordenar com o que algumas pessoas consideram um adversário, como também precisa competir ao mesmo tempo com empresas do seu próprio país. E você não quer revelar seus melhores segredos, porque, sabe, no fim das contas, são empresas privadas. E a China também poderia desistir do acordo. Poderia pegar o conhecimento e depois remover as proteções, porque parece que, literalmente, está se beneficiando da ausência delas, pelo menos agora. Então, talvez alguma lei pudesse exigir que todos os modelos open source em uso

26:49 tivessem algum tipo de certificação de que contam com proteções. Não sei como isso funcionaria. Mas, é, é mais fácil falar do que fazer. >> Sim. Não, com certeza. Quer dizer, você tem razão. Esse é o risco, né? Mas estou no grupo que… Então, o que você acha? Acha que deveríamos simplesmente impedir a China de usar todos esses modelos e… >> Não. Não, não tenho resposta. Não tenho resposta. Só estava dizendo que é mais fácil falar do que fazer. Acho que o fato de ser difícil não significa que não devamos tentar. >> Se você fosse Dario, o que faria

27:19 agora? >> Cara, não posso ser Dario. Dario pensa… [risos] Ele pensa de um jeito muito diferente da maioria dos CEOs. Ele pensa em forma de ensaios. E eu não penso assim. Não sei. Para mim, sabe, talvez eu só pense de um jeito simples. Só tenho medo de não ter acesso ao Fable 5.5 ou de ele nunca ser lançado. Só quero um modelo melhor. Só quero usar os melhores modelos e criar coisas legais, cara. É, essa situação é interessante. É uma situação interessante. Certo, então já falamos dos

27:51 bugs. Já falamos dos ataques. Falamos do fato de que é mais barato, mais rápido e que qualquer pessoa pode participar, de certa forma. Estamos esquecendo de alguma coisa? >> Não, acho que é basicamente isso. Sabe, falamos do que uma empresa ou um negócio deveria fazer, e também do que cada pessoa pode fazer. E acho que são passos muito simples que você pode tomar hoje. Fizemos isso na minha empresa e levou um dia. Tenho certeza de que você também fez, e não demora tanto assim para se proteger dessas coisas. Mas eu costumava

28:21 ser a pessoa que dizia: “Ah, sim, nunca vou ser hackeado. Sou da área de tecnologia”. Mas agora minha mentalidade mudou completamente. Não se trata mais só de saber um pouquinho. Você precisa ter seus agents protegendo você 24 horas por dia, sete dias por semana. Então, enquanto durmo à noite e esse agent está rodando, garantindo que está tudo bem, essa é minha rede de segurança, o que é interessante. Antes, não precisávamos disso. Agora precisamos desses agents sempre ativos, porque essa é a única maneira, é como se fosse a última linha de

28:52 defesa. >> Certo. Acho que este foi um bom podcast de emergência. Sim, onde as pessoas podem encontrar você? >> É, comecei a fazer vídeos no YouTube. Você pode pesquisar meu nome completo, Ansh Nanda, no YouTube. Fique à vontade para se inscrever no meu canal. E espero que eu e Raleigh possamos fazer isso de novo, mas… >> Na próxima vez, vamos falar de um tema mais positivo. Vamos conversar sobre tecnologia divertida. Talvez façamos uma análise do Opus ou do Fable 5.5 quando for lançado, em 2028, depois que implementarem as proteções. [risos] Certo. Ah, obrigado por participar.

29:23 Espero que vocês tenham tirado muitas informações úteis disso. Façam as coisas. Mantenham-se seguros. As coisas estão ficando assustadoras por aí, e não procurem vulnerabilidades nem invadam as chaves de API das pessoas. Certo. Até mais.

Transcrição original

[00:00] Everyone is talking about Black Wednesday, because the internet seems to be breaking in real time. And I’m going to be honest with you. This is the scariest week I’ve seen in AI. PHP, which runs about 70% of the web, had a bug so bad the FBI and the NSA said patch your application or take it offline. And at the same time, hackers were stealing API keys and reselling them on Chinese black markets. This used to take an entire team of hackers. Now it takes one guy, a cheap AI model, and

[00:32] about 50 bucks. So today, I brought on Ange Nanda, one of the best developers I know, to break down everything that’s going on. Okay, Ange, my first question to you is what the hell is going on? >> There There’s a lot going on. I mean, this is the craziest week in cyber for ever since You remember CrowdStrike going down like a year ago? Like this is probably the worst level of incidents that we’ve ever seen. You know, I think the way to quantify it is that before AI

[01:02] was a thing, all these cloud companies like AWS, Google, Microsoft Azure, they were like touting themselves in having five nines of availability, which means 99.999% percent uptime. That means they only go down for like 2 hours a year. For context, no one has got even two nines of availability this year. So that’s how bad it’s gotten. It’s actually gotten three orders of magnitude worse than it used to ever be. There were two main things that happened. One is that we

[01:34] found a bunch of bugs in some core technologies that power over 90% of the internet, which is in PHP and in Node.js, as well as GitLab, which hosts the code for almost all enterprises and the second largest Git provider other than GitHub. And then we saw a whole host of attacks that I’ve actually seen up close and personal first hand, where we saw these cybercriminals essentially tried hack infrastructure providers like railway and open code to steal AI credits from them. And they wanted to

[02:06] steal these credits to to sell them. So, we can talk more about that later, but that’s basically what happened. >> Okay, so this is let’s let’s break this down. So, can you talk about like what the specific bug is or bugs are, why it’s happening now, and like what models people are using to like exploit these vulnerabilities? >> Yeah, that’s a great question. So, PHP basically runs most of the internet, and it might not be even if you’re coding your website in PHP. No one really uses that anymore. For context, the last last big website that was made in PHP was

[02:37] Facebook, and that was started like over 20 years ago. Ever since then, people stopped using it, but it still powers a lot of the internet because a lot of the core services that power the newer technologies is built on PHP. So, a lot of coding is just like built on the old stuff, and PHP is like one of those like foundational level things. And the bug was essentially that any hacker, if they could exploit the bug, was able to get root access to all the files on your server. So, it’s like really really bad. So, they could like get access to

[03:08] everything. >> to an entire website. >> They could read it. They could read everything. They could get all your back-end data, which is like all your secure data that’s not supposed to be publicly available. You know, most people were like prevented from this being an issue because, you know, they are using another service provider that automatically upgraded, but some of the older websites are like the ones that really suffered from here. Like, if you ever had a WordPress blog, you know, get it checked out cuz it’s probably probably gone at this point.

[03:38] >> Yeah, that is concerning, right? Millions of people have used WordPress. Okay, okay. So, okay, so there’s this vulnerability, and I guess we don’t need to dive too deep into like actually how that came to be. I guess I guess the next question would be I think that NSA or and the FBI basically said you need to patch this. So, there was this vulnerability, and it was up to the people who built these applications on PHP to to like patch them. Like, what is patching that mean? Like, can you describe what that actually means?

[04:09] >> Yeah, the actual fix is really simple. You just upgrade your server. So, you take it down for like 5 minutes and you upgrade it. Like, it’s really simple. But, you know, these are a bunch of like really old servers most likely. That’s why the NSA and FBI released this security warning. And they were like, if you can’t take this if you can’t upgrade your server like right now, just take it down for a few hours. Cuz that’s how bad the exploit was. Remember, this exploit gives any attacker full access to everything on your server. >> And how does AI play a role? How does AI

[04:39] play a role in this? Like, is it is it because Okay, yeah, go ahead. >> So, 15 days of these attacks, we got a new model from our favorite people across the pond, Deep Seek. So, they created Deep Seek version 4.1 flash, which is a extremely cheap model and it’s really good at coding. Uh much better than anything in the past and it’s really fast. So, this combination of attributes for this model made it so that now it makes economical sense for

[05:11] attackers to basically go and tell their model, “Hey, uh why don’t you like go find every website on the internet and try to hack it?” Basically. >> Okay. So, so so basically like it is cheaper and faster than ever to go look for these exploits. Where in the past it would require a human um and that’s also a niche skill, right? Like >> Yeah. >> not everyone would know how to go look for exploits and so that’s why it was done by like, you know, at least in my imagination by like hooded criminals that are, you know, in some warehouse somewhere. But now, a 16-year-old Billy

[05:42] Bob in whatever country can just basically ask Deep Seek V4 flash to go look for these vulnerabilities and now it’s now it’s like exponential. I’m seeing charts um I’m seeing charts of people, I forget what they’re called, but like showing how it’s like exponentially worse like over the last 3 days. Like, the amount of these vulnerabilities found are going up exponentially. Um >> I think it’s >> all based on like the deep seek models because even though AI’s gotten good enough to hack maybe like 6 months ago

[06:13] or even like 12 months ago, it was just not economical or it was not allowed because of the guardrails of the US models. So, if you know Anthropic, they really care about security, guardrails, that kind of stuff. So, they made it really hard for you to use their models in a way that they didn’t want you to use them. But, now because deep seek version 4.1 flash came out and it’s super cheap. It’s like 15 cents per million tokens, which is I think two orders of magnitude cheaper than

[06:44] Sonnet and maybe like four orders of magnitude cheaper than, you know, Opus. It’s just and >> cents per million tokens out? >> Yeah. Yeah. >> Opus is what? Like $50? >> Yeah, $50. 35, something like that. Yeah. >> Yeah, yeah, yeah. >> So, it’s like two orders like 100x, you know, cheaper. And also, they’re really easy to jailbreak. So, I actually don’t think that these Chinese labs are like evil, you know, they’re not like, “Ooh, we’re going to release this model to like make it so that we will have

[07:14] overthrown US.” I think China is fiercely competitive. If you ever saw Travis Kalanick from Uber talk about how China was competitive, like you you’ve seen that, right? Like, what did he say about China? He was just like, you know, they just ruthlessly copy everything. So, China is at the point where like their tech industry is looking at America and they’re like, “Wow, we we’re lagging behind. We just want to copy everything.” And they’re not doing it with malintent, but they don’t have the same level of care about security. So, I

[07:45] actually spoke to the CEO of Xiaomi, which is one of the biggest publicly traded technology companies in China, which is, you know, they’re kind of like, let’s say, the Google of China. And he said that he wants US model companies to help them figure out security and like tell them what to do cuz they don’t know where to even start Yeah, guardrails on these models. And the US model companies don’t want to talk to the Chinese model companies cuz they’re basically stealing their uh

[08:15] models uh and we can get into that. >> Yeah. >> So, this is actually the biggest reason why these hacks are happening cuz it’s a vicious loop. So, for example, these hackers are exploiters in China will go hack Railway or Open Code and they’ll they won’t even care about the user credentials, you know? Some of these hacks like they’d have access to your whole bank account or Google. Maybe not bank account, but like your Google information and your like personal data. They like ignore that and they’ll just go to your API keys because these hackers can essentially steal the API

[08:47] keys from companies like Railway and Open Code, like developers who are developing on those platforms. Then they can get um inference to the cloud models for really, really cheap because China’s restricted. Remember, China doesn’t have access to Anthropic models. It’s actually pretty hard for them to get access to it. So, then these hackers take those models and then they sell it to other people in China through like their service. So, there’s actually like dozens of these websites that you can find online where I’m not going to tell you which ones, but like you can buy

[09:17] Opus at like 90% discount to normal Opus pricing because people are literally stealing Opus API keys and like reselling these tokens. And then the labs just buy these uh inference from these providers and then they distill their own models like DeepSeek on the output of the cloud models and then those models are then used to hack. So, then the hacks become even cheaper cuz the models become better, they become smarter, and DeepSeek is like trying to race to like the bottom in terms of

[09:47] price. And so, it’s like this vicious cycle where like API keys get stolen, you have distillation, then you get better Chinese model, and then the hacks get cheaper, so more API keys get stolen, so there’s more distillation, so that you get even better >> [laughter] >> Chinese model. >> That’s crazy. So, this this whole situation is literally making the Chinese models better. >> Yes. Yes. The fact that the US is not doing anything or like is so restrictive to China is actually making the Chinese models better. It’s like, you know, what Jensen Huang said this on a podcast. He

[10:19] was like, “Because we cut off GPU supply to China, they developed their own chips to run their own models.” So, like all these Chinese models run their own chips because, you know, how do you make diamonds? Pressure. Pressure creates diamonds. China is just in the pressure zone right now. So, they have to It’s like do or die for them. >> Right. And they’re they’re raising a billions of dollars, so it’s it’s it’s becoming even more crucial that they’re competitive. So, yeah, this is not looking This is very This is a very interesting situation. So, I guess let

[10:49] me summarize what we’ve talked about so far, and then I kind of want to move to more practical topics like tactically what do individuals do and what should businesses do as a result of this? But just to kind of summarize. So, we have this terrible bug that was exposed in PHP and some other technologies, and you know, people aren’t necessarily using PHP as much as they are using other services that have been using PHP for a very long time. So, it’s a very foundational layer of kind of the the infrastructure stack that we use for the

[11:20] internet, and it’s starting to feel flimsy and people are getting worried. And now, because AI models like Deep Seek 4.1 Flash is getting faster and cheaper, people are using it to look for vulnerabilities, and it’s creating this feedback loop whereby as they are using these vulnerabilities to steal API keys, then there are these sites which basically have like thousands of API keys, and then they just drain them all, and you’re you’re able to use these at a discount, which allows them to gather

[11:51] more data, China to gather more data from Frontier Labs, which then they can use to make their models better. So, we have this vicious loop, and obviously that sounds scary. That sounds scary, and so now let’s let’s think about like what we can actually do to prevent bad things to happen. So, I guess to start, can you just outline some of the bad things that could in theory happen to me or my business because of this. >> if you’re running a business and you use AI, which is probably most of you watching this, and you use API keys and you don’t have limits on it,

[12:22] theoretically, a hacker could get your API key and just spend it up. We’ve had that happen to Vibe Code and you you’ve seen that first hand, right? We’ve lost, I think, you know, luckily, we’ve never been hacked and no user data was lost, but like we burned like, you know, $100,000 um because of these exploiters who basically were able to find a bunch of free credits and then just like run up our API key bill, which is probably the biggest thing that can happen is is like they just want your API keys. That’s it.

[12:52] And it’s actually funny because Yeah, go ahead. >> No, no, I think Yeah, I mean, I think it’s easier said than done like at a personal level or if you run a smaller business, you can set API key limits. But obviously, if you’re a company that has thousands of users, that you could spend hundreds of thousands of dollars a month on API keys, it’s probably harder to set limits. So, I guess Yeah, like what what do you recommend doing in regards to like API keys getting drained? >> I I think the most [snorts] ironic thing

[13:23] is that we can’t even use the US models to protect us from this incident. So, like Open Code was getting hacked and they were getting their API keys stolen and they were trying to use GPT-6 Astra being like, “Hey, like someone’s hacking us. Can you look into what’s going on?” And GPT-6 Astra was like, “Cybersecurity wording, we’re not allowed to look into this because this might be considered malicious.” >> that’s interesting. Okay, so Oh, because because Okay, okay, this is really interesting. So, like I remember

[13:53] reading about this where like, you know, when Fable 5. Uh God, I’m just really struggling with Fable 5 came out. >> Yeah. >> Um they weren’t allowing anyone to do any cyber requests, right? That’s how they were famously rerouting you silently to like a worse Claude model, like Claude Opus 4.7 or whatever at the time. And so, cuz the way that you would get it to do nefarious things is trick it into saying that you’re like stress testing your infrastructure. >> Exactly. Yeah. >> Yeah, but and but but if something actually goes wrong, you can’t even get

[14:25] Claude models to do anything because they’re like, “Oh, no, they’re trying to to pawn us. They’re trying to like jailbreak the model to get us to do bad things.” And so now like yeah, what did what did open code have to do then? >> So they had to use the same open source models that were used to hack them. >> [laughter] >> That’s crazy. >> So the [clears throat] most ironic thing is we have to use DeepSeek 4.1 flash to prevent us from DeepSeek trying to hack us. >> Well, I mean maybe you could use like Kimmy K3 or maybe I don’t even know what the stronger the stronger models open models, but that’s that sounds really

[14:55] scary. And I guess like is is there some sort of program where OpenAI and Anthropic could go to like trustworthy companies to give them access to these like better models for these tasks or what? >> Yeah. Um yeah, OpenAI has a Daybreak Daybreak program. That’s what they call them. And then I think um Anthropic calls it like cyber uh protection program or something. They have like cyber protection programs where you can go apply and then they’ll like like allow your account to access

[15:27] models that It’s the same model, but like it has less uh guard guardrails. So for example, we applied to Anthropic’s program, but honestly, these programs are probably have a really long backlog right now. And we haven’t gotten access yet. And so it takes some time to like figure this out. So actually we’re having to use the open source models to prevent us. So it’s like, you know, we It’s like the US invented like guns and we’re fighting against people who have swords, but we’re not allowed to use the

[15:57] guns in battle cuz our leaders are like, “Hey, these guns are too powerful. We need to slow down the development of guns. We make use.” And so we’re stuck using swords to fight against swords even though what we we have we have guns. That’s kind of like that. >> yeah. >> But but but for somehow they’re stealing our guns and learning how to make better swords. >> [laughter] >> Somehow. Something like that. >> Yeah, sure, sure, sure, sure. >> But yeah, you can apply to them. I’m sure they’ll like figure out how to get more companies on onto these programs now that this has become a big issue. I

[16:28] think another big tip for businesses is to use like the one password service accounts, which basically have pointers towards API keys. So then you wouldn’t store an API key like openly in your server. You would just store store a pointer to it. And so then it’d be they it it doesn’t like prevent the hacks, but it makes it easy to like restrict them in the future essentially. Um so I recommend using one >> thing. Okay, and so it’s not just API keys that are at risk, right? Like the also your data, right? Your your your usernames and passwords and emails and

[17:00] other data has already been compromised and sold overseas I’m told already. I guess A, how do you know if you’ve been compromised if there is a way to know? And then B, like what should I do just as a user of the internet to make sure that my data is safe? >> Yeah, I think number one, go to haveibeenpwned.com. So uh you can go and put your email in [snorts] there and your password and you can see if it’s in any of these like dark web public data sets. The hackers usually, the ones who hack you, don’t really care about your data. They just

[17:32] sell them to other people who then do things with that data. Um but if you go to haveibeenpwned.com, you can put in your emails and your passwords and you can see >> And is it secure? Like is it secure? >> It’s been around for like 20 years. Like it’s I think created by like some pretty um great security engineers. So I I do recommend it. You can put like the official link. But yeah, it’s it’s been around for a while. And I’ve I’ve used it many times and I’ve seen, you know, when I’ve been pwned and that kind of stuff. And I think one password actually like sponsors it. So it’s

[18:03] >> Okay, so it’s a legit thing. It’s it’s >> It’s a legit site. >> It’s haveibeenpwned.com. You you might understand why I would think it’s not insecure, you know, it’s a funny name. Um >> Yeah, yeah. >> Okay, so you can go to this and obviously if you’ve been pwned then you should probably um reset your um passwords and such. Um another thing, I got my Twitter hacked I think 6 months ago. I think you remember that. And that was because I had a authorized apps that should not have been authorized. So this is another thing on Twitter, highly recommend looking into

[18:34] it, especially if if you ever click links in an email, like you may have and and somehow they got you to like authorize your Twitter account, you may have someone who just has access at any time to make changes to your account. So the first thing you need to do is like go to authorized accounts on Twitter, Instagram, things like that, so no one has access to your Twitter. I saw a guy, and he’s like an artist who got hacked yesterday. Um but regardless, you should look at that. And then also, you should make sure that you have like two-factor authentication on. Like, do you have any recommendations on how to do that? Or

[19:06] like what best like should you use the like Google Authenticator app or whatever? >> I I recommend using one password, I think. If you have your passwords in there or and your two-factor codes, that’s great. If you use iPhones and Apple devices, you can also use Apple passwords. I think that’s also awesome. But yeah, you should ideally sign in to any services using your Google and Apple account as well, cuz they have the best security. So like even if somehow someone gets your password, and then they figure out your two-factor authentication, but it’s coming from like China, like they’re going to shut

[19:37] down your account, restrict it. Like they they know the consumer patterns, and they have like these really big machine learning models basically running 24/7 trying to figure out, “Hey, is like any of these accounts vulnerable? Is like do I see any like odd behavior?” And they’re like instantly shut your account down and reach out to you. Sometimes even for like ID verification, which is not ideal, but like, you know, at this point, would you rather lose your data or have Google have a little bit more information about you? I mean, they have everything already, so I think I’d

[20:08] rather trust Google than like any random app developer. Like think about it, right? Like if you go log into an account that’s like a new app, and it’s been like you put in a username and password, and it’s the one you always use. Like if that gets leaked, then they can log into any other sites that also share that same password. But if you just log in with Google, now you’re trusting Google for that authentication for the password, and Google’s probably not going to get hacked. So, I recommend signing in with Google and Apple. Um also, other than two-factor authentication, use like passkeys.

[20:39] Passkeys are even more secure than two-factor authentication cuz you need either a physical device to like authenticate yourself, like Touch ID or Face ID, which is even better than than just um an authentication code. And then you can actually use agents to like go scour the internet. So, like if you have Grokbot or ChatGPT dots, you just be like, “Hey, these are my emails. Go to like see if I’ve been pwned, and go to like websites that I haven’t used in like 6 months, and like delete all of them.” And it’ll just log into all these websites and like delete all your data,

[21:09] which has like never been possible before. I think that’s like one tip that I would really recommend doing. If you haven’t used these tools, I think that’s a perfect use case. >> Use agents to find these things and delete accounts that you don’t use. I think that makes sense. Um very interesting. Okay, so I want to talk about building apps. So, obviously, you have a lot of non-technical people now building apps, whether that’s mobile apps, web apps, internal tools for your company. I guess what do you think the future of this is? Like what are the precautions people need to take when

[21:40] building apps to like avoid these vulnerabilities, or is this not that big of an issue because most people aren’t building apps in PHP? Talk to me a little bit about that. >> Yeah, I think the new model they’re probably better at security than most humans, right? So, they’re using newer technologies, they’re not using PHP. They know what to do to protect you against it. Just, you know, don’t I think a lot of people who’ve been pwned, um I see them using Superbase and then like overriding their security rules, which is a very common thing for app developers to do. I just I just say that

[22:12] like, you know, just prompt your AI, be like, “Hey, make my app secure,” and it’s probably going to do a better job than any like human could do. Like they’re better at us coding. So, and then another thing I recommend is having an always-on agent like Dart or Rockbot or whatever you like, even Cloud Code that’s just running in a loop. And it just checks all your billing infrastructure cuz that’s the main exploit. Like these people, like they’ve hacked like open code and they don’t care about your user data. They just care about the API keys. So that cuz

[22:43] that directly translates into cash. If they just get your like username and password, now they have to go find which other accounts like are you using the same user like it’s a lot more work versus like an API key is like equivalent to cash. It’s basically the most liquid form of hackable item that exists. It’s like the the most liquid thing. So, you know, have a always-on agent that like looks at all your transactions and looks at all your data and like looks at all your logging and like just every 30 minutes we is like,

[23:13] is anything bad? If something’s bad, fix it and send me a message. That’s it. We do that and it’s it’s prevented us from like at least three of these issues and like $30,000 in losses at the minimum. And it pays itself back. Like just $200 cloud subscription and you’re good to go, you know? >> Yeah, yeah. Yeah, and this isn’t a new thing, right? Like people have been dealing with hacks all year. I mean for the last like 6 to 12 months. They’re just it’s getting more accessible. And I think Yeah, I guess that brings me to something I was thinking about yesterday. I tweeted, what do you think

[23:43] the last frontier model released to the public will be? And I was thinking about that and I got actually got really sad because I guess AI for me has always been a thing where you could exist at the frontier just being a citizen, right? You could just Chat GPT was the best model that that came out. I was using the best model when Claude 3.5 came out. You know, the individuals were actually ahead of the government. They were ahead of companies because they were first to adopt and it was the best model on the market. You know, and then I think Fable

[24:13] was kind of the first time where I felt like, oh wow, this is like the frontier is going to be hidden behind closed doors. And now I just I can’t help but get that feeling that that’s only going to get worse as especially with the distillations, you know, putting these models out in the world makes these models that can do hacking much better. It seems to me that the models may be behind some closed door thing, and that’s kind of sad to me. What do you think about that? Like, do you think we may be at the end of like the publicly

[24:43] accessible frontier, at least in the near term? >> I mean I mean I hope not. I feel like that would just make this like process worse. Because if we reach that point, it means that the models have gotten so good where um you know, the moment and it’s just a matter of time till they distill like these restricted models, right? And the moment they do that, what what then? You know, then it’s like like I like open code didn’t have had to use open source models to protect themselves.

[25:13] Like, we need to equip um our country and like our developers with the better models, I feel like. And if it’s restricted, then only some companies will get access to it. So, I’m like scared. I I think it’s like you know, you’re racing against the clock, but then you’re trying to add these restrictions. I have a hot take here. I really think that the US model companies should really work with the Chinese model companies, and like teach them how to build uh safeguards and guardrails into their models. So, even if you know, these Chinese model

[25:45] companies get better, and they will, it’s just a matter of time. They are already good enough for these exploits, but they will get better. But, if they know how to do the guardrails as good as the US model companies, then maybe these hacks will go down because the hackers won’t be able to use the Chinese models to do their dirty work. So, I I think there should be more collaboration across the two major AI powers, which is contrary to what I feel like most people are advising. It’s like oh, we got to >> said than done now. You know what I

[26:16] mean? Like cuz not only do you need to coordinate with what some people consider an adversary, you also need to compete at the same time with companies inside your own country. And you don’t want to give away your best secrets because, you know, these are private companies at the end of the day. And then China could always defect, too. Like they could take the knowledge from them and then remove the guardrails later because it sounds like they’re literally benefiting from there not being guardrails, at least right now. And so maybe there’s some sort of law passed that requires any open models

[26:49] that are used to have some sort of certification that there are guardrails on. I don’t know how this is going to work. But um yeah, it’s easier said than done. >> Yeah. No, for sure. I mean, you’re you’re right. Like that’s the risk, right? But um yeah, I’m in the I’m in the camp of So, what do you think? You think we should just restrict China from using all these models and like >> No. No, I I I have no answer. I have no answer. I I I was just saying it’s easier said than done. I I think just because it’s hard doesn’t mean you shouldn’t do it. >> If If you were Dario, what would you do

[27:19] right now? >> Dude, I can’t be Dario. Dario thinks [laughter] He thinks that the the He thinks in such a different way than most CEOs. He He thinks in essays. Um and I don’t think like that. I I don’t know. I To me, you know, I maybe I just think simply. Like I’m just scared that I won’t get access to Fable 5.5 or that it’ll never be released. I just want a better model. I just I just want to use the best models and make cool stuff, man. Yeah, this is interesting. This is an interesting situation. Okay, so we have covered the

[27:51] bugs. We have covered the attacks. We’ve covered the fact that it’s cheaper and faster and anyone can kind of participate on it. Are we missing anything? >> No, I think that’s pretty much it. You know, we’ve covered like what you should do as a company and a business and is also like as an individual. And I think it’s like very easy steps that you can take. Like you can do today. Like we did this at my company and it took like a day. And I’m sure you’ve done it as well and it’s like it doesn’t take that long to like protect against these things. But like I used to

[28:21] be the person who’s like, “Oh yeah, I’m never going to get hacked. I’m a tech guy.” But now I’m like my mentality is completely shifted. It’s like it’s no longer about like just knowing like a little bit. You got to have your agents protecting you 24/7. So, like as long as I’m sleeping at night and I got this agent running, you know, making sure everything’s okay, that’s like my my safety net, which is interesting. It’s like before we didn’t need that. Now we need these like always-on agents as the only way is like it’s like sort of the last line of

[28:52] defense now. >> Right. I think this is a good emergency podcast. Yeah, where can people find you? >> Yeah, um I just started making YouTube videos. You can search my full name Ansh Nanda on YouTube. Um feel free to subscribe to me. Um and hopefully me and Raleigh can do this again, but yeah, we >> We’ll do a positive topic next time. We’ll talk about fun tech. Maybe we’ll do like a review on Opus or Fable 5.5 when it gets released in 2028 after they implement guardrails. [laughter] All right. Uh thanks for for coming on.

[29:23] I hope you guys gathered a lot of useful info from this. Just do the things. Make sure you’re secure. It’s getting scary out there, and don’t search for vulnerabilities and hack people’s API keys. All right. See you guys.