Por que sistemas de recomendação com LLM serão o maior aplicativo de consumo da IA — Devansh Tandon, Meta

Autoria: AI Engineer · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Why LLM Recommenders Will Be AI’s Biggest Consumer App — Devansh Tandon, Meta · Canal: AI Engineer · 17:23 · Assistir no YouTube

Tópicos: Agentes de IA, Aplicações empresariais de IA, Inferência e otimização de modelos, Modelos de IA

Resumo

Devansh Tandon argumenta que sistemas de recomendação escalam de forma semelhante aos LLMs e que ainda estão no início dessa trajetória. Ele descreve quatro paradigmas de recomendação, dos sistemas tradicionais aos sistemas agentic, e apresenta uma receita para construir recomendadores com LLMs usando semantic IDs e treinamento em etapas. Modelos que entendem tanto linguagem natural quanto recomendações podem tornar os feeds mais explicáveis, interativos e controláveis pelos usuários. Por fim, ele afirma que recomendadores são uma aplicação de IA para consumidores com grande alcance e, estruturalmente, mais eficiência de tokens do que aplicativos de chat com IA.

Pontos-chave

Sistemas de recomendação seguem curvas de escala: aumentar dados, compute e tamanho do modelo pode melhorar a qualidade das recomendações e gerar impacto em engajamento e receita.
O ciclo de treinamento, inference, engajamento e monetização financia novas rodadas de treinamento.
A indústria avança por quatro paradigmas: sistemas tradicionais, modelos inspirados em LLMs, modelos nativos de LLM e sistemas agentic.
A receita proposta para um recomendador com LLM tem três etapas: tokenizar o conteúdo, adaptar o LLM para entender a linguagem do domínio e gerar recomendações a partir de informações do usuário.
Semantic IDs podem oferecer representações mais estáveis e compactas do conteúdo do que hash IDs, permitindo lidar com históricos longos de interação.
Ao combinar linguagem natural com semantic IDs, o modelo pode aprender a associar descrições a conteúdos e a prever sequências de interação.
Recomendadores interativos podem permitir que usuários expressem interesses em linguagem natural, ajustem seus feeds e entendam por que certos conteúdos foram recomendados.
Feeds de conteúdo podem usar menos compute de inference do que chats com IA porque geram ponteiros para conteúdo existente, em vez de produzir cada token do conteúdo.
O palestrante vê recomendadores como uma das aplicações de IA para consumidores mais relevantes, com potencial para transformar feeds e anúncios.

Capítulos

Início	Capítulo	Resumo
00:01	Escala dos sistemas de recomendação	Tandon apresenta a tese de que sistemas de recomendação seguem curvas de escala semelhantes às dos LLMs e relaciona essa escala a resultados de produto.
02:09	Curvas de escala e ciclo de engajamento	A palestra explica como dados, compute e tamanho do modelo afetam a qualidade das recomendações e como engajamento e monetização alimentam novos treinamentos.
05:18	Quatro paradigmas de recomendação	O palestrante descreve a evolução de modelos tradicionais para modelos inspirados em LLMs, nativos de LLM e sistemas agentic.
07:55	Como construir um recomendador com LLM	Tandon apresenta as etapas de tokenização do conteúdo, adaptação do modelo e geração de recomendações, além da estrutura de treinamento em camadas.
10:32	Treinamento, explicações e controle do feed	O modelo aprende a relacionar semantic IDs e linguagem natural, reordenar conteúdos e explicar recomendações que os usuários podem ajustar.
12:06	Recomendações interativas e novos produtos	Exemplos de feeds controláveis e experiências de diferentes plataformas ilustram como usuários podem expressar interesses em linguagem natural.
14:13	Eficiência de tokens e impacto para consumidores	Tandon compara o custo de inference de feeds e chats com IA e conclui que recomendadores podem ser uma aplicação de consumo ampla e eficiente.

Citações

O recomendador com LLM será um dos maiores aplicativos de consumo da IA. — 00:33

Cada etapa da curva de escala é uma volta nesse ciclo. — 04:46

Vamos sair de recomendações opacas para dar aos usuários mais controle sobre o algoritmo. — 12:38

Os feeds decodificam ponteiros para conteúdo, em vez do próprio conteúdo. — 15:49

É uma aplicação de IA muito grande e eficiente em tokens para aplicativos de consumo. — 16:50

Conceitos e entidades

Devansh Tandon (pessoa): Pesquisador e líder de equipe na Meta que apresenta a palestra sobre sistemas de recomendação com LLMs.
Meta (empresa): Empresa onde Devansh Tandon trabalha com pesquisa e produtos de recomendação.
HSTU (modelo): Trabalho de 2024 citado como exemplo de modelos de recomendação inspirados em LLMs.
OneRec (modelo): Trabalho citado como exemplo do paradigma de recomendação inspirado em LLMs.
TIGER (modelo): Trabalho citado como exemplo de modelos nativos de LLM adaptados a tarefas de recomendação.
PLUM (modelo): Trabalho citado como exemplo do paradigma de recomendação nativo de LLM.
semantic IDs (conceito): Tokens que representam conteúdo de forma compacta e estruturada para que modelos possam aprender relações semânticas.
generative retrieval (conceito): Abordagem de recuperação generativa mencionada como uma das ideias que passaram da pesquisa para sistemas de produção.
Instagram (empresa): Aplicativo cujos Reels e recomendações são usados como exemplos de impacto de escala e de controle do feed.
Spotify (empresa): Serviço citado como exemplo de playlists personalizadas por meio de prompts.
YouTube (empresa): Plataforma citada por seus sistemas de recomendação e pela possibilidade de feeds personalizados.
DoorDash (empresa): Empresa citada como exemplo de experiências de recomendação com interação por linguagem natural.
Your Algorithm (ferramenta): Experiência do Instagram apresentada como forma de consultar e ajustar interesses do algoritmo em linguagem natural.

Tradução completa (pt-BR)

00:01 [música] Boas-vindas a todos. Obrigado por virem à trilha LM Rexus. Vou apresentar a primeira palestra. O título da minha palestra é “Tokens de entrada e engajamento de saída: treinando sistemas de recomendação com LLMs”. E hoje quero defender duas ideias principais. A primeira é que os sistemas de recomendação escalam assim como os LLMs e que o campo ainda está no início dessa curva de escala.

00:33 E a segunda é que o sistema de recomendação com LLM será uma das maiores aplicações de IA para o consumidor. Certo. Falando rapidamente sobre mim: atualmente trabalho na Meta com pesquisa e produto. Lidero uma equipe chamada Meta Recommendations Research, que treina modelos de fronteira, LLMs e sistemas de recomendação que alimentam o Instagram, os anúncios do Facebook e a família de aplicativos da Meta.

01:05 Antes disso, trabalhei por muito tempo no Google, em várias equipes importantes de ML, incluindo DeepMind e YouTube. No ano passado, dei uma palestra na AI Engineer chamada “Ensinando o Gemini a falar YouTube”, sobre duas ideias: IDs semânticos e recuperação generativa. Também escrevemos dois artigos sobre elas, que estão vinculados aqui. Foi muito divertido e levou a muitas discussões e colaborações. As ideias por trás dos IDs semânticos e da recuperação generativa realmente ganharam força no setor ao longo do último ano.

01:36 E passaram da pesquisa para sistemas de produção em escala. Vi lançamentos e artigos empolgantes do YouTube, da Meta, do Spotify e da DoorDash, em todo o setor. E temos alguns exemplos disso mais adiante hoje. Neste ano, quero abordar quatro seções: curvas de escala de sistemas de recomendação; uma estrutura com quatro curvas de paradigma de recomendação que estamos escalando como setor; compartilhar a receita do sistema de recomendação; e, por fim, essa estrutura de aplicativo de IA para o consumidor.

02:09 Vamos começar pelas curvas de escala. Queria começar com este artigo marcante sobre curvas de escala, de 2020, que parece ter sido há uma vida inteira. Foi quando Dario ainda estava na OpenAI e a Anthropic nem existia. Mas a ideia central apresentada no artigo é a lei de potência da escala. À medida que aumentamos o tamanho do modelo, os dados e a quantidade de computação — as operações de ponto flutuante usadas no treinamento do modelo —, a perda

02:40 cai nessa escala log-linear. Essa curva clara e previsível foi o que realmente deu início à corrida pela fronteira da IA, porque é possível prever como serão as melhorias na qualidade e nas capacidades dos modelos. E é isso que sustenta os enormes investimentos de capital e a expansão da infraestrutura de IA hoje. Acontece que os sistemas de recomendação seguem uma lei de escala muito semelhante. Na verdade, antes desta onda de LLMs, os sistemas de recomendação eram os maiores modelos de ML em produção nas grandes empresas de tecnologia. E ainda são

03:11 alguns dos maiores modelos servidos em escala para mais de um bilhão de usuários ativos diariamente. E seguem uma curva de escala de lei de potência semelhante. No eixo x, temos dados, computação e tamanho do modelo. No eixo y, vemos a queda da perda ou, neste gráfico, a melhora na qualidade das recomendações. Nas evals offline, isso aparece como ganhos de entropia negativa ou de AU; depois, quando é traduzido em um lançamento real em produção, aparece como impacto no engajamento e na receita em alguns dos maiores aplicativos para consumidores.

03:43 Aqui está um exemplo real da Meta que demonstra essas curvas de escala de lei de potência. Há um artigo: o primeiro é o artigo HSTU, de 2024; o segundo é um trabalho de acompanhamento deste ano. Ambos demonstram que, à medida que escalamos o tamanho do modelo, a computação e os dados, vemos essa clara melhora nas evals offline da qualidade das recomendações. As curvas de escala não são apenas pesquisa acadêmica: elas geram impacto real em produtos, em escala,

04:15 para alguns dos maiores negócios voltados ao consumidor do mundo. Aqui estão alguns exemplos dos relatórios de resultados recentes da Meta. O Reels do Instagram teve um trimestre forte, com 30% de aumento ano a ano no tempo de visualização. E as otimizações que fizemos para melhorar a qualidade das recomendações incluíram simplificar nossa arquitetura de ranking para permitir o escalonamento eficiente dos modelos e usar históricos de interação mais longos para identificar os interesses de cada pessoa. Dobramos o tamanho das sequências de interação dos usuários

04:46 usadas para treinar o Instagram e aumentamos a riqueza de cada interação do usuário. Essas são relações diretas com as curvas de escala de lei de potência dos LLMs. E quero apresentar a ideia de um ciclo virtuoso de tokens de entrada e engajamento de saída, que é o que impulsiona todo esse escalonamento dos modelos de sistemas de recomendação. Você treina um modelo. Depois, executa inference nele; são os tokens de entrada nesse modelo de recomendação que resultam em recomendações de conteúdo melhores. Isso impulsiona o engajamento dos consumidores,

05:18 os usuários ativos diariamente e o tempo gasto. Isso se traduz em monetização por anúncios ou assinaturas, que financia a próxima rodada de treinamento do modelo. Assim, cada etapa da curva de escala corresponde a uma volta nesse ciclo virtuoso. Muitos aplicativos para consumidores estão fazendo esse ciclo central, que está no coração dos negócios deles, girar. Portanto, ainda há muito espaço para escalar esses sistemas de recomendação. Quero falar sobre os quatro paradigmas pelos quais vejo o setor avançando. A primeira curva é a dos sistemas de recomendação mais tradicionais, em que

05:50 o foco está mais na engenharia de atributos e nos embeddings de usuários e conteúdo. A maioria dos sistemas em produção ainda está nessa curva. Eles executam algum tipo de modelo de ranking esparso de duas torres e escalam os modelos de embedding. Não acho que essa curva vá desaparecer, mas o desenvolvimento de modelos aqui será acelerado por auto research, e coisas como a engenharia de atributos ficarão a cargo de agents, em vez de engenheiros de ML de verdade. A próxima curva envolve modelos inspirados em LLMs, nos quais se escala o modelo de ponta a ponta, idealmente.

06:22 Os artigos HSTU e OneRec são exemplos desse paradigma. Acho que é nele que os principais sistemas de recomendação do setor operam, em grande parte, hoje. Acredito que a próxima curva será o paradigma nativo de LLM, em que se adapta um modelo-base que entende e consegue raciocinar, adaptando-o para tarefas de recomendação. Os artigos TIGER e PLUM são alguns exemplos desse paradigma. E acho que o paradigma final que começo a ver surgir é o agentic,

06:54 em que os LLMs começarão a orquestrar sistemas de recomendação em um ciclo. Vejo um paralelo com os agents de programação. Os modelos nativos de LLM são como melhorar as capacidades centrais do modelo, passando de Opus 4.5 para 4.8; já a curva agentic seria como melhorar o harness de programação por trás do Claude Code ou do Codex. Em vez de apenas fazer uma única passagem para a frente pelo sistema de recomendação, dá para imaginar um ciclo em que os agents planejam, recuperam, classificam e depois avaliam criticamente as

07:25 recomendações. Eles podem refiná-las chamando os modelos novamente e, por fim, entregar as recomendações. Acho que essa é uma área de pesquisa interessante. Agora, deixa eu passar para… aqui está a estrutura com os quatro paradigmas dos sistemas de recomendação. Acho que as empresas estão escalando em cada uma dessas curvas em paralelo. Acredito que hoje a maior parte dos sistemas de recomendação está no paradigma inspirado em LLMs e tentando avançar para o paradigma nativo de LLM. Mas

07:55 muitas empresas ainda usam modelos tradicionais e estão subindo essa curva. Vou mudar um pouco de assunto para compartilhar a receita de como realmente construir um sistema de recomendação com LLM. Acho que é bem simples. São três etapas. Primeiro, você tokeniza o conteúdo e cria uma linguagem para o seu domínio. Depois, adapta o LLM para que ele entenda tanto inglês quanto a linguagem do seu domínio e se torne esse

08:25 modelo bilíngue. Por fim, você pode usar um prompt com informações do usuário, e o modelo decodificará diretamente recomendações do seu corpus de conteúdo. Vamos nos aprofundar um pouco. Este é o sistema de recomendação com LLM em forma de bolo de cinco camadas. Vamos começar pela base. É o ID semântico, que converte seu corpus de conteúdo em tokens que o LLM consegue entender e sobre os quais consegue raciocinar. Depois, temos o modelo-base, o modelo de fundação do LLM. Pode ser um modelo de pesos abertos

08:56 ou um modelo interno de primeira parte. Depois vêm as etapas centrais de treinamento. O pré-treinamento serve para conectar o inglês a esses tokens de recomendação. O pós-treinamento serve para direcionar o modelo a tarefas de recomendação, como prever engajamento ou raciocinar sobre recomendações. Por fim, você pode fazer um fine-tuning leve e específico para cada superfície, para implantá-lo em um produto. O mais empolgante nesse paradigma é que a maior parte da computação é compartilhada entre todas

09:28 as superfícies de produto. Assim, não é preciso treinar modelos individuais do zero para cada superfície de produto. Vou me aprofundar em cada etapa. No caso dos IDs semânticos, acho que eles tiveram uma adoção incrível. Muitas equipes estão simplesmente substituindo o ID hash pelo SID em modelos tradicionais e observando bons resultados. Acho que há duas grandes razões para tokenizar o conteúdo. A primeira é que isso oferece uma representação estável para os modelos aprenderem, em vez de um hash que muda constantemente e que o modelo só consegue memorizar. E

10:01 O segundo é a compressão. Você quer raciocinar sobre essas longas sequências de interações dos usuários. E, se não comprimir o conteúdo, por exemplo, um vídeo de três minutos do Instagram Reels teria 10.000 tokens e preencheria a context window muito rapidamente. Então, é preciso comprimi-lo em cerca de 10 tokens. Aqui tenho alguns exemplos de Reels do Instagram sobre tênis. Você pode ver que o token semântico compartilha o prefixo dos três primeiros tokens, porque são Reels muito parecidos. Dá para imaginar que o primeiro

10:32 token representa esportes, e os dois tokens seguintes representam tênis; então, o token final diferencia esses vídeos. Depois que você tem um ID semântico, pode treiná-lo para entender tanto inglês quanto IDs semânticos. A tarefa à esquerda, de pré-treinamento, é um exemplo em que você dá como prompt um vídeo com o ID semântico ABC e a descrição em branco, e a saída é uma jogada que se tornou icônica instantaneamente em Wimbledon. Aqui

11:03 você ensina o modelo a conectar esses tokens semânticos a textos sintéticos em inglês e em linguagem natural. O exemplo à direita trata de raciocinar sobre sequências de IDs semânticos. No histórico de interações de um usuário, você pode mascarar algumas partes da sequência, e o modelo aprende a prevê-las e a entender quais vídeos são assistidos juntos, em sequência. Aqui tenho um exemplo de pós-treinamento em que ensinamos o modelo a reordenar conteúdo. A entrada é um conjunto

11:33 de informações do usuário e 30 vídeos candidatos, que são então classificados para selecionar as cinco principais recomendações desse ranqueador baseado em LLM. O que é realmente interessante aqui é que você pode ver o raciocínio em cadeia de pensamento desse modelo. E, como ele conhece tanto inglês quanto recomendações, basta inspecionar o modelo para entender por que tomou as decisões que tomou. Neste exemplo, o modelo entende os interesses do usuário, como comédia, comida, faça você mesmo e bem-estar. Ele entende o

12:06 estilo de engajamento e quais criadores despertam afinidade nesse usuário. Depois, reordena o conteúdo com base nesse raciocínio em cadeia de pensamento. Acho isso muito empolgante porque, quando você tem um modelo que entende tanto inglês quanto recomendações, isso abre espaço para novas interfaces de produto e novas experiências em que os usuários podem direcionar o feed. Aqui está um exemplo do Seu algoritmo no Instagram, em que os usuários podem conversar com o algoritmo enquanto

12:38 consomem conteúdo. Esta é uma captura de tela de alguém navegando pelos Reels. Ao tocar nela, você pode entender o que o algoritmo do Instagram pensa sobre você e seus interesses; então, pode adicionar ou remover interesses e conversar com ele em linguagem natural. Acho que vamos ver essa mudança: sair de algoritmos de recomendação de caixa-preta para dar aos usuários mais controle sobre seus algoritmos, que se tornarão mais interativos e ajustáveis. Fico muito empolgado com a possibilidade de os usuários direcionarem

13:09 o algoritmo para os próprios objetivos, expressos em linguagem, em vez de apenas por curtidas ou comentários. E acho que esse modelo de base também pode começar a explicar suas recomendações. Neste exemplo, adicionei o interesse de acompanhar a Copa do Mundo da FIFA neste momento. O modelo receberia tanto meu histórico de usuário quanto essa nova informação e, então, conseguiria gerar recomendações personalizadas para mim, como esse lance de falta que Messi converteu recentemente.

13:40 Acho que esses sistemas de recomendação interativos vão criar uma nova interface de produto muito interessante, e estamos vendo isso em todo o setor. Temos alguns exemplos de playlists criadas com prompts no Spotify, feeds personalizados no YouTube e o Ask DoorDash; vamos ouvir mais sobre eles nas falas dos outros palestrantes. Por fim, quero falar sobre a estrutura desse ciclo virtuoso de tokens de entrada e engajamento de saída que mencionei no início:

14:13 treinamento do modelo, inference, engajamento do consumidor e, depois, monetização. Na verdade, esse é o mesmo ciclo virtuoso compartilhado pelos feeds de conteúdo e pelos aplicativos de chat com IA. E essa é uma perspectiva que você pode usar para avaliar qualquer aplicativo de consumo. O que torna um aplicativo bem-sucedido em termos de retorno sobre o investimento em treinamento é o quanto ele consegue transformar computação em um modelo de ponta. Em termos de inference, é o quanto os tokens de inference conseguem se traduzir em engajamento e, depois, em monetização.

14:46 E, se tentarmos comparar feeds de conteúdo com aplicativos de chat com IA, acho que os sistemas de recomendação baseados em LLM são, estruturalmente, mais eficientes em tokens do que os chats com IA. À esquerda, estão os feeds de conteúdo, como Instagram, Facebook, TikTok e YouTube. À direita, estão os grandes aplicativos de chat com IA, como Gemini, ChatGPT e Claude. Atualmente, os feeds de conteúdo usam modelos com cerca de 1 a 10 bilhões de parâmetros ativos. Os aplicativos de chat usam modelos muito maiores, com 10 a 100 bilhões de

15:16 parâmetros ativos. A saída do feed de conteúdo é um token de ID semântico, que funciona como um ponteiro ou endereço para conteúdo já existente, porque o conteúdo desses feeds é enviado por criadores. Existe uma economia de criadores muito saudável e, assim, a oferta de conteúdo é, na prática, gratuita: ele é enviado pelos criadores. Já os aplicativos de chat com IA precisam decodificar cada token de conteúdo por conta própria, e o número de tokens gerados em cada turno de

15:49 uma interação de chat com LLM é de alguns milhares. A grande diferença é que cada token precisa ser produzido pelo aplicativo no momento da inference. Isso significa que, se compararmos esses dois tipos de aplicativo pela quantidade de custo de inference e computação gastos para gerar uma hora de engajamento do consumidor, há uma enorme diferença estrutural: os feeds de conteúdo são significativamente mais baratos, até 100 vezes ou mais, do que os aplicativos de chat com IA, porque decodificam

16:20 ponteiros para conteúdo, e não o conteúdo em si. Por fim, quero concluir falando sobre por que acho que os sistemas de recomendação baseados em LLM são uma das aplicações mais importantes de IA para o consumidor. Se olharmos para os principais aplicativos por usuários ativos diários, estes são os 10 principais. Quatro deles são feeds de conteúdo. Portanto, essa é uma aplicação de consumo realmente significativa. Se olharmos para os feeds de conteúdo, quase todo o

16:50 crescimento dos aplicativos de consumo, tanto em engajamento quanto em monetização, é impulsionado pelos sistemas de recomendação e pelos modelos de anúncios. E os sistemas de recomendação baseados em LLM vão transformá-los por completo. É uma aplicação de IA muito grande e muito eficiente em tokens para aplicativos de consumo. Vamos ver muitas novas experiências de produto surgirem com recomendações ajustáveis e interativas, explicações das recomendações e, simplesmente, mais controle dos usuários sobre sua experiência nesses aplicativos. Acho que vamos ver

17:23 pesquisas realmente empolgantes sobre agents de consumo e agents de recomendação surgirem no próximo ano ou mais. É por isso que acho que esta é uma área muito empolgante tanto para pesquisa quanto para produtos, na interseção entre LLMs e sistemas de recomendação. É isso. Muito obrigado.

Transcrição original

[00:01] [music] Welcome everyone. Thank you for coming out to the LM Rexus track. Um I’ll be sharing the first talk. Uh my talk is titled tokens and engagement out training LM recommenders. Um, and I want to make two big arguments today. The first is that recommendation systems

[00:33] scale just like LMS do and that the field is very early in that scaling curve. Um, and the second is that the LM recommener is going to be one of the biggest consumer applications of AI. Um, okay. So, quickly about me. Uh, I currently work at Meta on research and product. Uh I lead a team called Meta Recommendations Research uh which is this group that’s training frontier models, LLMs and recommenders that power Instagram, Facebook ads, the meta family

[01:05] of apps. Uh before this I was at Google for a long time uh working on a lot of the key ML teams including deep mind and YouTube. Last year I gave a talk at AI engineer called teaching Gemini to speak YouTube about two ideas semantic IDs and generative retrieval which we also wrote two papers about which I’ve linked here. Um it was really fun and it led to a lot of discussions and collaborations. Uh the ideas behind semantic ID and generative retrieval have really taken

[01:36] off in the industry over the last year. Um and they’ve moved from more research to now scaled production systems. And I’ve seen exciting launches and papers from YouTube, Meta, Spotify, Door Dash across the industry. And we have a couple of examples of that later today. This year I want to talk about four uh sections. Recommendation scaling curves, a framework of four, recommendation paradigm scurves that we are climbing as an industry. um sharing the recommener

[02:09] recipe and finally this consumer AI app framework. Um let’s start with scaling curves. So I wanted to start with this landmark scaling curve paper from 2020 which feels like a lifetime ago. This is when Daario was still at OpenAI and Anthropic didn’t exist yet. But the core idea that this paper shared is the power law of scaling. As you increase model size, data, the amount of compute flops trained uh for model training, the loss

[02:40] falls on this log linear scale. And this clean and predictable curve is what really set off the race for the AI frontier because you can forecast what model quality and capability improvements will look like. And this is what’s underwriting the massive capex investments and the AI buildout today. It turns out that recommendation systems follow a very similar scaling law. In fact, before this wave of LLMs, Rexs were the largest production ML models in big tech companies. And they’re still

[03:11] some of the largest models that are served at a scale of a billion plus daily active users. And they follow this similar power loss scaling curve. On the x-axis, you have data, compute, and model size. And on the Y ais you would see falling loss or in this chart uh an improvement in recommendation quality. In offline evals it’s net entropy or AU gains and then when it’s translated to a real production launch it’s engagement impact revenue impact at some of the biggest

[03:43] consumer app scale. Here’s a real example from Meta that demonstrates these power loss scaling curves. uh there’s a paper the first is a paper HSTU from 2024 and the second is a followup from this year both demonstrate that as we scale model size compute and data we see this clear improvement in offline eval of recommendation quality scaling curves aren’t just academic research they’re driving real product

[04:15] impact at scale for some of the biggest consumer businesses in the world here’s a couple of examples I have from Meta’s recent earnings reports. Um, Instagram reels had a strong quarter, 30% year-on-year watch time. And, uh, the optimizations we made to improve the quality of recommendations included simplifying our ranking architecture to enable efficient model scaling and longer interaction histories to identify a person’s interests. uh we doubled the length of user

[04:46] interaction sequences used for training Instagram and increased the richness of each user interaction. So these are direct parallels to the power loss scaling curves for LLMs. And I want to introduce this idea of a flywheel of tokens in engagement out which is what’s powering all of these Rex model scaling. You train a model. You then run inference on it which is the tokens in that recommendation model results in better content recommendations. It drives consumer

[05:18] engagement, daily active users time spent. It translates to monetization and ads or subscription which pays for the next model training run. And so every step on the scaling curve is one loop around this flywheel. And a lot of consumer apps are spinning this core flywheel at the heart of their business. So we have a long way to scale these recommener systems. I want to talk about the four paradigms that I see the industry progressing through. The first scurve was more traditional Rexus where

[05:50] this scurve focused more on feature engineering and user and content embeddings. Most production systems are still sitting on this curve. they’re running some type of two tower sparse network rankers scaling the embedding models. I don’t think this curve is going to go away but model development here will be accelerated with auto research and things like feature engineering will be handled by agents uh rather than real ML engineers. The next curve is kind of LM inspired models where you are scaling models ideally end

[06:22] to end. HSTU and one wreck papers are examples in this paradigm. I think this is where the leading recommener systems in the industry are largely operating today. I think the next scurve will be this paradigm of LLM native where you adapt a base model that understands and can reason uh and adapt it for recommendation tasks. The tiger and plum papers are some examples of this paradigm. And I think the final paradigm that I start to see emerging is agentic

[06:54] where LLMs will start to orchestrate Rex systems in a loop. I think there’s a parallel here with coding agents. So the LM native models are like improving the core capabilities of the model going from opus 45 to 48 versus the agentic curve will be like improving the coding harness behind claw code or codeex. Um and so instead of just having a single forward pass through the recommener, you can imagine a loop where agents plan, retrieve, rank and then critique the

[07:25] recommendations. They can refine them by calling models again and finally deliver the recommendations. This I think is an interesting area of research. Now let me jump into so here here’s kind of the framework of all the four Rex paradigms. I think companies are scaling across each of these curves in parallel. Most of recommendations I think lives in LM inspired today and is trying to graduate into LM native. Uh but then a

[07:55] lot of companies are still using traditional models uh and climbing that scurve. Let me shift gears a bit to share the recipe of how to actually build a LLM recommener. I think it’s pretty simple. It’s three steps. Uh you start with tokenizing your content and creating a language for your domain. Then you want to adapt the LLM so that it understands both English and your domain language and becomes this

[08:25] bilingual model. Finally, you can prompt this model with user information and it will directly decode recommendations from your content corpus. Let’s go a bit deeper. This is the LLM recommener as a five layer cake. Um, we’ll start at the bottom. Uh, that’s semantic ID where you’re converting your content corpus into tokens that the LLM can understand and reason over. Then you have kind of the base LLM foundation model. This can be an open weights model

[08:56] or an internal first party model. Then the core training stages. Pre-training is around bridging English and these recommener tokens. Post-raining is about steering the model towards recommendation tasks like predicting engagement or reasoning over recommendations. And then finally, you can just do some light surface specific fine-tuning to deploy it on a product surface. The exciting thing about this paradigm is most of the compute is shared across all

[09:28] of the product surfaces. So you don’t have to train individual models from scratch for every product surface. I’ll go a bit deeper into each stage for semantic ids. I think this has seen incredible adoption. A lot of teams are just replacing their hash ID with the SID in traditional models and seeing good impact. I think there’s two big reasons to tokenize content. The first is it gives you the stable representation for models to learn over rather than a constantly shifting hash that the model can only memorize. And

[10:01] the second is compression. You want to be reasoning over these long sequences of user interactions. And if you don’t compress the content, for example, a threeminut Instagram real video would be 10,000 tokens and it will just fill up the content context window too quickly. So you have to to compress it into about 10 tokens. And so here I have some examples of Instagram reels about tennis. You can see that the semantic token shares the prefix of the first three tokens because they’re very similar reels. You can imagine the first

[10:32] token representing sports um and the second two tokens representing tennis and then the final token making these videos individual. Once you have a semantic ID, you can train it to understand both English and semantic ID. And so the task I have on the left for pre-training here is an example of where you prompt with a video with semantic ID ABC has the description blank and the output is a shot that was instantly iconic from Wimbledon. Here

[11:03] you’re teaching the model to connect these semantic tokens with synthetic English natural language text. The example on the right is about reasoning over sequences of semantic IDs. And so in a user’s interaction history, you can mask some parts of the sequence and the model learns to predict them and understand what videos are watched together in sequence. Here I have an example of post training where we’re teaching the model how to rerank content. So the input is a bunch

[11:33] of user information and 30 candidate videos that are then ranked to be the top five recommendations from this LLM ranker. What’s really interesting here is that you can see the chain of thought reasoning of this model. And because this model knows both English and recommendations, you can simply just inspect the model and understand why it made the decisions that it did. In this example, the model understands the user’s topic interests like comedy, food, DIY, wellness. It understands the

[12:06] engagement style and what creators this user has an affinity towards. and then it reranks the content based on this chain of thought reasoning. I think this is super exciting because once you have a model that can understand both English and recommendations, it opens up new product surfaces and new experiences where users can steer their feed. Here’s an example from your algorithm on Instagram where users can talk to the algorithm while

[12:38] they’re consuming content. It’s a screenshot from scrolling through reels or when you click in you can understand what the Instagram algorithm thinks about you and your interests and then you can add or remove interest and talk to it in natural language. And so we’re going to see this shift I think from blackbox recommendations algorithms to giving users more control over their algorithm and algorithms becoming more interactive and steerable. I’m really excited that users can direct

[13:09] it towards their own goals that’s expressed in language rather than just likes or comments. Um, and I think this can this foundation model can also start to explain its recommendations. And so for this example, I’ve added an interest that I want to follow the FIFA World Cup at this time. And the model would get both my user history and this new input and then be able to decode recommendations that are personalized to me like this free cake that Messi scored

[13:40] recently. I think these interactive recommenders are going to be a really interesting new product surface and we’re seeing this across the industry. We have some examples of prompted playlists from Spotify, custom feeds from YouTube, Ask Door Dash, and we’ll be hearing more from speakers about these. Um, finally, I want to talk about kind of the framework of tokens in engagement out this flywheel that I started with um

[14:13] of model training, inference, consumer engagement, and then monetization. This is actually the same flywheel that’s shared by content feeds and the AI chat apps. And this is a lens that you can use to evaluate any consumer app. What’ll make an app successful on the training ROI side is how well can it translate compute into a frontier model. On the inference side, how well can the inference tokens translate into engagement and then monetization.

[14:46] And so if you try to compare content feeds and AI chat apps, I think that LM recommenders are actually structurally more token efficient than the AI chat. So on the left you have content feeds like Instagram, Facebook, Tik Tok and YouTube. On the right you have the big AI chat apps like Gemini, ChatGpt and Claude. Content feeds are currently using models that are around 1 to 10 billion active parameters. The chat apps are serving much larger models 10 to 100 billion

[15:16] active parameters. Um the output for the content feed is a semantic ID token which is a pointer or an address to existing content because the content supplied on these content feeds is uploaded by creators. There’s a very healthy creator economy and so the supply of content is effectively free or it’s uploaded by creators. For the AI chat apps, they have to decode every token of content themselves and the amount of tokens output in every turn of

[15:49] an LM chat interaction is a few thousand tokens. Uh, and the the big difference here is that every token has to be manufactured by the app at inference time. And so what that means is if you compare these two apps on how much inference cost and compute is spent to generate an hour of consumer engagement, there’s a huge structural gap where content feeds are significantly cheaper up to 100 times or more cheaper than AI chat apps because they’re decoding

[16:20] pointers to content rather than content itself. Um, finally I want to kind of end with why I think LM Rexus is one of the most significant consumer AI applications. If you look at the top apps by daily active users, these are the top 10 apps. Four out of 10 of them are content feeds. And so this is a really significant consumer uh application. If you look at the content feeds, almost all of the

[16:50] consumer app growth on both the engagement and monetization side is driven by the recommener and ads models. And these are going to be entirely transformed by LLM recommenders. It’s a very large and very token efficient application of AI for consumer apps. We’re going to see a lot of new product experiences come through with steerable and interactive recommendations, explanation of recommendations, and just putting more users in control of their experience on these apps. I think we’re going to see

[17:23] some really exciting research on consumer agents and recommendation agents that come out over the next year or so. Um and so this is why I think this is a super exciting area of both research and product uh at this intersection of LLM and recommendations. That’s all. Thank you so much.