Destile o LLM, não o sirva: busca e personalização na DoorDash — Raghav Saboo, DoorDash

Ver no idioma original →

Autoria: AI Engineer · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Distill the LLM, Don’t Serve It: Search & Personalization at DoorDash — Raghav Saboo, DoorDash · Canal: AI Engineer · 21:32 · Assistir no YouTube

Tópicos: Dados, bancos de dados e embeddings, Geração de conteúdo com IA, Inferência e otimização de modelos, Modelos de IA, RAG, busca e recuperação de informação

Resumo

Raghav Saboo apresenta quatro recursos usados pela DoorDash para incorporar LLMs à descoberta em seu marketplace: supervisão, semântica de catálogo, personalização semântica e geração controlável de conteúdo. Em vez de servir LLMs diretamente nas etapas de busca e recomendação, a empresa usa o raciocínio deles offline para produzir sinais e representações que modelos menores podem usar em produção. O método contribuiu para melhorias em recuperação, ranking e reformulação de consultas, além de experiências personalizadas. A ideia central é que a descoberta depende de compreender o significado dos itens e a intenção de quem compra, não apenas otimizar engajamento.

Pontos-chave

• A compreensão semântica dos itens e da intenção de compra é um gargalo central para a descoberta em marketplaces.
• LLMs podem gerar supervisão graduada para pares de consulta e item, combinando rótulos humanos, sinais comportamentais e reavaliação de casos suspeitos.
• A DoorDash destila o raciocínio dos LLMs em modelos menores, usados em recuperação e ranking, em vez de substituir esses sistemas por chamadas online a LLMs.
• Um método contrastivo em duas etapas usa rótulos graduados e negativos difíceis para distinguir correspondências exatas, substitutos e itens apenas relacionados.
• IDs semânticos hierárquicos representam relações entre itens além das categorias rígidas da taxonomia humana.
• IDs semânticos ajudam a comparar categorias, lidar com itens novos, melhorar a cobertura de itens pouco frequentes e auditar rótulos do catálogo.
• A memória de consumidores é representada em diferentes escalas de tempo e formatos, incluindo texto, vetores latentes e grafos ou estruturas hierárquicas.
• Memórias e IDs semânticos alimentam coleções personalizadas geradas offline, enquanto a stack existente de recuperação e ranking seleciona e ordena os itens.
• Testes iniciais de coleções personalizadas na vertical de pets mostraram aumento próximo de 1% na taxa de pedidos e de 6% em usuários ativos.

Capítulos

Início	Capítulo	Resumo
00:12	Descoberta como problema de compreensão semântica	O palestrante apresenta o desafio de captar a intenção ampla de compra dos consumidores e introduz quatro recursos para integrar LLMs à descoberta.
03:21	Supervisão para recuperação e ranking	A palestra descreve como combinar rótulos humanos, sinais comportamentais e avaliação por LLM para gerar dados graduados de relevância.
05:57	Destilar o raciocínio em modelos de produção	Dados rotulados offline orientam modelos de recuperação e ranking, que distinguem correspondências, substitutos e itens menos relevantes.
09:39	IDs semânticos para representar o catálogo	Códigos hierárquicos aprendidos capturam relações entre itens e ajudam com comparações entre categorias, itens novos e cobertura de cauda longa.
14:16	Memória e personalização de consumidores	A equipe representa preferências e contexto em diferentes escalas de tempo e formatos, reutilizando essas memórias em vários modelos.
18:24	Geração controlável de conteúdo personalizado	Memória, IDs semânticos e relevância alimentam coleções personalizadas geradas offline e usadas nas páginas de lojas.
20:59	Conclusões: raciocínio destilado e representações compartilhadas	O palestrante conclui que a descoberta exige compreensão semântica e que o raciocínio dos LLMs pode ser destilado em recursos reutilizáveis por modelos menores.

Citações

O verdadeiro gargalo para construir uma descoberta eficaz é a compreensão semântica. — 00:45

Não estamos substituindo o sistema de recuperação e ranking por um LLM; estamos destilando o raciocínio e a compreensão para uma arquitetura de produção. — 09:07

A descoberta é um problema de compreensão semântica. Não se trata apenas de engajamento. — 20:59

A chamada online a um LLM muitas vezes não é a arquitetura de produto de que você precisa. — 20:59

Conceitos e entidades

• DoorDash (empresa): Marketplace para o qual a equipe do palestrante desenvolve busca, personalização e descoberta de produtos.
• Raghav Saboo (pessoa): Engenheiro de machine learning da DoorDash que apresenta as abordagens de busca e personalização descritas na palestra.
• AI Engineer (empresa): Canal do YouTube que publicou a palestra.
• LLM (conceito): Modelo usado para raciocinar sobre relevância, significado dos itens e intenção de compra, sobretudo na geração offline de supervisão.
• Supervisão graduada (conceito): Rotulagem de pares de consulta e item em níveis de relevância, usada como alvo compartilhado para recuperação e ranking.
• IDs semânticos (conceito): Códigos hierárquicos aprendidos a partir dos dados que representam vizinhanças e distinções semânticas entre itens.
• Memória de consumidores (conceito): Representação reutilizável das preferências e do contexto de consumidores em formatos como texto, vetores e grafos.
• Coleções personalizadas (conceito): Coleções de produtos geradas offline com base na memória do consumidor e em IDs semânticos.
• GPT-4o Mini (modelo): Exemplo de modelo leve que pode ser ajustado com dados rotulados para classificar pares de consulta e item.

Tradução completa (pt-BR)

00:12 Obrigado a todos por virem a esta palestra e a Devanch por organizá-la. Sou Ragav. Sou engenheiro sênior de machine learning na DoorDash. Trabalho com busca e personalização e, hoje, vou falar sobre as maneiras como estamos integrando LLMs à descoberta em nosso marketplace, especificamente em quatro frentes, e sobre como esses princípios básicos também estão contribuindo para integrar LLMs aos sistemas tradicionais de recomendação.

00:45 Vou começar hoje com uma afirmação simples. A afirmação é que, para criar uma descoberta eficaz — neste caso, para um marketplace como a DoorDash —, o verdadeiro gargalo é a compreensão semântica. Ou seja, saber o que os itens realmente significam para os usuários em determinado contexto e o que um consumidor realmente pretende fazer em um aplicativo como

01:16 a DoorDash. Historicamente, tratamos esses problemas como problemas de otimização de engajamento. No entanto, os LLMs nos oferecem uma nova alavanca para expandir isso. Esta palestra trata dos quatro princípios básicos que nos permitiram começar a aproveitar LLMs para resolver problemas na DoorDash. Como vocês talvez saibam, a DoorDash cresceu muito além dos restaurantes. Agora estamos em

01:47 mercearias, varejo, produtos para animais de estimação, presentes e muito mais. Nosso objetivo é capturar todos os momentos de compra. E sabemos que, nessas verticais, os usuários frequentemente têm objetivos de compra bastante amplos. Por exemplo, um consumidor pode dizer, ao entrar no nosso aplicativo: “Acabei de adotar um filhote. Do que preciso para começar esta semana?” Esse consumidor pode começar pesquisando por ração para filhotes porque

02:18 acabou de adotar um filhote. Essa consulta pode levar a outras reformulações de consulta. A pessoa pode chegar a coleções para outras necessidades de compra, itens complementares, como cercadinhos, guias e tapetes higiênicos, e então ir até o checkout. E isso pode acontecer ao longo de várias sessões e vários dias. Capturar toda essa trajetória é bastante difícil porque ela abrange vários modelos.

02:49 É aí que entram os quatro princípios básicos que vou abordar: supervisão, semântica do catálogo, personalização semântica e geração de conteúdo direcionável. Como também ouvimos antes, trata-se de um sistema de representações compartilhadas que nos ajuda a mapear a jornada desse cliente com o uso de LLMs. No caso da supervisão, a pergunta que estamos fazendo, ou procurando responder, é: como ensinamos aos nossos sistemas de recuperação e

03:21 classificação o que significa “bom” para diferentes tarefas? Aqui vai um exemplo simples. Um consumidor pesquisa por massa sem glúten. Se classificarmos apenas com base no engajamento, podem aparecer espaguetes comuns muito populares e, como vendem bem, podem continuar aparecendo. Até pão branco sem glúten pode ser recuperado e aparecer por ter relação com o termo “sem glúten”. Mas nenhum dos dois é claramente a resposta certa. O que realmente queremos é

03:51 relevância graduada. Uma massa verdadeiramente sem glúten deve ser um item altamente relevante. Uma massa de grão-de-bico pode ser um substituto razoável; já o espaguete comum, embora popular, não atende à restrição do usuário. Para resolver isso, obviamente há duas fontes de verdade. Podemos recorrer à anotação humana, mas ela é cara, lenta e fica desatualizada rapidamente, porque nosso catálogo muda com bastante frequência.

04:22 A segunda fonte são os sinais comportamentais. Eles são abundantes, mas, como mencionei, são enviesados pela exposição, pela posição, pelo preço, pelas promoções e pelas escolhas de modelos anteriores. Portanto, falta um sinal de raciocínio escalável. É aí que os LLMs são muito úteis: eles oferecem uma maneira de produzir essa supervisão para tarefas desse tipo. No nosso caso, o pipeline PIP começa com dados de referência rotulados por humanos. Criamos um conjunto inicial de alta qualidade com pares de consulta e item e usamos uma escala de relevância em três níveis, de 0 a 2.

04:55 Auditamos os casos suspeitos. Por exemplo, se um rótulo humano indicar que um item é irrelevante, mas esse item tiver um desempenho muito bom em adições ao carrinho ou conversões, enviamos esse caso a um LLM mais potente para reavaliá-lo com prompts mais granulares. Também conciliamos os resultados com outros modelos, como nossos modelos de consulta para taxonomia ou categoria. Se uma consulta

05:25 for mapeada para um conjunto de categorias válidas e os itens pertencerem a essas categorias, podemos ajustar o rótulo de acordo. Com esse processo, conseguimos obter um conjunto de dados de referência com precisão bastante alta e então usamos esse conjunto para fazer fine-tuning de um LLM leve, por exemplo, um GPT-4o mini. É aí que isso realmente compensa. Podemos usar esse rotulador com fine-tuning offline em todo o nosso catálogo para gerar pares de consulta e item com relevância graduada.

05:57 Esses rótulos se tornam um alvo compartilhado para os sistemas de recuperação e classificação. Esse padrão tem sido muito importante para nós nos últimos anos: usar raciocínio caro uma única vez, offline, e então destilá-lo em modelos que possam ser servidos de forma barata e rápida. Agora, vamos começar pela recuperação. O desafio é que, em escala de comércio eletrônico, embeddings padrão rapidamente apagam as distinções de relevância.

06:28 Itens apenas relacionados ficam próximos de itens que realmente correspondem à consulta, e o modelo pode saber que dois itens estão relacionados, mas não conseguir distinguir correspondências exatas, substitutos e complementos. Nossa solução é um método contrastivo em duas etapas, treinado com os mesmos rótulos graduados. A primeira etapa, que chamamos de mineração, molda a geometria global. Usamos codificadores de duas torres com uma função de perda contrastiva supervisionada multinível.

07:00 Depois, usamos esse modelo-base para minerar exemplos negativos mais difíceis. São itens que o modelo confunde: exemplos negativos difíceis classificados alto demais ou exemplos positivos fortes classificados baixo demais. Na segunda etapa, submetemos o modelo a um treinamento curricular. Usamos esses exemplos negativos difíceis, voltamos a rotulá-los e a relevância da nossa camada de recuperação melhora bastante

07:33 depois disso. Após a primeira etapa, vemos sobreposição entre itens relevantes e moderadamente relevantes; depois da segunda etapa, há uma diferença significativa. Essa tem sido uma das nossas maiores alavancas para melhorar a recuperação de modo geral. Melhoramos em 2,3% o NDCG de relevância. Isso também ocorreu com nossas métricas de negócio downstream, e fizemos o mesmo exercício

08:03 com nossos modelos de classificação, destilando em nossos classificadores os rótulos de raciocínio do LM. No entanto, combinamos isso com objetivos de negócio e de engajamento. Aqui, adicionamos uma nova torre — neste caso, uma torre de relevância ordinal — sobre os rótulos de relevância graduados pelo LLM. Essa previsão fica ao lado das torres de engajamento existentes: cliques, adições ao carrinho e conversões. Como elas compartilham as mesmas camadas inferiores, o ajuste semântico

08:35 e o ajuste de relevância são destilados na mesma passagem de retropropagação. Assim, nosso modelo consegue prever a probabilidade de relevância nos diferentes níveis, e podemos combiná-la por meio de uma função de valor que nos permite ajustar o equilíbrio entre engajamento e relevância para diferentes superfícies. Esses dois exemplos fazem parte de um tema mais amplo do nosso trabalho em projetos semelhantes. Não estamos

09:07 substituindo o sistema de recuperação e classificação por um LLM; estamos destilando o raciocínio e a compreensão em alguma arquitetura de classificação de produção. Isso nos permite testar rapidamente e também melhorar nossos modelos de forma escalável com LLMs, mantendo em mente os objetivos de negócio e do sistema dessas superfícies. Depois de termos a supervisão, a próxima pergunta é: como representamos um catálogo muito grande e em constante mudança

09:39 de modo que todos os modelos — sejam modelos de linguagem ou modelos tradicionais de recuperação e classificação — consigam entendê-lo? Na escala da DoorDash, vocês podem imaginar que apresentamos itens de lojas em vários países; agora, são facilmente alguns bilhões de itens no nível de item por loja. Para esses itens, obviamente há IDs SKU exclusivos, mas eles não dizem nada semanticamente. Por isso, também temos uma taxonomia

10:09 elaborada por pessoas, que nos ajuda a classificar e categorizar esses itens em espaços significativos. Mas, muitas vezes, ela é grosseira demais e rígida demais. Por exemplo, algo como molhos picantes pode aparecer na taxonomia apenas como molhos e molhos picantes, mas isso não diz nada sobre a relação entre Hoof, Frank’s e Tabasco. Por isso, também adaptamos — ou adotamos — IDs semânticos. Isso tem sido

10:40 já apresentado anteriormente. Agora, isso é a espinha dorsal de boa parte do nosso trabalho. O que faz é nos dar um código hierárquico curto, análogo à nossa taxonomia, mas com a capacidade de controlar o nível de granularidade. Como resultado dessa taxonomia aprendida, cada item recebe esse código hierárquico, e o prefixo captura vizinhanças amplas, enquanto os tokens posteriores capturam distinções mais específicas. E você

11:11 sabe, os tokens posteriores capturam distinções mais específicas. Por exemplo, no mapa mostrado no slide, vocês verão molhos picantes e a estrutura que emerge dos dados sem nenhum rótulo. Todos compartilham o mesmo primeiro e segundo prefixos nessa sequência de IDs, mas depois se dividem por especialidade. Assim, temos molhos picantes mexicanos, caribenhos e coreanos separados. E a propriedade importante é que esse código

11:41 aprendido pode ser comparado, como eu disse, pelo prefixo, mas também pode ser usado por todos os nossos modelos downstream, o que nos traz alguns benefícios. O primeiro são as comparações ou relações entre categorias. Batatas chips, salsa e guacamole podem estar em ramificações diferentes da taxonomia, mas uma vizinhança compartilhada de IDs semânticos pode indicar que pertencem juntos e talvez façam parte de uma missão de compra. O segundo são os problemas de cold start.

12:11 Muitas vezes, as lojas adicionam novos itens ao catálogo e, com técnicas como engram e codificação dos pais dos tokens, conseguimos adicioná-los aos nossos modelos de forma escalável como atributos de ID esparsos. Terceiro, a cobertura da cauda longa: itens esparsos herdam muitos sinais de itens semanticamente relacionados, e não precisamos esperar que esses itens tenham volume ou exposição aos consumidores. E então

12:43 por último, um benefício interessante é que também podemos fazer uma auditoria reversa. Podemos auditar nosso catálogo e verificar o quanto os rótulos humanos concordam com os rótulos aprendidos semanticamente. Vou dar alguns exemplos de como usamos isso hoje, com algumas métricas concretas. Foi uma das maiores melhorias para nosso ranker. Neste caso, melhorou o ranker ao elevar o MRR entre 4% e 5%, o que se traduziu

13:15 também em ganhos consideráveis de conversão. O segundo exemplo, de que gosto particularmente, é a reformulação de consultas. Voltando ao exemplo do molho picante, Sriracha pode levar a molho de alho e pimenta ou sambell Ole. Como essas consultas se mapeiam para uma vizinhança semântica fundamentada no nosso catálogo, sugerimos consultas muito mais relevantes aos usuários.

13:45 No fim das contas, se não temos esses itens em estoque no Door Dash, essas consultas não têm sentido. Com a adição de IDs semânticos a esse grafo de consultas, também conseguimos observar ganhos bem expressivos de MR nesse trabalho. Até aqui, falamos sobre mapeamento de itens e relevância. A próxima questão é o contexto do consumidor: o que o sistema sabe sobre quem está comprando e esse conhecimento pode ser reutilizado entre

14:16 modelos novamente? É aqui que entra nosso terceiro elemento fundamental: a memória. A memória no contexto de agents já é bastante compreendida. Aplicamos os mesmos conceitos aos nossos sistemas de recomendação. Os embeddings de usuários são claramente muito úteis. Temos várias representações dos nossos consumidores, mas elas não necessariamente explicam por que um consumidor pode ter determinadas intenções

14:46 ou preferências. Além disso, LLMs não conseguem usar prontamente esses embeddings. Seria possível tokenizá-los e treinar esses modelos para aprendê-los. Mas, muitas vezes, é muito útil ter uma contraparte explícita, nativa de LM, e foi isso que constatamos. A ideia da memória é representar o consumidor de várias formas: semanticamente, de modo inspecionável e reutilizável.

15:16 E pensamos a memória em três escalas de tempo. A memória de longo prazo captura preferências duradouras a partir de pedidos, buscas, navegação e interações com o suporte. O contexto em tempo real captura interações durante a sessão, como o estado do carrinho e as buscas ativas. Depois, temos as preferências declaradas, que vêm de interações com agents, como no Ask DoorDash,

15:47 por exemplo, em que os consumidores podem declarar explicitamente suas restrições e preferências. Representamos os consumidores nessa memória de longo prazo por meio de blocos de memória. Eles são estruturados de modo que possamos adicionar novas dimensões do usuário — de preferências alimentares a preferências de refeições e preferências de substituição — à medida que aprendemos mais sobre o consumidor. Isso é desacoplado

16:19 do sistema downstream, que não precisa reinterpretar essas informações para seus próprios casos de uso. A memória de cada consumidor é materializada em várias formas. Primeiro, como texto legível por humanos, que captura o consumidor de forma compacta. Segundo, como vetores latentes — embeddings desses blocos de memória — que podem alimentar sistemas de recuperação e ranking. Terceiro, como abordagens de grafo, árvore ou hierárquicas, como relações entre consumidores e marcas, taxonomias e preferências reveladas pela memória. Essas formas

16:51 são reunidas em objetos de memória compostos, usados downstream tanto por modelos de ML quanto por LLMs. Um exemplo é este grafo de contexto, no qual conectamos consumidores a conceitos de memória extraídos. Um grafo se encaixa bem nas jornadas de compra porque, muitas vezes,

17:21 as interações entre consumidores e itens são esparsas e envolvem vários saltos. Nesse caso, esses grafos de contexto conseguem conectar consumidores por meio de conceitos de memória para os quais antes não tínhamos relações. Isso é particularmente útil em níveis de granularidade fina da taxonomia. No nosso caso, estamos vendo embeddings baseados em grafos para recuperação superarem os embeddings baseados na taxonomia que já usávamos.

17:54 Hoje, essa estrutura de memória aparece em três lugares. O primeiro são as coleções personalizadas. Vou falar disso um pouco mais adiante. O segundo é a personalização agentic. Por exemplo, o Ask DoorDash usa isso para personalizar as sessões para você. E o terceiro são os modelos de recuperação e ranking: como mencionei, codificamos esses blocos de memória e também os fornecemos como atributos aos modelos downstream. O quarto elemento fundamental é a geração de conteúdo

18:24 controlável. Ouvimos bastante sobre isso na palestra anterior, e este slide mostra como eu vejo a integração de todos esses elementos fundamentais. Todas essas entradas — IDs semânticos, blocos de memória e relevância graduada ou supervisão de LLM — alimentam vários modelos, sejam LLMs, modelos de linguagem pequenos ou modelos tradicionais. A partir dessas entradas, podemos

18:54 gerar diferentes formatos de saída, como listas ordenadas de IDs semânticos, títulos de carrosséis e textos complementares. Hoje, eles aparecem em diferentes superfícies do DoorDash. Um exemplo direto disso são nossas coleções personalizadas nas páginas das lojas. Historicamente, as coleções nas páginas das lojas do DoorDash eram uma biblioteca fixa ou baseadas em atributos, e conseguimos ampliá-las com a geração de coleções

19:26 no nível do consumidor. Hoje, esse é um processo offline com LLMs: recebemos a memória do consumidor e os IDs semânticos e sintetizamos coleções, do título e subtítulo até os itens propriamente ditos. O importante é ter controle e capacidade de direcionamento. Podemos reagir a ocasiões e momentos e criar essas coleções conforme necessário para diferentes consumidores no momento da exibição. Como

19:57 tudo isso é gerado em lote e offline com LLMs, ainda podemos usar nossa pilha de recuperação e ranking existente para preencher as coleções com itens, ordenar as coleções e assim por diante. E é isso, por exemplo, que um consumidor vê, certo? Para alguém com preferência por produtos vegetais, o sistema pode gerar fileiras de produtos vegetais para a despensa. Para casas com apenas gatos, pode gerar fileiras de ração seca para gatos. E, se uma sessão indicar que a pessoa está repondo os itens da despensa,

20:28 o sistema pode dar prioridade aos itens básicos da despensa. Nossos primeiros testes mostram que os consumidores estão percebendo os benefícios dessas experiências personalizadas. Por exemplo, no nosso segmento de produtos para animais de estimação, conseguimos aumentar a taxa de pedidos em quase 1% e o número de usuários ativos em 6%. Para concluir, há três ideias que eu gostaria que vocês levassem desta palestra sobre como os LLMs se encaixam na busca e nas recomendações. Primeiro

20:59 A descoberta é um problema de compreensão semântica. Não se trata apenas de engajamento. Os LLMs nos dão uma maneira de raciocinar sobre o significado dos itens e a intenção dos consumidores. No caso da DoorDash, por exemplo. Segundo, destilar o raciocínio dos LLMs em elementos básicos. Capturar, sabe, o raciocínio offline como rótulos, IDs semânticos, memória, e então deixar que modelos menores e mais rápidos o disponibilizem. A chamada ao LLM online muitas vezes não é a arquitetura de produto de que você precisa. Terceiro,

21:32 Representações compartilhadas criam muitos casos de uso. Uma vez que você tenha esses elementos básicos, eles podem viabilizar, sabe, recuperação, classificação, geração de conteúdo etc. Então, por último, mas não menos importante, obrigado, e obrigado a todos os colaboradores da DoorDash que também ajudaram a lançar muitas dessas iniciativas.

Transcrição original

[00:12] Thank you everyone for coming to this talk and Devanch for organizing this. Uh I’m Ragav. I’m a staff uh machine learning engineer at Door Dash. I work on search and personalization and uh today I’m going to talk about uh the ways that we’re integrating LLMs for you know our marketplace discovery uh specifically in four pieces and um how these primitives are kind of uh uh working towards our integration of LLMs into traditional uh Rexus as well. So

[00:45] I’ll start off uh today uh with a simple claim. Uh the claim is that to build effective discovery in this case for a marketplace like Door Dash the real bottleneck is semantic understanding. So that is knowing what you know actually what items mean uh for users given some context and what a shopper actually intends to do on you know an app like

[01:16] Door Dash. And historically we have treated these uh as engagement optimization problems. Um however LLMs give us a genuinely new lever to extend this. So this talk is about uh you know the four primitives that have allowed us to start leveraging LLMs for problems at Door Dash. As you may know Door Dash is now grown uh well beyond restaurants. So we’re in

[01:47] grocery, retail, pets, gifting and more. And our goal is to capture every shoppable moment. Uh and we know that across these verticals, the users frequently have very broad shopping missions, right? So for example, a consumer may say when they come to our app is, you know, I just adopted a puppy. What do I need to get started this week? And this consumer start may start on like searching for puppy food because

[02:18] they just adopted the puppy. That one query could unfold into further query reformulations. Um they land on collections for you know other shopping needs, complimentary items such as crates, leashes, uh training pads all the way to checkout. And this could happen over multiple sessions, mult multiple days, right? And capturing that whole arc is pretty hard because it spans multiple models. Um,

[02:49] and this is where the four primitives I will cover come in. Specifically, supervision, catalog semantics, semantic personalization, and steerable content generation. As we heard previously as well, it’s a system of shared representations that help us map this customer’s journey uh with the use of LLMs. Now, with supervision, the question we’re asking or looking to address is how do we teach our retrieval and

[03:21] ranking systems what good means for different tasks? And here’s a simple example, right? A shopper searches for gluten-free pasta. And if we only rank from engagement, very popular regular spaghettes might show up and because it sells well, you know, it may continue to show up. Even gluten-free white bread might be retrieved and, you know, show up because it overlaps with gluten-free. But neither of these are clearly the right answer. What we actually want is

[03:51] graded relevance. A true, you know, gluten-free pasta should be a high relevance item. Chickpea pasta might be a reasonable substitute and regular spaghetti while it’s popular it fails the constraint that the user has. Now to solve this there are obviously two sources of truth. We could look at human annotation but that’s expensive slow and becomes quickly stale because our catalog changes quite rapidly.

[04:22] Second is behavioral signals. They’re abundant but obviously as I mentioned biased by exposure, position, price, promotions and you know previous model choices. So the missing signal is a scalable reasoning signal. This is where LLMs are very useful as they offer a way to produce that supervision for such tasks. So in our case, you know, the PIP pipeline starts with human ground truths. uh we build a high quality seed set of example query item pairs and on a

[04:55] three three uh level relevant scale 012. We audit the suspicious cases. For example, if a human label says you know that an item is irrelevant but that item performs very well on add to cart or conversions, we send that case to a stronger LLM uh to re-evaluate with more granular prompts. We also reconcile with other models. You know, for example, our query to taxonomy or category models. And if a query, you

[05:25] know, query maps to a set of valid categories and the items belong to those valid categories, we may adjust the label accordingly. And through this process, we’re able to achieve a pretty high precision golden data set that we then fine-tune a lightweight LLM, let’s say, for example, a GPD 40 mini on top of it. And that’s when it, you know, really pays off. We are able to use that fine-tuned labeler offline across, you know, our full catalog to generate uh

[05:57] full graded query item pairs. And those labels become one shared target for both retrieval and ranking systems. This pattern has been pretty important for us over the past uh few years. um use you know expensive reasoning once offline then distill it into models that can you know be served cheaply and quickly. Now let’s take retrieval first. The challenge is you know standard embeddings um at e-commerce scale

[06:28] quickly collapse the relevance uh distinction. items that are merely related sit close to items that actually match and the model uh may know two items are related but not be able to separate uh exact matches, substitutes, compliments. So our fix is a two-stage contrastive method um trained on uh the same graded labels. Stage one, which we call mining, does a global geometry shaping. We use two tower encoders uh with multi-level

[07:00] supervised contrastive loss. Um after that we use that base model to mine harder negatives and uh these are items that the model confuses hard negatives that are ranked too high or strong positives ranked too low. And the second stage after that is where we really put the model through curriculum training. uh use those hard negatives, relabel them and our uh you know relevance of the retrieval layer improves sharply

[07:33] after that. So after stage one we see overlaps between you know relevant and uh moderately relevant but after stage two there is a significant difference and this has been one of like our biggest uh levers in retrieval improvement uh across the board. um you know we’ve improved NDCG of relevance by 2.3%. And uh that’s also been true with our downstream business metrics and we did the same with uh uh exercise

[08:03] with our ranking models as well distilling LM reason labels into our rankers. However, combining this with uh business and engagement objectives. Here we add a new tower uh in this case an ordinal uh relevance tower on top of the LLM graded labels and uh this prediction sits right alongside existing engagement towers uh click add to cart and conversion and since they share the same uh bottom layers the semantic fit

[08:35] and relevance fit gets distilled in the same backward pass and uh our model is able to predict uh you know probability of relevance across the different levels and we are able to blend uh through a value function on on top of this that allows us to uh fine-tune between engagement and relevance for different surfaces. Now these two examples are part of a larger theme of our work across similar projects uh where it seems right. We’re

[09:07] not replacing the retrieval and ranking system with an LLM, but rather distilling the uh reasoning and understanding into some production ranking architecture. And this allows us to kind of quickly test and also scalably improve our models uh with LLMs while keeping uh you know the business and system objectives uh of these surfaces in mind. So once we have supervision, the next question is how do we represent a very large and constantly changing catalog uh

[09:39] in a way that every model be it language models or uh you know traditional retrieval and ranking models uh that they can understand and at you know Door Dash’s scale uh you can imagine we’re kind of surfacing items across stores across internationally actually uh now and you know that’s easily a few billion items at the store item level and for these items you obviously have unique skew ids but it says nothing semantically. So we also have a human

[10:09] curated taxonomy that helps us classify and categorize these items into meaningful spaces. But often this is too coarse and too rigid. So for example something like hot sauces may just have like sauces hot sauces in the taxonomy uh but it doesn’t tell you anything about the relationship between hoof or franks or tobasco. So that’s where we’ve also adapted uh or adopted um semantic ids. Uh it’s been

[10:40] introduced previously already. It’s a backbone for a lot of our uh work uh now. And uh what it does is it gives us a you know a short hierarchical code that’s analogous to our taxonomy but uh the ability to control the fine grain nature of it. And the result of this learn taxonomy is that each item gets this hierarchical code and the prefix captures broad neighborhoods and you

[11:11] know the later tokens capture finer distinctions. So for example in the map over on on the slide you’ll see hot sauces and the structure emerging from the data with zero labels. each one share the same first and second prefix in this uh ID sequence but then split by specialtity. So now you’ve got Mexican, Caribbean, Korean hot sauces uh being split up. And the important property is that this code

[11:41] that’s learned is you know comparable by as I said by prefix but also usable by all of our downstream models and that unlocks a few things for us. So the first is cross-category comparisons or relationships. You know chips, salsa, guacamole may live in different taxonomy branches but a shared semantic ID neighborhood can uh indicate that they belong together and maybe a shopping mission. Second cold start problems. uh

[12:11] oftentimes we get new catalog items added by stores and with techniques like engram and bite parent coding of these tokens we’re able to scalably add these to our models as sparse ID features third tail coverage so sparse items uh and uh inherit a lot of signal from semantically related items and uh you know we don’t have to wait for the volume or exposure uh to you um for to consumers for these items. And then

[12:43] lastly, nice to have is the fact that we can actually also do a reverse audit. So we can audit our catalog and how well our human labels agree with the semantically learned labels. So a couple of examples of where we’re using it today uh just to get give some real metrics. Um it has been one of our biggest improvements to our ranker. Um in in this case it’s actually improved our uh ranker by uh improving MRR between four to 5% and that’s translated

[13:15] to pretty big conversion uh wins as well. The second one that I’m particularly fond of is query reformulation. So again going back to the hot sauce example, Sriracha can lead to garlic chili garlic sauce or sambell Ole and because these queries map onto like our catalog grounded semantic neighborhood uh that results in much more relevant queries that we’re suggesting to users. Um

[13:45] ultimately if these are queries that we don’t have inventory for on Door Dash, they’re meaningless. And with the addition of semantic ids in this query graph, we were actually able to see pretty massive um MR gains as well uh for for this piece of work. So for now we’ve talked about you know item mapping and relevance and the next question is consumer context. What does the system know about the shopper and can that knowledge be reused across

[14:16] models again? And this is where uh our third primitive comes in memory. So memory in the agent context is pretty well understood now. Um we apply the same concepts to uh our recommendation systems. So user embeddings are clearly very useful. uh we have many representations of our consumers but they don’t necessarily get to uh why a consumer may have certain intents um and

[14:46] why they might have certain preferences. Additionally, LLMs cannot uh readily use these uh embeddings. You could tokenize and like uh train these models to learn it. But oftentimes having some explicit LM native counterpart is very useful and that’s what we found. So the idea of memory is to represent uh the consumer in multiple forms semantic in you know inspectable and reusable

[15:16] and uh the way we think about memory is uh in three time scales. So long-term memory captures durable preferences from orders, searches, browsing, support interactions. Real-time context captures uh agentic inter interactions um oh sorry in session interactions so cart state active searches and then we have stated preferences which come from agentic interactions so something like ask door

[15:47] dash for example where consumers are able to explicitly state their constraints and preferences as well and the way we represent consumers in uh in uh this long-term memory is through uh memory blocks. And these are structured in a way that allows uh us to add new dimensions of the user, you know, from dietary preferences to dining preferences to uh substitute pre uh preferences um as we learn more about the consumer and that is uh decoupled

[16:19] from like the downstream system that u that doesn’t need to reinterpret uh this for their own use cases. So each consumer’s memory is multi materialized in multiple forms. So first is text that’s human readable. It’s uh captures the consumer in a compact way. Second is are latent vectors embeddings of those memory blocks that can be fed into retrieval and ranking systems. And third are graph and tree or hierarchical approaches. So uh you know type

[16:51] relationships between consumers and brands taxonomies and memory uh revealed um preferences and these are assembled into you know composite memory objects that both ML models and LLM use downstream. So an example is you know this context graph uh where we connect consumers with extracted memory concepts and a graph needs fits neatly into shopping journeys because you know oftent times uh

[17:21] consumer item interactions are sparse and multihop. And in this case these context graphs are able to link consumers across memory concepts that we previously did not have uh relationships for. And it’s particularly helpful uh at fine grain taxonomy levels. In our case, we’re seeing uh for retrieval uh uh using uh graph uh based embeddings outperforming our uh existing taxonomy based embeddings.

[17:54] And today this memory framework shows up in three places. The first is personalized collections. I’ll talk about that a bit later. Uh second is agentic personalization. So ask door dash for example uses this to personalize its sessions uh for you. And third in uh retrieval and ranking models as I said we encode these memory blocks and feed them as features in in downstream models as well. So the fourth primitive is steerable

[18:24] content generation. We heard quite a bit about it in the previous talk and this slide is my take on how we’re p piecing all these uh primitives together. So all of these inputs, semantic ids, memory blocks um and graded relevance or um LLM supervision feed into multiple models you know be it LLMs or small language models or um uh you know traditional models and from these inputs we can

[18:54] generate different output shapes you know ranked semantic ID lists, carousel titles, subcopies and these show up across different surfaces today on Gord Dash and A direct example of this is uh our um personalized collections on store pages. So historically collections on store pages uh on Door Dash have been a fixed library or attribute-based um and we’ve been able to kind of expand that through uh consumer level

[19:26] collection generation. And today this is an offline uh LLM process where we take in consumer memory semantic ids and syni syn synthesize uh collections um all the way from title subtitle to the actual items. And the important part is that control and steerability. We’re able to react to occasions and moments um and build those collections as needed uh for different consumers at serving time. uh because

[19:57] this is all batch and uh generated offline through LLMs, we are able to still use our uh existing retrieval and ranking stack for item hydration, collection ranking, etc. And you know this is for example what a shopper actually sees, right? For a shopper with plant-based affinity, the system can generate plant-based pantry rows. For cat-only households, it can generate cat dry food rows. And if a session indicates that you know a person is going through pantry restocking it

[20:28] can bias towards pantry staples. And our early tests show that you know consumers are feeling the benefits of these tailored experiences. Uh an example is uh within our pets vertical we’ve been able to drive uh close to 1% uh order rate increases and 6% in uh active users. So to conclude uh there are three takeaways I would love for you to take away from this talk and how LLM fit into search and recommendations. First

[20:59] discovery is a semantic understanding problem. It’s not only about engagement. LMS give us a way to reason about item meaning and shopper intent. Uh in in Door Dash’s case for example. Second uh distill LM reasoning into primitives. capture you know reasoning uh offline as labels, semantic ids, memory and then let smaller and faster models serve it. The online LLM call is often not the product architecture you need. Third,

[21:32] shared representations create many use cases. Uh once you have these primitives, they can power, you know, retrieval, ranking, content generation, etc. So last but not least, thank you and thank you to all the collaborators at Door Dash who have helped ship a lot of these things as well.