Do zero ao estado da arte: treinando um modelo de visão de espaço de estados com 3B — Krishna Prasad Srinivasan, Sarvam

Autoria: AI Engineer · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: From Scratch to SOTA: Training a 3B State-Space Vision Model — Krishna Prasad Srinivasan, Sarvam · Canal: AI Engineer · 21:07 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Governança e regulação de IA, Modelos de IA, Modelos multimodais, RAG, busca e recuperação de informação

Resumo

Krishna Prasad Srinivasan apresenta o Sarvam Vision, um modelo de visão com 3 bilhões de parâmetros, treinado do zero na Índia e projetado para inteligência documental em inglês e 22 idiomas indianos. O modelo usa uma arquitetura de espaço de estados e OCR por blocos, combinados com módulos de layout e leitura, em vez de depender de um modelo monolítico baseado em transformer. O treinamento segue quatro etapas, apoiadas por um mecanismo de criação de dados e evals, com aprendizado por reforço para melhorar a precisão do OCR. Srinivasan também descreve os resultados em benchmarks, as aplicações empresariais e a importância de modelos soberanos para digitalizar documentos indianos.

Pontos-chave

O Sarvam Vision tem 3 bilhões de parâmetros e foi treinado do zero na Índia para documentos em inglês e 22 idiomas indianos.
A arquitetura de espaço de estados mantém um estado ao longo da sequência e tem custo computacional que cresce linearmente, ao contrário da complexidade quadrática atribuída aos transformers na apresentação.
A abordagem combina módulos de layout e leitura com OCR por blocos.
O currículo de treinamento tem quatro etapas: pré-treinamento textual, pré-treinamento contínuo com pares de imagem e texto, fine-tuning supervisionado para OCR e aprendizado por reforço.
O pré-treinamento textual abrange 13 trilhões de tokens; o pré-treinamento com imagens usa 300 milhões de pares; e o fine-tuning supervisionado usa 100 milhões de amostras de OCR.
A empresa criou pipelines para gerar dados sintéticos e aproveitar documentos reais, além de usar evals para orientar melhorias nos dados.
O aprendizado por reforço é aplicado ao OCR com recompensas verificáveis por máquina, como taxa de erro de caracteres, estrutura de tabelas e equações matemáticas.
O palestrante relata resultados de estado da arte em benchmarks globais de inglês e liderança em documentos nos 22 idiomas indianos.
O modelo é usado em aplicações de digitalização, inclusive por organizações de setores como seguros, bancos e governo; segundo a apresentação, já havia mais de 35 milhões de páginas em processo de digitalização.

Capítulos

Início	Capítulo	Resumo
00:16	Apresentação do modelo e da Sarvam	Krishna apresenta a proposta de um modelo de visão documental com 3 bilhões de parâmetros e explica o trabalho da Sarvam em diferentes modalidades.
02:25	O desafio dos documentos em idiomas indianos	A palestra aborda a falta de documentos digitalizados e os desafios de extrair conhecimento de textos em alfabetos complexos e com poucos dados.
04:06	Arquitetura de espaço de estados e OCR por blocos	O palestrante compara SSMs e transformers e explica a escolha de uma arquitetura de espaço de estados para processar documentos longos.
05:48	As quatro etapas de treinamento	Krishna descreve o currículo que vai do pré-treinamento textual ao aprendizado por reforço, com dados de texto, imagens e OCR.
08:09	Mecanismo de dados, evals e aprendizado por reforço	A apresentação destaca a criação de dados e evals e explica como recompensas verificáveis ajudam a melhorar o desempenho em OCR.
09:45	Benchmarks e aplicações empresariais	Krishna relata resultados em benchmarks de inglês e idiomas indianos e apresenta aplicações de digitalização com o Sarvam Vision e a plataforma AURE.
12:24	Perguntas sobre idiomas, dados e treinamento	Na sessão de perguntas, o palestrante comenta a relação entre idiomas de poucos recursos, dados sintéticos, documentos reais e a divulgação de um benchmark indic.
17:27	Soberania, digitalização e próximos passos	Krishna explica a importância de modelos soberanos e de dados de qualidade e menciona o uso de feedback das implantações para treinamento futuro.

Citações

O objetivo é extrair conhecimento, não apenas texto. — 02:25

Os SSMs mantêm um único estado ao longo da sequência, atualizando-o token por token. — 05:12

Não é possível alcançar o estado da arte se você não consegue medir o desempenho do modelo. — 08:40

Até quatro meses atrás, não havia um modelo soberano da Índia. — 11:51

A soberania se torna crucial. — 19:09

Conceitos e entidades

Sarvam (empresa): Empresa indiana de modelos de fundação que trabalha com voz, texto e visão.
Krishna Prasad Srinivasan (pessoa): General manager da Sarvam e palestrante sobre o desenvolvimento do Sarvam Vision.
Sarvam Vision (modelo): Modelo de visão com 3 bilhões de parâmetros, criado para inteligência documental em inglês e 22 idiomas indianos.
State-space model (SSM) (conceito): Arquitetura sequencial que atualiza um estado ao longo dos tokens e, conforme explicado na palestra, oferece custo computacional linear.
Transformer (conceito): Arquitetura em que cada token pode interagir com os demais, com custo que cresce quadraticamente em relação ao comprimento da sequência.
OCR por blocos (conceito): Abordagem que processa partes de um documento, em vez de realizar OCR monolítico da página inteira.
RLVR (conceito): Aprendizado por reforço com recompensas verificáveis, usado na palestra para melhorar tarefas de OCR.
AURE (ferramenta): Plataforma de inteligência documental da Sarvam mencionada como ambiente para digitalização e extração com participação humana e recursos agentic.
CRB Bench (conceito): Benchmark de inglês citado como uma das avaliações em que o Sarvam Vision obteve resultados de estado da arte no lançamento.
OmniDocBench (conceito): Benchmark de documentos citado na apresentação para avaliar o Sarvam Vision.

Tradução completa (pt-BR)

00:16 Certo. Oi, pessoal. Boa tarde. Sou Krishna e sou gerente-geral da Sarvam. Hoje vou contar como um modelo de três bilhões de parâmetros, pequeno o bastante para rodar em uma única GPU, alcança o estado da arte em IA para documentos e supera modelos cem vezes maiores. Ele também é um modelo um pouco incomum em dois aspectos. Primeiro, o modelo de linguagem usado não é um transformer padrão.

00:46 E toda a construção do modelo — dos dados ao treinamento e à computação — foi feita de ponta a ponta na Índia, para o inglês e para 22 idiomas oficiais indianos, que, na minha opinião, estão entre os problemas mais difíceis de inteligência documental do mundo hoje. Foi assim que fomos do zero ao estado da arte. Quem somos? Somos a Sarvam, uma

01:16 empresa indiana de modelos fundacionais soberanos. Trabalhamos com diferentes modalidades: voz, texto e visão. Em voz, temos modelos de speech-to-text e text-to-speech. Em texto, temos modelos de 30 bilhões e 100 bilhões de parâmetros, e, em visão, temos um modelo de inteligência documental, que é sobre o que vamos falar hoje. A Índia está, em grande parte, ausente do mundo legível por máquinas. De acordo com um estudo publicado sobre a distribuição de idiomas,

01:50 bem menos de 1% do corpus Common Crawl, usado para treinar modelos de ponta, tem representação de idiomas indianos. Talvez vocês tenham ouvido, em vários fóruns, laboratórios de ponta dizerem que a Índia é um de seus maiores mercados e um dos que mais crescem. Ainda assim, a Índia continua ausente dos dados dos modelos de ponta que são treinados aqui todos os dias. Por quê? Principalmente não

02:25 porque faltem dados ou porque o conhecimento não exista. É porque os dados nunca foram digitalizados, e estamos resolvendo esse problema na Sarvam. Por que a inteligência documental para idiomas indianos é difícil? Primeiro, o objetivo é extrair conhecimento, não apenas texto. Extrair texto puro sem coerência lógica não tem sentido. Segundo, nos sistemas de escrita indianos, a forma das palavras e dos idiomas que vocês veem é muito diferente daquilo que uma máquina vê.

02:58 Ou seja, os idiomas indianos têm conjuntos complexos de códigos Unicode combinados. Para acertar, o modelo de linguagem precisa ser forte nos 22 idiomas. Terceiro, a maioria dos idiomas indianos pode ser considerada de poucos recursos, o que faz com que hoje haja uma grande falta de dados para treinar esses modelos. Nossa resposta a isso é o Sarvam Vision, o primeiro modelo soberano de visão e linguagem da Índia

03:30 construído do zero: um modelo de três bilhões de parâmetros com arquitetura de espaço de estados, dados, computação e treinamento, tudo feito na Índia. Quando começamos o trabalho inicial, no fim de 2025, a maioria dos VLMs na área de OCR eram VLMs monolíticos. Eles faziam OCR no nível da página e, na época, apostamos numa abordagem contrária à tendência: focar no OCR em nível de bloco, acrescentando um harness documental ao modelo. Desde então, muitos modelos lançados

04:06 recentemente, em 2026, convergiram para o mesmo paradigma de harness mais modelo pequeno para OCR, o que mostra o valor da direção que escolhemos. O Sarvam Vision, em particular, tem dois módulos de harness: um para layout e outro para leitura, além de um VLM de modelo de espaço de estados para OCR em nível de bloco. Então, por que usamos espaço de estados e não um transformer? A maioria dos modelos de OCR hoje, como os VLMs gerais e os VLMs open source, como Qwen, Gemma etc., é baseada em transformers.

04:38 Adotamos uma abordagem alternativa, usando um SSM. Por quê? Ambos são, fundamentalmente, modelos sequenciais — transformers e SSMs —, mas têm mecanismos subjacentes muito diferentes. Em um transformer, cada token olha para todos os outros tokens, e a computação cresce com o quadrado do comprimento da sequência. Ou seja, há interações L × L, e a memória também cresce conforme a sequência aumenta.

05:12 Por outro lado, os SSMs têm um único estado. Eles mantêm um único estado ao longo da sequência, atualizando-o token por token. Como a computação cresce apenas linearmente, a memória dos SSMs permanece constante. Por que essa é a arquitetura certa para OCR? Isso depende mesmo das compensações envolvidas, especialmente para documentos longos, que podem chegar a 5 mil a 10 mil tokens visuais por página. A complexidade quadrática de computação e memória fica muito cara para inference.

05:48 Por outro lado, fazer OCR em nível de bloco com uma recuperação um pouco sujeita a perdas usando SSMs pode ser justificado para evitar os altos custos computacionais impostos pelos transformers. Então, como se treina isso na prática? Criamos um currículo em etapas, com quatro estágios, cada um construído sobre o anterior. O estágio um é o pré-treinamento somente com texto: 13 trilhões de tokens em inglês, idiomas indianos, texto, matemática e código.

06:23 Isso constrói o backbone de linguagem de três bilhões de parâmetros, e um prior linguístico forte é o que permite ao modelo resolver um texto borrado ou ambíguo na imagem. Da mesma forma que vocês conseguem ler uma palavra parcialmente borrada porque sabem qual palavra deveria estar naquele lugar. Por isso, focamos primeiro em desenvolver a competência do modelo de linguagem, antes mesmo de o modelo ver um único pixel. No estágio dois, fizemos

06:58 pré-treinamento contínuo com 300 milhões de pares de imagem e texto. Isso ensina capacidades gerais de visão ao modelo de linguagem e ensina como enxergar, como interpretar pixels e assim por diante. Depois vem o estágio três, em que fizemos fine-tuning supervisionado com 100 milhões de amostras de OCR. O estágio três se concentra principalmente em tornar um modelo geral de visão e linguagem forte em OCR. Isso inclui ter dados diversos nos 22 idiomas e em inglês, além de incorporar todos os tipos de componentes documentais, como tabelas,

07:33 equações, documentos manuscritos e assim por diante. O estágio quatro é o aprendizado por reforço, que ajuda a superar o limite do que o fine-tuning supervisionado consegue alcançar. Aqui vocês veem uma receita padrão. No entanto, a vantagem competitiva está em duas coisas abaixo das camadas de dados e de evals. A primeira é o mecanismo de dados.

08:09 Para a maioria dos 22 idiomas, não há dados rotulados prontamente disponíveis. Quando não existem dados rotulados, fica difícil construir o mecanismo de dados. E foi algo que fizemos extensivamente. Criamos pipelines para produzir dados sintéticos e dados documentais a partir de documentos reais, e também ajudamos a construir o pipeline para melhorar continuamente os dados usados no treinamento com base no desempenho nas evals e assim por diante. Então, atualmente estamos analisando ativamente

08:40 o paradigma de RLMs, enquanto exploramos as capacidades de visão agentic dos nossos modelos para os próximos lançamentos. A segunda vantagem competitiva são as evals. Não dá para alcançar o estado da arte se não for possível medir o desempenho do modelo. Selecionamos evals extensivas para garantir que aquilo que medimos seja realmente estado da arte e também realmente útil para os usuários finais. Então, quero dedicar só um minuto para falar sobre

09:13 nosso pipeline de aprendizado por reforço, o estágio quatro, porque muito do ganho vem do aprendizado por reforço. Essencialmente, em OCR, a correção é um problema legível por máquinas, certo? Muitos testes podem ser configurados para recompensar e pontuar os modelos com base nessas amostras que criamos. E, no mundo do OCR determinístico, tudo isso pode ser verificado por máquinas. Por isso, o aprendizado por reforço nos dá um grande impulso.

09:45 Amostre um grupo, pontue com testes unitários, reforce o valor médio a superar e repita o processo. Isso torna o RLVR para OCR muito, muito escalável. Depois de todo o treinamento do zero que fizemos e do esforço que dedicamos aos dados, conseguimos estabelecer o estado da arte em dois benchmarks globais de inglês: o primeiro é o CRB Bench e o outro é o OmniDocBench. No lançamento, tínhamos 84,3 no CRB e, depois, 93,2 no OmniDocBench.

10:19 Os modelos lançados desde então avançaram bastante, e em breve teremos um modelo mais forte também no ranking global. Em segundo lugar, e mais importante, nos 22 idiomas indianos temos uma liderança incontestável, mesmo em comparação com todos os modelos de ponta, como Gemini, ChatGPT, Opus e assim por diante. E foi aí que ampliamos significativamente a liderança e continuamos fortes em comparação com

10:50 todos esses modelos mais novos que surgiram. Agora, o Sarvam Vision faz parte do nosso ambiente de trabalho de inteligência documental agêntica, chamado Aure, no qual possibilitamos digitalizações agênticas com participação humana no processo, extrações e, depois, ingestões para diversos problemas posteriores de inteligência documental. Fornecemos pontuações de confiança, temos fundamentação em nível de bloco e também a capacidade de fazer revisão agêntica de provas

11:20 e assim por diante. Os benchmarks e o estado da arte têm seu lugar. Hoje, algumas das maiores empresas do mundo, de seguradoras e bancos a governos e organizações de preservação histórica, estão usando o Sarvam Vision para digitalizar mais de 35 milhões de páginas em inglês e em 22 idiomas indianos. O modelo está disponível como API e em instalações locais, além da plataforma agêntica.

11:51 Então, para concluir: até quatro meses atrás, não havia um modelo soberano da Índia. Hoje temos o Sarvam Vision, que foi treinado do zero e estabeleceu um novo estado da arte a um preço extremamente competitivo em comparação com todas as outras soluções, incluindo as de código aberto e as de código fechado. Primeiro, começamos resolvendo alguns dos problemas mais difíceis de inteligência documental em idiomas indianos. Em breve, lançaremos modelos de linguagem visual de propósito

12:24 geral, capazes de oferecer muito mais recursos de visão, e esperamos que todos vocês experimentem nossos modelos. Obrigado. [aplausos] Será um prazer responder a quaisquer perguntas. Sim. Sim. >> Sim. Com certeza. Em geral, a capacidade linguística nos 22 idiomas melhora bastante o inglês.

12:57 E isso se aplica a qualquer idioma com poucos recursos, não apenas aos idiomas indianos com poucos recursos. >> Sim.

13:27 Certo. Não seguimos exatamente nessa direção com este modelo, porque ele é voltado para visão e nosso foco é extrair informações ou conhecimento de documentos. Mas, sim, pode haver alguns paralelos com ajudar modelos a usar idiomas gerais para acelerar a programação também. Mas isso não faz parte do escopo deste trabalho. Sim.

14:10 Certo. Há duas coisas. Criamos documentos artificiais, chamados documentos sintéticos, para o pós-treinamento geral, que inclui SFT e RL. Mas, quanto à sua pergunta específica sobre RL, também é possível gerar documentos sintéticos. No entanto, o melhor é usar documentos do mundo real que sejam suficientemente complexos para ajudar a configurar testes unitários ou diferentes tipos de recompensas, certo? Por exemplo, uma recompensa

14:42 baseada na taxa de erro de caracteres, ou uma recompensa baseada na estrutura de uma tabela, em uma equação matemática ou em algo pertinente a um idioma, como recompensas gramaticais, e assim por diante. Depois, isso ajuda o modelo a melhorar iterativamente com base nas regras que ele consegue produzir em diferentes configurações. Sim. Sim.

15:21 Desculpe, você disse que é um grande fã do Chandra? >> Certo. Esse é de outro laboratório. Também sou um grande fã do laboratório que produziu o Chandra. Mas, sim, entendi sua pergunta sobre o benchmark de idiomas índicos. Vamos lançar o benchmark Sarvam Indic que criamos para 22 idiomas. Ele abrange um período enorme, desde os anos 1800 até os dias atuais, e inclui diferentes tipos de layouts e documentos em idiomas indianos. Dá para imaginar documentos com prosa, poesia, literatura, tabelas, finanças e todas essas

15:55 coisas. Em breve, também vamos disponibilizar esse benchmark publicamente. Então, a tradução e, novamente, a transliteração não estão diretamente

16:30 envolvidas aqui, porque, no OCR, o que nos importa é a extração de alta fidelidade, certo? Mesmo que haja um erro na imagem, queremos que esse erro seja extraído corretamente, e não que o modelo faça alterações arbitrárias. Por isso, isso não se aplica diretamente. Mas, sim, vemos muitos dados sendo produzidos por transliteração, inclusive para o treinamento de OCR. Ainda não há consenso sobre a qualidade desses dados e o quanto são úteis, e assim por diante. Sim.

17:27 Certo. Há algumas coisas a considerar. Primeiro, nenhum outro modelo de fronteira, seja de código fechado ou aberto, lida bem com documentos complexos em idiomas indianos, certo? Para um país com 1,44 bilhão de pessoas, é preciso conseguir atender às necessidades do dia a dia em problemas de inteligência documental, porque há muita papelada na Índia, certo? É um país em desenvolvimento, e ainda está sendo digitalizado enquanto falamos. Por isso,

18:00 é importante, antes de tudo, que haja representação e capacidade para digitalizar o país. Em segundo lugar, no treinamento, o que fizemos especificamente foi criar dados que possam ser acrescentados a muitos treinamentos posteriores. Estamos em um estágio muito inicial, em que a IA começa a se tornar uma parte regular das nossas vidas, e precisamos começar a criar os dados para, eventualmente, chegarmos a um ponto em que possamos ter agentes personalizados

18:34 no idioma que você prefere, no idioma que eu prefiro e da maneira que eu quiser. Para fazer tudo isso, precisamos começar de algum lugar, e os dados precisam ser criados. Se os dados tiverem boa qualidade, isso ajuda o modelo a alcançar o estado da arte. E, se um modelo está no estado da arte, então, para seguradoras, organizações governamentais e outras entidades que se preocupam com a soberania em IA, certo? Como órgão governamental, não posso ter um modelo implantado em outro lugar sem saber para onde vão os dados das transcrições. Preciso poder

19:09 controlar para onde os dados são enviados, quando são usados, quanto são usados e assim por diante. Portanto, a soberania é crucial. E, por isso, este modelo, que lançamos há apenas quatro meses, já está sendo usado para digitalizar 35 milhões de páginas. Isso mostra que o mercado esperava algo soberano nesse espaço, capaz de dar início à onda de digitalização com IA na Índia. Então, sim, são principalmente três aspectos: a soberania, a capacidade do próprio modelo e os dados

19:41 necessários para treinar esses modelos. Sim, é 40% em idiomas índicos, e o restante é em inglês e inclui matemática, código e assim por diante. >> Certo. Só uma pergunta por curiosidade.

20:24 Atualmente, as implantações que fizemos com este modelo estão em diferentes estados, tentando digitalizar idiomas regionais, além de todos os documentos em inglês e em idiomas mistos. Assim, em breve poderemos treinar com o feedback que recebermos das implantações atuais. Então, sim, também já iniciamos esse processo.

21:07 >> [música]

Transcrição original

[00:16] All right. Um, hi everyone. Good afternoon. I’m Krishna. Uh, and I’m a general manager at Servin. Um today I’m going to tell you how a three billion parameter model uh small enough to run on a single GPU gets state-of-the-art uh in document AI and beats models 100 times larger in size. It is also a slightly unusual model in two ways. Firstly u the language model

[00:46] used is not a standard transformer. Um and the entire model building from data to training to compute uh was done end to end in India and for English and for 22 official Indian languages uh which I think uh are personally uh uh one of the hardest document intelligence problems uh in the world right now. Um this is how we went from scratch to SOTA. Who are we? Uh we are serv uh a

[01:16] sovereign foundation model company uh in India. We work across different modalities voice, text and vision. Uh in voice we have speech to text and texttospech models. In text we have uh a 30 billion and 100 billion parameter uh uh models and in vision we have a document intelligence model which is what we are going to talk about today. Um, India is largely missing from the machine readable world. Um, according to a published language distribution study,

[01:50] well under 1% of the common crawl uh corpus on which frontier models are trained uh have uh um Indian language representation. Now in several forums you may have heard Frontier Labs say that um India is their um India is one of their larger uh uh and fastly growing markets and to that end um India is still missing uh in terms of data from frontier models that uh um are being trained every day here. Now why is that? Uh primarily not

[02:25] because there is uh a lack of data or the knowledge does not exist. It is because the data has never been digitized and we are solving that problem at server. Um why is Indic document intelligence hard? Uh firstly the goal is that of knowledge extraction not just purely text extraction. Uh extracting pure text without logical coherence is meaningless. And secondly in index scripts the shape of uh the words and

[02:58] the language you see are very different from what a machine sees. that is Indian languages have a complex uh set of uni codes fused together to get right the language model needs to be strong at all 22 languages. Third, majority of Indian languages can be considered low resource due to which there is a lot of uh um lack in data today to train these models. Our answer to this is server vision India’s first sovereign vision language

[03:30] model built from scratch. um a three billion parameter model with state space architecture data compute and training all of which done in India. When we started the initial work in late 2025 most VLMs uh in the OCR space were monolith VLMs. uh they performed page level OCR and we at the time took a contrarian bet to focus on block level OCR instead adding a document hardness around the model. Um a lot of models since then uh released uh

[04:06] uh recently in 2026 have converged onto the same uh hardness plus small model paradigm for OCR which shows a lot of value in the direction we uh set off. Serverom vision in particular uh has two hardness modules one for layout and one for reading hardness and a state space model uh VLM for block level OCR. Again um today uh why do we use state space and not a transformer? Um most OCR

[04:38] models today uh like general VLMs, open source VLMs like Quen, Gemma etc. are all transformers based. We took an alternate approach uh using an SSM. Why? Both are fundamentally sequenced models transformers and SSMs but with very different underlying mechanics. A transformer has every token look at every other token where the compute grows with square of the sequence length. Uh that is the L cross L interactions and the memory goes as the

[05:12] sequence grows as well. Now on the other hand, SSMs have a single state. They maintain a single state through the sequence updating it token by token. Now as compute grows only linearly, the memory stays constant for SSMS. Now why is this the right uh architecture for OCR? It really depends on the uh uh trade-offs here uh for long documents in particular which can lead up to uh uh 5 to 10,000 uh visual tokens per page and quadratic complexity of you know uh

[05:48] compute and memory becomes very expensive for inference. On the other hand, um doing block level OCR with somewhat of a lossy recall using SSMs can be justifi justified to uh um avoid high compute costs imposed by transformers. So how do you actually train this? We built a staged curriculum four stages each uh building on the last um stage one is texton pre-training uh 13 trillion tokens across English, Indian

[06:23] language, text, math and code. This builds the three billion parameters language backbone and a strong language prior is what lets the model resolve a smudged or an ambiguous text from the image. the same way you can read a half blurred word because you know which word is supposed to uh u be at the right place. So we focused on building the competence of the language model first uh before the model ever even sees a pixel. Stage two is where we performed

[06:58] continual pre-training uh on 300 million image text pairs. This teaches the language model general vision capabilities and teaches how to see how to interpret pixels and so on. Then comes stage three where we performed uh supervised fine-tuning on 100 uh uh million uh OCR uh samples. Now the um stage three is primarily focused on letting a general VM model become strong at OCR. What that includes is having diverse data across all 22 languages and

[07:33] English and also incorporating all kinds of uh uh document components such as tables and uh um equations and handwritten documents and so forth. Now and stage four is re reinforcement learning which helps push past the ceiling of whatever uh supervised fine-tuning is able to achieve. Here you will see this is a standard recipe. However, the moat here is the two things underneath the data layer and the eval layer. Um the first is the data engine.

[08:09] For most of the 22 languages, there is no label data available readily. When label data does not exist, building the data engine becomes hard. And that is something we have done extensively. We’ve built pipelines to create synthetic data and doc data from real documents and also helped build the uh pipeline for continuously improving the data that goes into training based on the eval performance and so on. So we are currently actively

[08:40] looking at the paradigm of RLMs um as uh uh we explore the agentic vision capabilities for our models in the upcoming releases. The second mode is the eval. You cannot reach state-of-the-art if uh um you cannot measure how well your model performs. We have curated extensive evals to ensure what we are measuring is truly sota and also truly meaningful in terms of usefulness for end uh uh users. So I want to take just a minute to dwell on

[09:13] our RL pipeline uh stage four because uh a lot of gain comes from RL. Essentially in OCR correctness is a machine readable problem right a lot of tests can be set up to uh um reward and score the models against uh uh these uh samples that you create. And in the world of deterministic OCR, these are all machine uh uh verifiable. Hence, RL gives us a major boost.

[09:45] Sample a group, score with unit tests, reinforce what the average uh uh value to beat is, and then repeat the process. And this makes RLVR for OCR very very scalable. Now after all the from scratch training we’ve done and the data effort we’ve made we were able to establish sot in two of uh the global English benchmarks one is CRB bench and the other is omnidoc bench at launch we were at 84.3 on CR and then 93.2 into on omnidok

[10:19] bench. Um the models uh that have released since have moved the needle quite a bit and we’ll soon have a a stronger model in the global leaderboard as well. Secondly and more importantly um on 22 Indian languages we have an unbeaten lead even compared to all the frontier models such as Gemini and uh chat GPT and Opus and so on. And this is where we’ve extended the lead significantly and we remain uh uh strong compared to

[10:50] all of these newer models that have come in. Now server vision pars our agentic document intelligence workbench called aure where we enable human in the loop agentic digitizations uh and uh extractions and then injections for various uh downstream uh document intelligence problems. We provide confidence scores um and we uh have block level grounding and then also the ability to do uh agentic proof

[11:20] reading etc. Now benchmarks and soda are uh uh one thing they have their place. Today some of the largest enterprises in the world from insurance to banking to governments to historical preservation organizations are using server vision to digitize more than 35 million pages across English and uh uh 22 Indian languages. The model is available as API and on prem and then

[11:51] the agentic platform. So in conclusion until 4 months ago uh there was no sovereign model uh from India. Today we have server vision which was trained from scratch and has established sot um at a price point that is extremely competitive with uh all the other solutions including open and close source. Uh first we’ve started by uh uh solving some of the hardest problems for Indian language document intelligence. Soon uh we’ll be releasing general

[12:24] purpose uh VLMs which are capable of much more uh uh vision capabilities and uh look forward to uh uh all of you trying out our models. Thank you. [applause] Happy to answer any questions. Yeah. Yes. >> Yes. Absolutely. Uh in general, the language capability of the 22 languages enhances English uh by quite a margin.

[12:57] And this is applicable to any low resource language, not just Indian low resource languages. >> Yeah.

[13:27] Right. Um we don’t quite go in that direction with this model because this is a vision focused uh uh model wherein we are focused on extracting information or knowledge from documents. But yes, there could be uh some parallels to um helping models use general languages to speed up coding as well. But yeah, that’s not the uh periphery of this uh uh work. Yeah.

[14:10] Right. Um so there are two things uh we uh create artificial documents synthetic documents as they are called for general post-raining uh that includes SFT and RL. Um however coming to your specific question on RL uh we don’t uh you can generate uh synthetic documents there as well. However, um the best thing to do is to take real world documents complex enough that uh help you set up unit tests or different kinds of uh uh rewards, right? like say a a reward

[14:42] based on character error rate or a a reward based on table structure or a math equation or something uh that is pertinent to a language or like grammar rewards or so on and then help the model iteratively improve based on uh um rules that the model is able to produce at different uh u settings. Yeah. Yes.

[15:21] Sorry, did you say big fan of Chundra? >> All right. Uh, that’s from a different lab. Uh, I’m also a big fan of the lab that produced Chundra. But yes, took your question uh on Indic benchmark. Yes, we will release the server indic benchmark that we have created for 22 languages and it uh spans um a a huge time period starting from 1800s until modern day and also different kinds of layouts, different kinds of documents in Indian languages. You can imagine documents with pros, poetry, literature, uh tables, finance and all of those

[15:55] things. We’ll soon release that benchmark uh in public as well. So translation is again uh transliteration is again not directly

[16:30] involved here because in OCR what we care about is high fidelity extraction right uh you want even if there is a mistake in an image you want that mistake to be extracted correctly and not the model uh uh making changes at whim uh hence that is not directly applicable but yes uh what we see is a lot of data that is coming through transliteration for even OCR training now and the um jury is out on what is the quality of that data and how useful it is etc Yeah.

[17:27] Right. Um there are few things to consider. Um first is no other model frontier uh closed source or open model does well with complex Indian language documents right so for a size of uh for a country with 1.4 4 billion people you want to be able to address their day-to-day lives in uh uh terms of document intelligence problems because there is a lot of paperwork in India right it is a up and cominging country and it’s still being digitized as we

[18:00] speak and it’s important that representation or ability to digitize the country exists to begin with. Secondly on uh the training side what we have uh uh done in particular is to create data that can be added to a lot of training downstream. So uh we are at a very early stage in terms of AI becoming you know a regular parts of our lives and we need the data to start to be able to eventually get to a place where we can uh have personalized agents

[18:34] in the language you prefer in language I prefer and however I want in uh uh in some so to do all of that we need to start somewhere and the data needs to be created and if the data is of good quality then that helps the model become sota and If a model is sot then uh from uh insurance agencies to government organizations to others who care about sovereignity in AI right uh as a government body I cannot have a model deployed elsewhere and I don’t know where the data is going for uh uh the transcriptions so I need to be able to

[19:09] control where the data is sent and when it is used how much it is used etc. So sovereignity becomes very crucial and hence this model really is now uh uh like it’s been what four months since we launched and already we are we are digitizing 35 million pages. So that is that shows that the market was waiting for something sovereign in this space that can really kickstart uh the AI digitization wave in India. So yeah primarily like three aspects one on uh sovereignity the other is the model uh capability itself and the third is data

[19:41] uh that is required to train these models. Yeah, it is it is uh um 40% uh indic and then uh the rest is English and comprises of math and code etc. >> All right. Just a curious question.

[20:24] Um currently the uh the deployments we’ve made uh with this model are in different states uh uh trying to digitize regional languages and along with all the English and mixed language uh uh documents and hence we’ll soon uh be able to train with the um uh feedback we get from uh the current deployment. So yeah, we have started that uh pipeline as well.

[21:07] >> [music]