O momento GPT-3 do Google para séries temporais e previsão (Times FM 3.0)

Autoria: Prompt Engineering · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Google’s GPT-3 Moment for Time Series & Forecasting (TimesFM 3.0) · Canal: Prompt Engineering · 13:42 · Assistir no YouTube

Tópicos: Aplicações empresariais de IA, Avaliação e benchmarks de IA, Dados, bancos de dados e embeddings, Modelos de IA

Resumo

O vídeo apresenta o Times FM 3.0, modelo do Google para previsão de séries temporais que pode fazer previsões zero-shot e incorporar informações futuras conhecidas, como feriados e promoções. Em testes com dados de transporte público de Nova York e uma empresa simulada, as versões 2.5 e 3.0 superaram uma linha de base sazonal em previsões de padrões existentes. Porém, ao avaliar cenários de planejamento, as duas versões deram respostas opostas, e o agent escolheu a opção errada em duas de três execuções. A conclusão é que previsões zero-shot podem ser úteis para extrapolar padrões conhecidos, mas decisões sobre mudanças inéditas exigem cautela, testes e validação da incerteza.

Pontos-chave

Times FM é um modelo transformer decoder-only treinado especificamente com dados de séries temporais; o Google afirma que a versão 3.0 foi pré-treinada com mais de um trilhão de pontos temporais.
O modelo divide o histórico em blocos de 32 passos temporais, chamados patches, e prevê os próximos blocos com uma mediana e uma faixa de incerteza.
A versão 3.0 permite fornecer séries relacionadas, covariáveis passadas e informações futuras conhecidas, como feriados e promoções.
Nos testes com serviços de transporte de Nova York, as duas versões reduziram o erro de previsão em cerca de 25% em relação a uma linha de base sazonal; incluir o calendário de feriados melhorou os resultados.
Na simulação de uma empresa, Times FM 3.0 previu a receita com erro inferior a 2% em um teste de dois meses e inferior a 6% em uma previsão feita um trimestre depois.
Apesar da boa precisão em padrões existentes, as versões 2.5 e 3.0 discordaram sobre o efeito de aumentar o orçamento de marketing; o agent escolheu o plano menos rentável em duas de três execuções.
Modelos zero-shot não conseguem estimar com segurança o efeito de uma variável que nunca mudou no histórico, como o preço de um produto.
Mudanças muito além dos dados históricos podem fazer as versões divergirem; é importante comparar previsões hipotéticas com campanhas passadas e testar as faixas de incerteza com backtests.
Segundo o vídeo, os pesos do Times FM 3.0 são apenas para uso não comercial em hospedagem própria, enquanto o acesso comercial é oferecido pelo Google Cloud e pelo BigQuery; a versão 2.5 usa licença Apache 2.0.

Capítulos

Início	Capítulo	Resumo
00:00	O que é o Times FM e como ele prevê séries temporais	O vídeo apresenta o modelo, explica a previsão zero-shot e descreve sua abordagem de patches e faixas de incerteza.
03:40	O que mudou na versão 3.0 e testes com transporte público	A versão 3.0 incorpora informações futuras conhecidas, e os testes com dados de transporte de Nova York avaliam previsões com e sem calendário de feriados.
06:51	Simulação de negócio e previsões de receita	O vídeo usa Neon e uma empresa simulada para testar previsões de receita sem vazamento de dados e introduz decisões de planejamento.
09:30	Cenários hipotéticos e divergência entre versões	Um agent compara propostas de marketing e preço, mas as versões do Times FM divergem sobre o efeito do orçamento e levam à escolha do plano menos rentável.
11:38	Limitações, licenças e conclusão	O vídeo resume os limites de extrapolação, as cautelas com mudanças fora do histórico e a calibração da incerteza, além de comparar as licenças das versões.

Citações

A terceira versão agora consegue considerar coisas que você já sabe sobre o futuro, como um próximo feriado ou uma promoção planejada. — 00:31

A maneira mais fácil de pensar nisso é como um preenchimento automático para gráficos. — 02:35

As duas versões do Times FM deram respostas completamente opostas. — 10:35

Um modelo de séries temporais só é tão bom quanto as variações históricas disponíveis nos seus dados. — 13:12

Conceitos e entidades

TimesFM (modelo): Modelo do Google treinado especificamente para prever séries temporais.
TimesFM 2.5 (modelo): Versão anterior do modelo que prevê uma série por vez a partir de valores passados e tem licença Apache 2.0, segundo o vídeo.
TimesFM 3.0 (modelo): Versão do modelo que aceita várias séries relacionadas e informações futuras conhecidas para gerar previsões.
Google (empresa): Empresa responsável pelo desenvolvimento do Times FM.
Neon (ferramenta): Plataforma de backend com Postgres usada no vídeo para criar branches isoladas e testar cenários hipotéticos.
Gemini (modelo): Modelo usado como agent para executar previsões e comparar propostas de planejamento na simulação.
ARIMA (conceito): Método clássico de previsão citado como exemplo de modelo ajustado individualmente a uma série.
zero-shot forecasting (conceito): Previsão feita sem treinar o modelo com os dados específicos do usuário.
time series forecasting (conceito): Previsão de valores futuros em dados ordenados ao longo do tempo.
covariates (conceito): Variáveis relacionadas à série, como feriados e promoções, que podem ajudar a explicar ou prever seus valores.
Neon branches (ferramenta): Cópias isoladas do banco de dados usadas no vídeo para testar planos sem alterar os dados de produção.

Tradução completa (pt-BR)

00:00 É possível prever o futuro com IA? Os modelos de previsão de séries temporais já fazem isso. Isso inclui prever coisas como a receita diária, a carga dos servidores na nuvem ou a demanda por estoque. E essa é uma das maiores aplicações práticas de machine learning tradicional. Embora os foundation models tenham dominado completamente linguagem, código, imagens e vídeo, a maioria das equipes de previsão ainda precisa treinar e manter um modelo clássico separado para cada série que acompanha. O Google lançou recentemente o Times FM 3.0 para mudar isso. É um foundation

00:31 model criado especificamente para séries temporais, que faz previsões zero-shot sem nenhum treinamento com os seus próprios dados. E a terceira versão agora consegue considerar coisas que você já sabe sobre o futuro, como um próximo feriado ou uma promoção planejada por uma empresa. A previsão tem aplicações práticas. Aqui, ela está sendo executada sobre dados reais de passageiros diários do metrô de Nova York, prevendo as próximas quatro semanas em uma fração de segundo. Zero-shot, sem nenhum treinamento. Agora, a grande questão é

01:02 se um modelo que nunca viu os seus dados é realmente confiável o bastante para ser usado em uma empresa. Então, testei duas versões desse modelo. E descobri que elas conseguem superar um baseline clássico sem ajustes e chegam a menos de 2% de diferença na receita. As duas versões me dão respostas completamente opostas. Essa é uma ressalva muito importante se você quiser usar esse modelo em produção. Então, neste vídeo, quero mostrar como o Times FM funciona por dentro, o que

01:32 mudou nesta nova versão e onde uma previsão zero-shot falha quando você a usa para tomar decisões de planejamento. Então, vamos começar pelo que exatamente o Times FM é e o que não é. Ele é um transformer somente decodificador do Google Research, treinado exclusivamente com dados de séries temporais. Agora, compare isso com a forma como a previsão funciona hoje na maioria das empresas. Você pega uma série, ajusta um modelo como ARIMA ou uma árvore de gradient boosting, depois o treina e ajusta, e então faz tudo isso de novo

02:04 para a série seguinte. Em teoria, se você tem mil lojas, isso significa que precisa treinar mil modelos separados para fazer a manutenção. O Times FM está tentando mudar isso. Agora, a objeção óbvia é que um único modelo geral não pode conhecer a sua empresa melhor do que um modelo ajustado ao seu próprio histórico. E esse é, de fato, um argumento válido, exceto que um modelo de previsão não precisa conhecer a sua empresa. Ele precisa reconhecer o formato dos seus números ou os padrões. Precisa ser capaz

02:35 de identificar ciclos semanais, quedas em feriados, tendências lentas e picos repentinos. E essas são coisas que se repetem em quase todos os domínios. Para identificar esses padrões e formatos, o Times FM divide o seu histórico em patches de 32 passos temporais, e cada patch se torna um único token. A maneira mais fácil de pensar nisso é como um preenchimento automático para gráficos. Assim como um modelo de linguagem prevê os próximos tokens em uma sequência, o Times FM prevê o próximo patch do seu gráfico. E, em vez de retornar uma única linha,

03:07 ele gera uma previsão mediana, além de um intervalo de incerteza em torno de cada dia. Assim, você consegue ver tanto o cenário mais provável quanto o quão ruim pode ser o cenário desfavorável. A razão pela qual ele consegue fazer isso zero-shot é a escala. Segundo o Google, o Times FM 3.0 foi pré-treinado com mais de um trilhão de pontos temporais, em conjuntos de dados reais e sintéticos. Então, quando ele vê a sua série, já aprendeu como esses ciclos e picos se comportam nesse conjunto de dados gigantesco. Vamos

03:40 ver o que realmente mudou nesta nova versão. Como vou executar as versões 2.5 e 3.0 lado a lado, e elas lidam com planos futuros de duas maneiras diferentes. O Times FM 2.5 foi lançado no ano passado e, por si só, prevê apenas uma série de cada vez, usando valores passados. Se você quiser levar em conta um feriado futuro ou uma promoção, precisa executar uma etapa separada, fora do modelo, que primeiro ajusta uma regressão simples a essas entradas; então, o Times FM

04:10 prevê aquilo que é habitual e que a regressão não explicou. Na versão 3.0, todo esse mecanismo passa para dentro do modelo. Você pode fornecer várias séries relacionadas de uma só vez, junto com covariáveis passadas e entradas futuras que já conhece. Dentro do transformer, cada token leva em conta essas entradas futuras. Assim, o modelo vê que um feriado ou uma promoção está chegando antes de prever aquela semana. E gera todo o horizonte de previsão em uma única passagem, em vez de trecho por trecho.

04:43 No papel, o Google diz que o 3.0 ocupa o primeiro lugar entre os foundation models em três benchmarks públicos de previsão. Então, vamos testar essa afirmação com dados reais que não poderiam estar nos dados de treinamento do modelo. Estes são os dados diários de passageiros do metrô, dos ônibus e dos trens suburbanos de Nova York. Vou testar os dois modelos lado a lado, porque há coisas muito interessantes não só sobre como eles se comportam, mas também sobre suas licenças. Então, forneço às duas versões o histórico até o fim de agosto e peço

05:15 uma previsão para as próximas quatro semanas. Escolhemos essa data de corte de propósito. O Times FM 3.0 foi treinado até o fim de agosto, o que significa que setembro não poderia estar nos dados de treinamento. E a data específica para observar aqui é o Labor Day. Quando você faz uma previsão simples usando apenas o histórico, o modelo prevê uma segunda-feira normal para o Labor Day, porque nada nas semanas recentes indica que o feriado está chegando. Quando forneço o calendário de feriados como uma entrada futura, a

05:47 previsão cai imediatamente para aquela segunda-feira. Se você observar, ela não cai até o nível mais baixo, mas o modelo reconhece claramente que o Labor Day é diferente. Então, dá para ver que as informações contextuais são essenciais para a previsão. Aqui vai outro experimento. Executei isso em seis datas de corte e nos sete serviços de transporte. Sem nenhum dado de negociação, as duas versões reduziram o erro de previsão em cerca de 25% em comparação com um baseline sazonal. E

06:20 adicionar o calendário de feriados melhorou ainda mais os dois modelos. Nesse conjunto de dados, as duas versões ficaram surpreendentemente próximas. A versão 2.5, na verdade, aproveitou um pouco melhor as entradas adicionais e teve um intervalo de incerteza mais confiável. Já a versão 3.0 foi várias vezes mais rápida. Então, para dar continuidade a padrões existentes em dados reais, você consegue uma previsão sólida sem ajustes. E, se quiser mais testes empíricos de foundation models para dados estruturados e séries temporais como esta, não deixe de

06:51 se inscrever no canal, porque vem muito mais conteúdo sobre séries temporais. Agora, uma previsão só se torna útil quando é executada todos os dias com os dados da sua própria empresa. E quando você consegue testar planos hipotéticos sem mexer em produção. É aí que entra o patrocinador de hoje, Neon. Neon é uma plataforma de backend para apps e agents, que reúne Postgres, autenticação, armazenamento e funções de agendamento em um só lugar. Certo, vamos analisar um ambiente de testes que criei. Agora, todo o

07:24 histórico e os planos futuros da empresa ficam no Postgres da Neon. E, sempre que um agent quer testar um cenário hipotético, ele cria uma ramificação isolada na Neon, um clone completo do banco de dados com cópia na gravação, em cerca de um segundo. Você pode experimentar usando o link na descrição. Falarei mais sobre isso adiante no vídeo. Para ver o que acontece quando um agent de IA usa o Times FM para tomar decisões empresariais reais, simulei uma empresa de software com atuação em várias regiões chamada Lumen, com

07:55 quase quatro anos de testes diários e receita, além de uma tabela de planejamento que acompanha gastos com marketing, promoções, preços de tabela e feriados. Como criei essa simulação, também sei o valor exato do que acontece em qualquer plano, então podemos avaliar os modelos com justiça. Primeiro, quis verificar a precisão de referência sem vazamento de dados. Então, criei uma ramificação do banco de dados tal como estava em 31 de agosto, quando setembro e outubro

08:26 ainda não existiam. E executamos os dois modelos diretamente a partir do Postgres na Neon. O Times FM 3.0 prevê os próximos dois meses em menos de um segundo e chegou a menos de 2% de diferença da receita real, o que é muito bom. Depois, configurei um pipeline noturno em que uma função agendada da Neon coloca o trabalho na fila. E, quando gerei a previsão de 31 de outubro, um trimestre inteiro depois, o Times FM 3.0 ainda ficou a menos de 6% de diferença na receita, com as duas versões mantendo

08:57 dentro dos intervalos previstos. Como as previsões de referência parecem tão precisas, é muito tentador confiar no modelo para questões estratégicas. E isso nos leva à pergunta sobre planejamento do início do vídeo. No nosso cenário, o marketing tem duas propostas para o próximo trimestre, mas você só pode financiar uma. Então, a proposta A torna a promoção da Black Friday mais agressiva e sugere, ou recomenda, que ela dure o dobro do tempo. A proposta B mantém a Black Friday como está e

09:30 dobra o orçamento de marketing de janeiro. Ao mesmo tempo, o financeiro quer saber o que acontece se você aumentar o preço do nosso produto em 1º de janeiro. Esse tipo de decisão de negócios é o que você precisa tomar e para o qual precisa criar modelos que prevejam o que vai acontecer. Então, no nosso caso, passei essa decisão exata para um agent do Gemini. Para cada proposta, o agent cria uma branch separada no Neon, atualiza a tabela do plano futuro nessa branch e executa o Times FM 2.5 e o

10:03 3.0. Assim, os dados de produção nunca são afetados; conseguimos executar os experimentos em branches separadas. Esse é um ótimo recurso que o Neon oferece. Certo, vamos ver exatamente o que aconteceu. Na questão do aumento de preço, o agent fez a coisa certa. Ele inspecionou a tabela histórica, viu que o preço de tabela nunca tinha mudado em quatro anos e disse ao financeiro para não confiar em nenhuma previsão para esse aumento de preço. Mas, no orçamento de marketing de janeiro, as duas versões do

10:35 Times FM deram respostas completamente opostas. Quando você dobra os gastos de janeiro, o Times FM 3.0 quase não reagiu, enquanto a versão 2.5 previu um grande salto na receita. O agent confiou no 3.0 e recomendou a proposta A. Quando conferi os resultados reais, a proposta B gerou mais receita, e o agent escolheu o plano errado em duas de três execuções. A razão pela qual o agent foi enganado é que os resultados reais ficaram bem no

11:05 meio. A versão 3.0 subestimou o aumento do orçamento, enquanto a 2.5 o superestimou. E, para garantir que isso não fosse apenas uma peculiaridade da forma como formatei os números, testei quatro maneiras diferentes de codificar os gastos de marketing, e o Times FM 3.0 reagiu menos do que deveria em todas elas. Isso nos leva às quatro limitações que você precisa conhecer antes de colocar modelos fundamentais de séries temporais em produção, porque é aí que uma previsão confiante demais pode custar dinheiro de verdade.

11:38 Primeiro, o modelo só consegue extrapolar variáveis que realmente mudaram no seu histórico. Se uma variável como o preço nunca mudou nos seus dados anteriores, nenhum modelo zero-shot pode saber qual é a elasticidade-preço dos seus clientes. Então, você vai precisar realizar pequenos experimentos controlados. Para ser justo, o mesmo vale para modelos tradicionais de machine learning, porque eles são ajustados aos seus dados. Segundo, fique atento a grandes mudanças fora da distribuição. Quando uma proposta aumenta o orçamento ou a promoção muito

12:09 além do seu intervalo histórico, as versões 2.5 e 3.0 podem divergir bastante. Portanto, sempre faça uma verificação de plausibilidade de uma previsão hipotética comparando-a com o aumento de vendas das suas campanhas anteriores, em vez de deixar uma única versão do modelo escolher a vencedora. Terceiro, calibre o intervalo de incerteza. Nos dados do metrô de Nova York, os intervalos de confiança da versão 3.0 eram um pouco estreitos demais. Portanto, sempre faça um backtest primeiro em uma branch histórica para verificar com que frequência a realidade fica dentro da

12:41 faixa. E, em quarto lugar, a licença. Os pesos do Times FM 3.0 não eram para uso comercial se você os hospedasse por conta própria. Agora, você tem acesso comercial por meio do Google Cloud e do BigQuery. Já a versão 2.5 é open source sob a licença Apache 2.0. Certo, voltando à nossa pergunta central: modelos fundamentais que nunca viram seus dados conseguem fazer previsões boas o bastante para que você confie neles? Para continuar os padrões existentes, a resposta é sim. As duas versões superaram a previsão de referência clássica em zero-shot

13:12 e permaneceram dentro dos intervalos por um trimestre inteiro, com o 3.0 sendo significativamente mais rápido. Mas, para decisões de planejamento hipotéticas, um modelo de séries temporais só é tão bom quanto as variações históricas disponíveis nos seus dados. Então, se você trabalha com previsão ou dados estruturados em produção, conte nos comentários abaixo como lida com cenários hipotéticos. E estou preparando mais testes desse tipo com dados de negócios. Então, se quiser ver o próximo

13:42 vídeo, não deixe de se inscrever no canal. Séries temporais são apenas metade dos dados estruturados de negócios. Neste vídeo que está na tela, testei recentemente como modelos fundamentais lidam com dados tabulares. Enfim, espero que este vídeo tenha sido útil. Obrigado por assistir. E, como sempre, até o próximo.

Transcrição original

[00:00] Can you predict future with AI? Time series forecasting models have been doing that. This includes predicting things like daily revenue, cloud server loads, or inventory demand. And it’s one of the biggest real-world application of traditional machine learning. While foundation models have completely taken over language, code, images, and video, most forecasting teams still have to train and maintain a separate classical model for every single series they track. Google recently released Times FM 3.0 to change that. It is a foundation

[00:31] model built specifically for time series that forecasts zero-shot without any training on your own data. And the third version uh can now look ahead at things you already know about the future, like an upcoming holiday or a planned promotion for a business. So, forecasting has real-world applications. Here it is running on a real daily ridership from New York Subway, where forecasting the next 4 weeks in a fraction of a second. Zero-shot without any training. Now, the big question is

[01:02] whether a model that has never seen your data is actually reliable enough to run a business on. So, I tested two versions of this model. And turns out they can beat classic baseline out of the box and landed within 2% on a revenue basket. The two versions give me completely opposite answers. Which is a very important caveat if you want to use this model in production. So, in this video, I want to show you how Times FM work under the hood, what

[01:32] change in this new version, and where a zero-shot forecast breaks when you use it to make planning decisions. So, let’s start with what exactly Times FM is and what it’s not. So, it is a decoder-only transformer from Google research trained exclusively on time series data. Now, compare that with how forecasting works in most companies today. You can take one series, fit a model like ARIMA or a gradient boosting tree, then you train tune it, and then do that all over

[02:04] again for the next series. So, theoretically, if you have 1,000 stores, this is going to mean that you need to train 1,000 separate models to maintain this. Times FM is trying to change it. Now, the obvious objection is that one general model cannot possibly know your business better than a model fitted to your own history. And that is actually a fair point, except a forecasting model does not needs to know your business. It needs to recognize the shape of your numbers or patterns. It needs to be able

[02:35] to look at weekly cycles, holiday dips, slow trends, and sudden spikes. And these are the things that repeats across almost every domain. To read those patterns and shapes, Times FM cut your history into patches of 32 time steps, and each patch becomes a single token. The easiest way to think about it is an autocomplete for charts. Just like a language model predicts the next tokens in a sequence, Times FM predicts the next patch of your chart. And instead of returning a single line,

[03:07] it outputs a median forecast plus an uncertainty range around every single day. So, you can see both the likely case and how bad this downside could get. The reason it can do this zero shot is scale. According to Google, a Times FM 3.0 was pre-trained on more than a trillion time points across both real and synthetic data sets. So, by the time it sees your series, it has already learned how those cycles and spikes behave in this humongous data set. Let’s

[03:40] look at what actually changed in this new version. Uh because I’m going to be running both the 2.5 and 3.0 side by side, and they handle future plans in two two different ways. Times FM 2.5 came out last year, and by itself, it only forecasts one series at a time from past values. If you want to account for a future holiday or a promotion, you have to run a separate step outside the model that fits a simple regression on those inputs first, and then Times FM

[04:10] forecasts whatever is usual the regression did not explain. In version 3.0, that entire mechanism moves inside the model. You can feed it multiple related series at once along with past covariates and future inputs you already know ahead of time. Inside the transformer, each token looks ahead at those upcoming inputs. So, the model sees a holiday or a promotion coming before it predicts that week. And it generates the entire forecast horizon in a single pass instead of chunk by chunk.

[04:43] Now, on paper, Google says 3.0 ranks first among foundation models across three public forecasting benchmarks. So, let’s test that claim on a real-world data that could not possibly be in its training data. This is the daily ridership for New York subway, buses, and commuter rails. I’m going to be testing both of these models side by side because there are some really interesting things about not only how the models behave, but also their licenses. So, I give both versions the history up to the end of August and ask

[05:15] for the next 4 weeks. Now, we picked that cut-off on purpose. Times FM 3.0 was trained at the end of August, which means September couldn’t exist in the training data, and the specific date to watch here is the Labor Day. When you predict a plain forecast with history alone, uh the model predicts a normal Monday on Labor Day because nothing in the recent weeks tell it it that the holiday is coming. When I pass in the holiday calendar as a future input, the

[05:47] forecast immediately drops for that Monday. Now, if you look at it, it doesn’t drop all the way to the bottom, but the model clearly recognizes that Labor Day is different. So, you can see contextual information is critical for forecasting. Here’s another experiment. I ran this across six cutoff dates and all seven transit services. Now, without any trading data at all, uh both versions cut the forecasting error by about 25% compared to a seasonal baseline. And

[06:20] adding the holiday calendar improved both models further. On this data set, the two versions were surprisingly close. Version 2.5 actually made slightly better use of the extra inputs and had had more reliable uncertainty range. While version 3.0 ran several times faster. So, for continuing existing patterns in real data, you can get a strong forecast out of the box. And if you want more empirical tests on the foundation models for structured data and time series like this, make

[06:51] sure to subscribe to the channel. Because a lot more on time series is coming. Now, a forecast only becomes useful when it runs on your own business data every day. And when you can test what if plans without touching production. This is where today’s sponsor, Neon, comes in. Neon is the backend platform for apps and agents, which combines Postgres with auth, storage, and scheduling functions in one place. Okay, so we’re going to look at a test bed that I created. Now, all of the

[07:24] company’s history and future plans live in Postgres on Neon. And whenever an agent wants to test a what if scenario, it spins off an isolated Neon branch, a full copy-on-write clone of the database in about a second. Uh you can try it out using the link the description. More on that later in the video. To see what happens when an AI agent uses Times FM to make real business decisions, I simulated a multi-region software business called Lumen with

[07:55] almost 4 years of daily trials and revenue, plus a planning table that tracks marketing spends, promotions, list prices, and holidays. Now, because I built this simulation, I also know the exact ground truth for what happens under any plan, so we can grade the models fairly here. First, I wanted to verify a baseline accuracy with zero data leakage. So, I branched the database as it looked on August 31st, where September October

[08:26] do not exist. And we ran both models straight from Postgres on Neon. So, Times FM 3.0 forecasts the next 2 months in under a second and it landed within 2% of the actual revenue, which is pretty great. And then, I set up a nightly pipeline where a scheduled Neon function queues the job. And when I created the October 31st forecast a full quarter later, Times FM 3.0 was still within 6% on revenue, with both versions staying

[08:57] inside their predicted ranges. Because the baseline forecasts uh looks so accurate, it’s very tempting to trust the model on strategy questions. And that brings us to the planning question from the start of the video. Now, in our scenario, marketing has two proposals for the upcoming quarter, but you can only fund one. So, proposal A makes the Black Friday promotion deeper and uh suggests or recommends to make it twice as long. Proposal B keeps Black Friday as is and

[09:30] doubles the January marketing budget instead. At the same time, finance wants to know what happens if you raise our product’s price on January 1st. These are kind of the business decisions that you need to make and create models to forecast what is going to happen. So, in our case, I handed this exact decision to Gemini agent. For each proposal, the agent creates a separate Neon branch, updates the future plan table on that branch, and runs both Times FM 2.5 and

[10:03] 3.0. So, production data is never we are able to run the experiments on separate branches. This is a great feature that Neon offers. Okay, so let’s look at what exactly happened. On the price increase question, the agent actually did the right thing. It inspected the historical table, saw that the list price had never changed once in 4 years, and told finance not to trust any forecast for that price hike. But, on January marketing budget, the two versions of

[10:35] the Times FM gave completely opposite answers. When you double the January spend, Times FM 3.0 barely reacted at all, while version 2.5 predicted a big revenue jump. The agent trusted 3.0 and recommended proposal A. When I checked the ground truth, proposal B actually generated more revenue, and the agent picked the wrong plan in two out of three runs. Now, the reason the agent got tricked is that the true outcomes sat right in the

[11:05] middle. Version 3.0 underestimated the budget jump, while 2.5 overestimated it. And to make sure this was not just a quirk of how I formatted numbers, I tested four different ways of encoding the marketing spend, and Times FM 3.0 under reacted every single time. That brings us to the four limitations you need to know before you put time series foundation models into production because this is where a confident forecasting can cost you actual money.

[11:38] First, the model can only extrapolate levers that have actually moved in your history. If a variable like price has never changed in your past data, no zero-shot model can know how your customers price elasticity. So, you’ll need to run small controlled experiments instead. Now, to be fair, same can be said about traditional machine learning models because they are fitting to your data. Second, watch out for large out of distribution moves. When a proposal pushes a budget or promotion much

[12:09] further than your historical range, version 2.5 and 3.0 can diverge sharply. So, always sanity check a what-if forecast against your past campaigns lift rather than letting a single model version pick the winner. Third, calibrate the uncertainty range. On the New York Subway data, version 3.0’s confidence intervals were slightly too narrow. So, always run a backtest on historical branch first to check how often reality lands inside the

[12:41] band. And fourth is the license. The weights for A Times FM 3.0 were non-commercial if you’re self-hosting them. Now, you have commercial access routed through Google Cloud and BigQuery. Whereas version 2.5 is open under the Apache 2.0 license. Okay, so coming back to our core question. Can foundation models that has never seen your data forecast it well enough to trust it? For continuing your existing patterns, the answer is yes. Both versions beat classic baseline zero-shot

[13:12] and stayed inside their ranges a full quarter out with 3.0 being significantly faster. But, for what-if planning decisions, a time series model is only as good as the historical variations that are available inside your data. So, if you’re working with forecasting or structured data in production, let me know how you handle what-if scenarios in the comments below. And I’m putting together more of these tests on business data. So, if you want to see the next

[13:42] one, make sure to subscribe to the channel. Now, time series is only half of the structured business data. In a recently tested how foundation models handle tabular data in this video right here on the screen. Anyways, I hope you found this video useful. Thanks for watching. And as always, I’ll see you in the next one.