OlmoEarth v1.3: IA de satélite impressionante ou enganada pelo inverno? Testei na minha RTX 4060

Autoria: Prompt Engineer 48 · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: OlmoEarth v1.3: INSANE Satellite AI or Fooled by WINTER? I Tested It on My RTX 4060 · Canal: Prompt Engineer 48 · 09:47 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Dados, bancos de dados e embeddings, Modelos locais e open source, Modelos multimodais

Resumo

O vídeo testa o OlmoEarth v1.3 para detectar mudanças em imagens de satélite, comparando uma área de mineração no Peru e uma fazenda em Iowa. O modelo identificou bem áreas desmatadas, mas também acusou mudanças sazonais entre verão e inverno, embora em menor proporção do que uma comparação direta das cores. O teste foi executado localmente em uma RTX 4060 de 8 GB, mas usou recursos do encoder, não o embedding oficial de 128 números. O apresentador recomenda comparar imagens da mesma estação e ressalta que o experimento é limitado e não reproduz os benchmarks publicados pela AI2.

Pontos-chave

Segundo a AI2, o OlmoEarth v1.3 gera embeddings de 128 números por pixel de 10 m e usa dados Sentinel-1, Sentinel-2 e Landsat.
A AI2 afirma que a versão de 128 números teve a melhor pontuação em 20 de 27 avaliações; o apresentador não reproduziu esses benchmarks.
O modelo foi carregado localmente em uma RTX 4060 de 8 GB, usando cerca de 749 MB de memória da GPU; cada bloco levou aproximadamente 1,6 segundo para processar.
Na área de mineração do Peru, as distâncias entre recursos foram maiores em áreas desmatadas do que em floresta estável.
O teste de desmatamento não prova que o modelo supera uma comparação simples de pixels: a referência usada também foi construída a partir de valores dos pixels.
A distância entre embeddings não chega a zero nem mesmo em áreas estáveis, e o nível de referência varia conforme o lugar e as datas.
Na fazenda de Iowa, a distância média entre julho e fevereiro foi 0,35, contra 0,14 entre julho e agosto, apesar de não haver mudança no uso da terra.
Com o limiar definido a partir de floresta estável, 16,5% da fazenda em Iowa gerou alertas de mudança entre julho e fevereiro.
Para reduzir falsos alertas sazonais, o apresentador recomenda comparar imagens da mesma estação em anos diferentes.
O experimento abrangeu uma área de mineração e uma fazenda, e avaliou recursos do encoder, não o embedding oficial de 128 números.

Capítulos

Início	Capítulo	Resumo
00:00	O que são embeddings e o que a AI2 afirma	O apresentador explica embeddings, apresenta as características e os benchmarks atribuídos ao OlmoEarth v1.3 e introduz a dúvida sobre mudanças sazonais.
02:51	Dados, instalação e execução local	Ele apresenta os embeddings globais e o Embeddings Explorer, descreve as imagens usadas e mostra o desempenho do modelo na RTX 4060.
05:34	Teste de desmatamento no Peru	A comparação identifica diferenças entre floresta desmatada e estável, mas o apresentador ressalta limitações da referência e da interpretação dos alertas.
07:39	Teste de sazonalidade em Iowa e conclusão	A mudança de estação provoca alertas mesmo sem alteração no uso da terra; o apresentador recomenda comparar imagens da mesma estação e expõe os limites do teste.

Citações

Estas são imagens do mesmo trecho da floresta tropical peruana, com sete anos de diferença. — 00:00

Para as áreas desmatadas, a distância média é 0,64; para a floresta estável, 0,25. — 05:34

O embedding reduz bastante a diferença sazonal, mas não a elimina. — 08:42

Isto é um teste de sanidade, não um benchmark. — 09:15

Conceitos e entidades

OlmoEarth v1.3 (modelo): Modelo de embeddings de imagens de satélite testado no vídeo para detectar mudanças na superfície terrestre.
embedding (conceito): Representação numérica aprendida que resume características de um lugar e permite comparar áreas ou datas.
cosine distance (conceito): Medida da diferença entre duas listas de números com base no ângulo entre elas.
Sentinel-1 (modelo): Missão de observação da Terra com radar cujos dados, segundo a descrição do modelo, são usados pelo OlmoEarth.
Sentinel-2 (modelo): Missão de observação da Terra com dados multiespectrais usados no teste e pelo OlmoEarth.
Landsat (modelo): Programa de observação da Terra cujos dados são usados pelo OlmoEarth.
allenai/olmo-earth-pretrain (repo): Repositório usado para instalar a inferência e carregar os pesos do modelo.
AI2 (empresa): Organização citada como responsável pelos dados e pelas afirmações sobre o OlmoEarth v1.3.
RTX 4060 (ferramenta): GPU de 8 GB usada para executar o teste localmente.
Embeddings Explorer (ferramenta): Ferramenta de navegador mencionada para explorar embeddings anuais, comparar anos e treinar classificadores simples.
Alpha Earth Foundations (modelo): Modelo de embeddings de satélite usado como comparativo nas avaliações citadas pela AI2.
Tessera v2 (modelo): Modelo de embeddings de satélite comparado ao OlmoEarth nas avaliações citadas pela AI2.

Tradução completa (pt-BR)

00:00 Este é o mesmo trecho de floresta tropical peruana, com sete anos de diferença. À esquerda, floresta de 2017, com uma mina já avançando sobre um dos cantos. À direita, 2024: a mina avançou mata adentro, e este mapa de calor não fui eu que desenhei. É um modelo de IA comparando as duas datas, e ele destaca exatamente onde a floresta foi derrubada. Mas aqui está a minha dúvida: os satélites veem o mesmo lugar mudar a cada estação. Os campos ficam verdes, depois marrons e, então, brancos de neve. Será que esses embeddings conseguem distinguir uma mudança real de uma mudança sazonal sem importância? É isso que vou testar na GPU do meu próprio laptop com o OlmoEarth versão 1.3.

00:36 >> [música] >> Um pouco de contexto, porque o vídeo todo depende desta palavra. Um embedding é uma lista curta de números que descreve um lugar — não vermelho, verde e azul, mas um resumo aprendido. Dois lugares que se parecem e se comportam de forma semelhante têm listas próximas entre si, e dois lugares diferentes têm listas distantes. Segundo o artigo da AI2 no Hugging Face, o OlmoEarth versão 1.3 gera 128 números para cada pixel de 10 m, usando um ano de dados de satélite. Ele lê dados de radar do Sentinel-1, multiespectrais do Sentinel-2 e do Landsat. E eles dizem que você pode manter apenas

01:10 os primeiros 64 números se quiser algo menor. Por baixo dos panos, de acordo com o model card, ele é um vision transformer com cerca de 128 milhões de parâmetros, além de um pequeno módulo de atenção e uma minúscula camada linear que comprime tudo nesses 128 números. O arquivo de pesos tem cerca de 785 MB. Lembre-se desse número, porque ele será importante para a minha placa de vídeo mais adiante. Agora, o que a AI2 afirma? Estou lendo essas informações no artigo deles; não reproduzi os resultados. Eles comparam com outros dois modelos de embedding de satélite, Alpha Earth Foundations e Tessera versão dois, em 27 avaliações realizadas em seis continentes.

01:44 Eles dizem que a versão de 128 números tem a maior pontuação em 20 das 27 avaliações, e que a versão de 64 números lidera em 18. Também apresentam um benchmark de culturas agrícolas para a agricultura tropical e dizem que os embeddings generalizam melhor para lugares que um classificador nunca viu. Essa última parte é a que me interessa, porque é a mesma preocupação por trás da minha pergunta sobre as estações. Funciona em um lugar novo? A história do custo é a parte surpreendente. Eles dizem que o treinamento usou 53% do poder computacional da versão 1.2 e 18% do da versão 1. Em dólares de aluguel de H100, cerca de 2.720 na execução final

02:17 contra 5.100 da versão 1.2 base e 15.060 da versão 1 base. Então, aparentemente, a versão mais nova é melhor e custa muito menos para treinar. Não consigo verificar a conta do treinamento, mas vale a pena observar essa alegação. Mais uma coisa: a licença é a licença de artefatos do OlmoEarth, a mesma das versões anteriores, e a AI2 descreve os pesos, os dados de pré-treinamento e o código de pré-treinamento como open. Confira o texto da licença antes de criar um produto com isso. A boa notícia é que talvez você nem precise executar o modelo. A AI2 publicou embeddings anuais prontos para o planeta inteiro. 2023, 2024 e 2025 têm cobertura global, e alguns

02:51 países têm dados que remontam a 2017. Eles dizem que são cerca de 150 terabytes por ano, hospedados no Source Cooperative, e há uma ferramenta de navegador chamada Embeddings Explorer. Você percorre o mapa, compara anos, encontra lugares semelhantes e treina um classificador pequeno usando os pontos em que clica. Sem conta. E veja o exemplo que eles usam para detectar mudanças: La Pampa, no Peru, onde a mineração ilegal de ouro avançou sobre a floresta. Esse é o exemplo da AI2, não meu. Mas ele me deu a ideia para o meu próprio teste. Fui procurar uma área de mineração na mesma região de Madre de Dios, usando o Sentinel-2. Ela

03:22 não é La Pampa em si, mas é o mesmo tipo de mudança. Dá para executar isso em uma placa de vídeo comum? Tenho uma RTX 4060 com 8 GB. O repo é allenai/olmo-earth-pretrain, e a instalação para inference é leve: torch, einops, huggingface hub. Há um porém: a lista de modelos do repo só vai até a versão 1.2, então baixei os pesos da versão 1.3 do Hugging Face e carreguei de uma pasta local. Funcionou. Aqui está o log real. Carregamento do modelo: cerca de 10 segundos. Memória da GPU após o carregamento: 749 MB. Depois, cada bloco de 3,8 km²,

03:54 ou seja, 36 tiles, leva cerca de 1,6 segundo. Então, 8 GB são mais do que suficientes, e não precisei alugar uma GPU. Para as imagens, usei o arquivo gratuito do Sentinel-2 na AWS, sem login, em dois locais: uma mina em Madre de Dios, no Peru, com imagens de agosto de 2017, agosto de 2024 e agosto de 2025; e uma fazenda em Iowa, com imagens de 14 de julho, 13 de agosto e 27 de fevereiro, todas de 2025. Uma observação honesta sobre o método: usei os recursos do encoder do modelo, 768 números

04:28 por bloco, com a média calculada entre as bandas. Isso não é exatamente o embedding de 128 números da versão lançada. Portanto, encare meus números como um teste dos recursos do modelo, não como um teste do produto oficial. Vou mostrar exatamente como passo dos embeddings para aquele mapa de calor, porque é simples e você pode reproduzir. Divido cada imagem em tiles pequenos, com 64 pixels de lado, porque o repo recomenda entradas entre 1 e 128 pixels. Depois, o modelo analisa a imagem em blocos de 4 por 4 pixels. Com pixels de 10 m, isso corresponde a um quadrado de 40 m. Cada bloco resulta em uma lista de 768 números. Faço isso para a imagem antiga e

05:02 para a imagem nova. Agora, para cada quadrado de 40 m, tenho duas listas. Meço o ângulo entre elas. Isso se chama distância cosseno. Se as duas listas apontam na mesma direção, a distância é zero. O modelo considera que se trata do mesmo tipo de lugar. Se apontam em direções diferentes, a distância aumenta. Transforme esse número em uma cor e você terá o mapa de calor. Duas coisas que você precisa saber. Primeiro, o modelo analisa os pixels no contexto, não um pixel de cada vez. Por isso, a borda de um campo pode brilhar um pouco, mesmo quando o próprio campo não mudou. Segundo, as cores só fazem sentido em relação umas às outras,

05:34 por isso uso a mesma escala de cores em todos os mapas deste vídeo. Caso contrário, um mapa escuro de um lugar poderia parecer tão alarmante quanto um mapa claro de outro. Teste um: mudança real. Preciso de uma referência justa para comparar, então criei uma com base na vegetação. Pixels que eram floresta densa em 2017 e solo descoberto em 2024 contam como mudança. Floresta nos dois anos conta como estável. Agora, a pontuação de mudança do modelo é a distância entre os dois embeddings em cada ponto. Para os pixels alterados, a distância média é 0,64. Para a floresta estável,

06:04 é 0,25. Portanto, a floresta desmatada tem uma pontuação cerca de duas vezes e meia maior. Se eu perguntar o quanto essa pontuação consegue ordenar as áreas alteradas em relação às estáveis, a área sob a curva é 0,99. A mesma coisa de 2017 a 2025: 0,65 contra 0,27. Entre 2024 e 2025, em uma pequena área de mudança, 174 tokens, e a pontuação ainda é 0,54 contra 0,16. Então, para desmatamento real, sim, isso funciona. Mas, antes de se animar, há uma ressalva. Minha referência de comparação vem dos mesmos valores de

06:36 pixel. Assim, uma comparação ingênua de pixels também chega a uma pontuação quase perfeita. Esse teste não mostra que o modelo é melhor do que as cores brutas. Só mostra que o modelo não deixa passar o desmatamento. E há um segundo porém: o solo que já estava descoberto em 2017 e continuava assim em 2024 também tem uma pontuação de 0,41. Isso é alto. Minas ativas mudam o terreno: as escavações se deslocam, lagoas aparecem. Então, parte disso pode ser real, mas isso significa que uma pontuação alta não quer dizer automaticamente perda de floresta. Antes de passar à fazenda, mais um número, porque ele muda a forma como você interpreta tudo até aqui.

07:07 Mesmo quando nada muda, a distância nunca é zero. A floresta estável entre 2024 e 2025 tem pontuação 0,16. A floresta estável entre 2017 e 2024 tem pontuação 0,25. E a fazenda em Iowa, de julho a agosto, tem pontuação 0,14. Portanto, o patamar de fundo varia conforme o par de datas, a névoa e o lugar. Por isso, defini meu limite de alerta com base na floresta estável, em vez de escolher um número redondo. Se você tentar fazer isso, meça o patamar de fundo em um terreno que sabe que não mudou, na mesma cena, antes de confiar em qualquer limite.

07:39 O teste dois é aquele que me deixava apreensivo. A mesma fazenda em Iowa, sem nenhuma mudança na cobertura do solo. Os campos continuam sendo campos, mas julho é verde e fevereiro é solo descoberto e marrom. Primeiro, julho contra agosto, mesma estação: distância média de 0,14. Tranquilo. Olhe o mapa: está quase todo escuro, com alguns campos iluminados. Agora, julho contra fevereiro: mesmo lugar, mesmo uso do solo, cores completamente diferentes. Distância média de 0,35, duas vezes e meia maior do que de julho a agosto. Eis a forma justa de interpretar isso. Na refletância bruta, a mudança de julho a fevereiro

08:11 é 36 vezes maior do que de julho a agosto. No embedding, é apenas duas vezes e meia. Então, o modelo reduz bastante a variação sazonal. Essa é a boa notícia. A má notícia é que ele não a elimina. Defini um limite com base nos dados da floresta: o percentil 95 da floresta estável, 0,43, e usei isso como um alerta de mudança real. Na mina, 97,5% dos pixels que realmente mudaram ficam acima desse limite. Em Iowa, de julho a agosto, menos de 1% aciona o alerta, ótimo. Mas, em Iowa, de julho a fevereiro, 16,5% da fazenda aciona o

08:42 alerta para uma mudança que é apenas sazonal. Então, a resposta à minha pergunta é: em geral, não perfeitamente. O embedding separa mudanças reais, como o desmatamento, da sazonalidade muito melhor do que as cores brutas. Mas, se você comparar uma imagem de verão com uma imagem de inverno e aplicar um único limite, ainda terá cerca de um falso alarme a cada seis pixels neste exemplo. Então, esta é minha conclusão prática. Se você quiser detectar mudanças com esses embeddings, compare a mesma estação em anos diferentes: julho com julho, não julho com fevereiro. Foi aí que houve menos alertas no meu teste. Limitações, em termos simples: uma

09:15 mina, uma fazenda, um par de datas para cada uma, um gabarito baseado na vegetação e características do codificador, não o produto oficial de 128 dimensões. E não reproduzi a alegação do benchmark de 27. Então, este é um teste de sanidade, não um benchmark. O que aprendi é que você não precisa de um data center para testar isso: 749 megabytes de memória da GPU, 1,6 segundo por recorte em um laptop. Se estiver procurando GPUs baratas e confiáveis, eu uso RunPod, e o link está na descrição. Se quiser que eu faça o mesmo teste na série temporal com estações correspondentes

09:47 ou no próprio explorador de embeddings, diga nos comentários qual lugar devo verificar em seguida.

Transcrição original

[00:00] This is the same patch of Peruvian rainforest 7 years apart. On the left, 2017 forest with a mine already eating the corner. On the right, 2024, the mine has crawled into the trees, and this heat map is not me drawing. It’s an AI model comparing the two dates, and it lights up right where the forest was cut. But here’s my doubt. Satellites see the same place change every season. Fields go green, then brown, then white with snow. So, can these embeddings tell a real change from a boring seasonal one? That’s what I’m going to test on my own laptop GPU with Alma Earth version 1.3.

[00:36] >> [music] >> Quick background, because the whole video hangs on this word. An embedding is a short list of numbers that describes a place, not red, green, blue, a learned summary. Two places that look and behave alike get lists that are close together, and two different places get lists that are far apart. According to AI2’s Hugging Face article, Alma Earth version 1.3 makes 128 numbers for every 10 m pixel from a year of satellite data. It reads Sentinel-1 radar, Sentinel-2 multispectral, and Landsat. And they say you can keep just

[01:10] the first 64 numbers if you want it smaller. Under the hood, per the model card, it’s a vision transformer with about 128 million parameters, plus a small attention puller, and a tiny linear layer that squeezes everything down to those 128 numbers. The weights file is about 785 MB. Keep that number in mind because it matters for my graphics card later. Now, what does AI2 claim? I’m reading these off their article, and I haven’t reproduced them. They compare against two other satellite embedding models, Alpha Earth Foundations and Tessera version two, across 27 evaluations on six continents.

[01:44] They say the 128 number version scores highest on 20 of the 27, and the 64 number version leads on 18. They also introduce a crop benchmark for tropical farming, and say the embeddings generalize best to places a classifier has never seen. That last part is the one I care about because it’s the same worry as my Seasons question. Does it work somewhere new? The cost story is the surprising one. They say training used 53% of the compute of version 1.2 and 18% of version 1. In rented H100 dollars, about 2,720 for the final run

[02:17] against 5,100 for 1.2 base and 15,060 for version 1 base. So, newer apparently better and a lot cheaper to train. I can’t verify the training bill, but the direction is a claim worth noting. One more thing, the license is the Alma Earth artifact license, the same as earlier versions, and AI2 describes the weights, the pre-training data, and the pre-training code as open. Check the license text yourself before you build a product on it. The good news is you might not need to run the model at all. AI2 published ready-made yearly embeddings for the whole planet. 2023, 2024, and 2025 are global, and some

[02:51] countries go back to 2017. They say it’s roughly 150 terabytes per year hosted on Source Cooperative, and there’s a browser tool, Embeddings Explorer. You pan around, compare years, find similar places, and train a small classifier from points you click. No account. And look at the example they use for change detection, La Pampa in Peru, where illegal gold mining ate into the forest. That’s AI2’s example, not mine. But it gave me the idea for my own test. I went and found a mining area in that same Madre de Dios region on Sentinel 2. It’s

[03:22] not La Pampa itself, but it’s the same kind of change. Can this run on a normal graphics card? I have an RTX 4060 with 8 GB. The repo is allenai/olmo-earth-pretrain, and the inference install is light, torch, einops, huggingface hub. One snag, the repo’s model list stops at version 1.2, so I downloaded the 1.3 weights from huggingface and loaded them from a local folder. That worked. Here’s the real log. Model load, about 10 seconds. GPU memory after loading, 749 MB. Then each 3.8 km squared chip,

[03:54] that’s 36 tiles, takes about 1.6 seconds. So, 8 GB is plenty, and I didn’t need to rent a GPU. For imagery, I used the free Sentinel 2 archive on AWS, no login, two sites, a mine in Madre de Dios, Peru, dated August 2017, August 2024, and August 2025, and a farm in Iowa, July 14th, August 13th, and February 27th, all 2025. One honest note on method, I used the model’s encoder features, 768 numbers

[04:28] per patch, average over bands. That’s not exactly the 128 number release embedding. So, treat my numbers as a test of the model’s features, not a test of the official product. Let me show you exactly how I get from embeddings to that heat map, because it’s simple and you can copy it. I cut each image into small tiles, 64 pixels on a side, because the repo recommends inputs between 1 and 128 pixels. Then, the model looks at the tile in patches of 4 by 4 pixels. At 10 m a pixel, that’s a 40 m square. Each patch comes out as a list of 768 numbers. Do that for the old image and

[05:02] the new image. Now, for each 40 m square, I have two lists. I measure the angle between them. That’s called cosine distance. If the two lists point the same way, the distance is zero. The model thinks it’s the same kind of place. If they point in different directions, the distance grows. Paint that number as a color and you get the heat map. Two things to know. First, the model is looking at pixels in context, not one pixel at a time. So, fields edge can glow a little even when the field itself didn’t change. Second, the colors only mean something relative to each other,

[05:34] so I use the same color scale for every map in this video. Otherwise, a dark map in one place could look as scary as a bright map in another. Test one, real change. I need a fair answer key, so I made one from vegetation. Pixels that were dense forest in 2017 and bare ground in 2024 count as change. Forest in both years counts as stable. Now, the model’s change score, that’s a distance between the two embeddings at each spot. For the changed pixels, the average distance is 0.64. For stable

[06:04] forest, it’s 0.25. So, cleared forest scores about 2 and 1/2 times higher. If I ask how well that score ranks change against stable, the area under the curve is .99. Same story from 2017 to 2025 .65 against .27. Between 2024 and 2025, a small area change, 174 tokens, and it still scores .54 against .16. So, on real clearing, yes, this works. But, before you get excited, one caveat. My answer key comes from the same pixel

[06:36] values. So, a dumb pixel comparison also scores almost perfect. That test can’t show the model is better than raw colors. It only shows the model isn’t missing the clearing. And as a second catch, ground that was already bare in 2017 and still bare in 2024 also scores .41. That’s high. Active minds get reshaped, pits move, ponds appear. So, some of that may be real, but it means a high score does not automatically mean forest loss. Before the farm, one more number because it changes how you read everything so far.

[07:07] Even when nothing changes, the distance is never zero. Stable forest between 2024 and 2025 scores .16. Stable forest between 2017 and 2024 scores .25. And the Iowa farm, July to August, scores .14. So, the quiet floor moves around depending on the pair of dates, the haze, and the place. That’s why I set my alarm threshold from stable forest instead of picking a round number. If you try this yourself, measure a floor on ground you know did not change in the same scene before you trust any threshold.

[07:39] Test two is the one I was nervous about. Same Iowa farm, no land cover change at all. The fields are still fields, but July is green and February is bare brown soil. First July against August, same season, average distance .14. Quiet. Look at the map, mostly dark, a few fields lit. Now, July against February, same place, same land use, complete different colors. Average distance .35, that’s 2 and 1/2 times higher than July to August. Here is the fair way to read it. In raw reflectance, the July to February change

[08:11] is 36 times bigger than July to August. In the embedding, it’s only two and a half times. So, the model squeezes the seasonal swing a lot. That’s the good news. The bad news, it doesn’t remove it. I set a threshold from the forest data, the 95th percentile of stable forest 0.43, use that as a real change alarm. In the mine, 97.5% of the truly changed pixels are above it. In Iowa, July to August, under 1% trip it, great. But in Iowa, July to February, 16.5% of the farm trips the

[08:42] alarm for a change that is only the season. So, the answer to my question is mostly not perfectly. Embedding separate real clearing from a season much better than raw colors do. But if you compare a summer image to a winter image and apply a single threshold, you’ll still get about one in six false alarms in this example. So, here’s my practical read. If you want change detection with these embeddings, compare the same season across years, July to July, not July to February. That’s where it was quietest in my test. Limits, in plain words, one

[09:15] mine, one farm, one date pair each, a vegetation-based answer key, and coder features, not the official 128 number product. And I did not reproduce the 27 benchmark claim. So, this is a sanity test, not a benchmark. What I did learn is that you don’t need a data center to poke at this 749 megabytes of GPU memory, 1.6 seconds a chip on a laptop. If you’re looking for cheap and reliable GPUs, I use RunPod, and the link is in the description. If you want me to try the same test on the season-matched time

[09:47] series or on the embeddings explorer itself, tell me in the comments which place should I check next.