Tokens são a parte barata — Steve Jamison, Jellyfish

Autoria: AI Engineer · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: Tokens Are the Cheap Part — Steve Jamison, Jellyfish · Canal: AI Engineer · 17:17 · Assistir no YouTube

Tópicos: Agentes de IA, Avaliação e benchmarks de IA, Engenharia de software com IA, Mercados e economia

Resumo

Steve Jamison apresenta dados da Jellyfish sobre gastos com IA e produtividade de engenharia. Segundo a análise, embora os custos de IA tenham aumentado 60 vezes, o custo por PR mesclado caiu 26%, em grande parte porque os desenvolvedores passaram a entregar mais PRs. As empresas que mais investiram em tokens tiveram ganhos maiores de throughput e reduções maiores no custo por PR, embora os retornos diminuam conforme o uso cresce. A recomendação é acompanhar o custo total por PR — salários e IA — junto com métricas de throughput e qualidade, em vez de usar apenas a fatura de tokens como medida de sucesso.

Pontos-chave

Os custos de IA aumentaram 60 vezes no período analisado, enquanto os PRs mesclados por engenheiro cresceram 43%.
O custo por PR mesclado caiu 26% em um ano, e 83% das empresas estudadas registraram redução.
Em média, a IA representa cerca de 2,5% do custo de um PR; entre as empresas com maior gasto, representa menos de 10%.
O grupo que mais gastou em IA aumentou o throughput de PRs em 67%, contra cerca de 40% nos demais grupos.
O custo por PR caiu 32% entre as empresas de maior gasto com IA, comparado a cerca de 25% nos outros grupos.
O aumento do throughput não veio de PRs menores: a análise observou mais linhas de código geradas por PR.
As taxas de reversão caíram ligeiramente, mas as variações ficaram abaixo do nível necessário para concluir que houve uma melhora de qualidade.
A recomendação é avaliar o custo total por PR, somando salários e gastos com IA, e acompanhá-lo junto com throughput e métricas de qualidade.

Capítulos

Início	Capítulo	Resumo
00:02	Gastos com IA e produtividade	A apresentação compara o aumento dos custos de IA com o crescimento dos PRs mesclados por engenheiro e questiona como avaliar o retorno do investimento.
02:41	O custo total de um PR	Jamison propõe incluir os salários dos engenheiros no cálculo e mostra que a IA representa uma parcela pequena do custo por PR.
05:16	Gasto com tokens, throughput e custo	A comparação entre grupos de gasto mostra maiores ganhos de throughput e reduções de custo por PR entre as empresas que mais investiram em IA.
08:55	Análise por desenvolvedor e qualidade	A análise de semanas de uso individual e de taxas de reversão não encontra sinais preocupantes de piora de qualidade com maior uso de tokens.
12:35	Como avaliar o retorno do investimento	O palestrante defende usar o custo por PR, que combina gasto com IA e salários, para avaliar as melhorias de eficiência.
15:42	Métricas para decisões de orçamento	A recomendação final é acompanhar custo total por PR, fatura de IA, throughput e qualidade para orientar decisões de investimento.

Citações

Vamos chamar isso de custos de inteligência de um PR: o que você paga aos engenheiros mais o que paga pela IA. — 03:11

Retornos decrescentes não são o mesmo que ausência de retorno. — 07:50

O custo por PR caiu 26% no mesmo período. — 13:07

A fatura mostra quanto você gastou. O custo por PR mostra se valeu a pena. — 16:14

Conceitos e entidades

Steve Jameson (pessoa): Líder de pesquisa e engenharia de IA na Jellyfish e apresentador da análise.
Jellyfish (empresa): Empresa cuja plataforma reúne dados de workflows de engenharia e telemetria de IA usados na pesquisa apresentada.
merged PR (conceito): PR que foi mesclado e que a apresentação usa como unidade para medir throughput e custo de entrega.
intelligence costs of a PR (conceito): Custo total atribuído à produção de um PR, somando os salários dos engenheiros e os gastos com IA.
token usage (conceito): Volume de tokens utilizado, comparado entre grupos de empresas para analisar gastos e resultados.
reverts (conceito): PRs mesclados que desfazem um PR anterior, usados como indicador indireto de qualidade.
model routers (ferramenta): Sistemas mencionados como possível investimento para direcionar solicitações entre modelos.

Tradução completa (pt-BR)

00:02 Olá, sou Steve Jameson, líder de pesquisa e engenharia de IA na Jellyfish. Estou aqui para mostrar por que os tokens são a parte barata. A pesquisa que vou apresentar foi extraída da plataforma Jellyfish, o maior conjunto de dados do setor sobre fluxos de trabalho de engenharia combinado com dados de telemetria de IA. Não é segredo que os custos de IA estão aumentando. Eles estão 60 vezes maiores do que nesta mesma época no ano passado. Os casos de uso são amplos e variados. Os modelos e harnesses estão ficando muito melhores. As implicações são empolgantes.

00:34 Mas as conversas sobre orçamento e gastos não são tão divertidas. Nessas conversas, participam seus pares, a alta liderança e o conselho. Nem sempre são os públicos mais fáceis, especialmente quando você não tem os dados certos. E hoje em dia estamos falando de dinheiro de verdade. A produção também aumentou. O número de PRs mesclados por engenheiro subiu 43% no mesmo período de um ano. Isso é fenomenal. Nunca vimos ganhos de produtividade como esses, especialmente nessa escala de tempo.

01:06 Há muitas pesquisas e dados anedóticos que mostram que a IA e a programação impulsionada por IA estão gerando esses ganhos de produtividade. Caramba, até nossos gráficos mostram a correlação. Reparem onde estão os pontos de inflexão. Os gastos com IA aumentaram no início de 2026, quando os ganhos de produtividade começaram a subir de forma constante. Mas há uma tensão entre esses dois números. Como conciliá-los? Os gastos aumentaram 60 vezes. A produtividade também subiu 43%. Isso é bom? Ruim? 43% é um número grande.

01:39 Mas 60 vezes também é. Como saber se você está gastando o suficiente? Há mais ganhos de produtividade esperando por trás de um talão de cheques? Devemos aumentar os gastos em 50%? Em duas vezes? Ou como saber se você gastou demais? Tenho certeza de que muitos de vocês já sentiram essa tensão. O CFO ou o conselho estão pedindo os comprovantes dos gastos. Você pode mostrá-los? Bem, dizer que os PRs mesclados aumentaram 43% vai convencê-los?

02:10 Além disso, o que acontece se você limitar o uso e os gastos? Está impedindo que tokens sejam desperdiçados? Ou está impedindo novos ganhos de eficiência? Você pode perguntar a colegas de outras empresas quanto eles estão pagando. Para muitos, porém, isso ainda é um alvo móvel. Mas como comparar isso com a sua organização? Certamente, apenas comparar a fatura deles com a sua não basta. Ouvimos relatos de… Ouvimos relatos de empresas gastando 100 mil, 500 mil, até

02:41 milhões em IA. Definindo e depois redefinindo seus orçamentos de IA à medida que a realidade se impõe. No fim das contas, esses dois números não contam a história. E, mesmo juntos, deixam de fora a maior linha do lado dos custos. Esses dois números deixam de fora o maior custo de todos: o salário dos desenvolvedores. A IA está tornando os desenvolvedores mais produtivos em uma escala que nunca vimos antes. Não é apenas mais uma ferramenta; é inteligência.

03:11 Essa inteligência muda drasticamente o quanto cada desenvolvedor consegue produzir. Por isso precisamos pensar no custo dela de outra forma. Não como uma despesa adicional, à parte, mas como parte do custo de produzir cada PR. Vamos chamar isso de custo da inteligência por PR: o que você paga aos engenheiros mais o que paga pela IA. Vamos somar tudo em uma única categoria de custo. A IA representa cerca de 2,5% do

03:43 custo para produzir mais uma unidade de código mesclado. O salário representa os outros 97,5%. Isso está de acordo com outros números divulgados, e estes dados são de agosto de 2026. Aqui, os tokens são a parte barata. Mas esses são custos relativos atuais, não valores em dólares. Vamos ver o que aconteceu com o custo de um PR mesclado no último ano.

04:15 [limpa a garganta] O custo em dólares de um PR mesclado caiu 26% no último ano. Não estamos falando de PRs criados, mas de PRs mesclados. O tempo de revisão é levado em conta, e algum nível de controle de qualidade foi superado. Essa queda no custo por PR mesclado inclui um aumento de 60 vezes nos custos de IA no mesmo período. A mudança também é quase universal. 83% das empresas que estudamos apresentaram uma queda no custo por PR. O que isso nos diz?

04:46 Os ganhos adicionais de produtividade estão sendo distribuídos, ou [limpa a garganta] estão distribuindo os salários por mais PRs, e isso está acontecendo mais rápido do que o aumento dos custos de IA. Qual é a variação nos gastos com tokens? Ordenamos as empresas pelo uso de tokens e depois as agrupamos em quintis, ou seja, em cinco grupos. A variação aqui é bem grande. No grupo que menos gasta, cerca de 0,3% do custo de um PR

05:16 é… é IA. Isso representa cerca de 60 milhões de tokens por desenvolvedor por mês. Vamos chamar de grupo de maior gasto os 20% com os maiores gastos de IA por desenvolvedor. Nesse grupo, 8,5% dos custos de PR são de IA. Isso representa cerca de 2,5 bilhões de tokens por desenvolvedor por mês. Cerca de duas ordens de magnitude a mais do que no grupo que menos gasta.

05:47 Vamos usar esses grupos nos próximos slides para ver como os gastos com tokens influenciam outras métricas. Primeiro, a produtividade de PRs, medida como PRs mesclados por desenvolvedor. Dividida pelos mesmos quintis de gastos com IA do slide anterior. Os quatro quintis inferiores de gastos tiveram ganhos de produtividade de PRs em torno de 40%, mais ou menos. Mas o grupo de maior gasto melhorou mais, com um aumento de 67%.

06:17 Mais gastos com IA levaram a mais ganhos de produtividade. Agora vamos analisar o custo por PR. Mais uma vez, vemos resultados positivos em todos os grupos. O custo por PR está caindo em todos os grupos de uso de IA. No entanto, novamente, o quinto que mais gasta — ou seja, as empresas que mais gastaram — foi o que mais melhorou. Elas tiveram uma queda de 32% no custo por PR

06:48 no último ano. Os outros quatro grupos tiveram uma queda de cerca de 25% no custo por PR. Investir mais em IA gerou uma melhora maior no custo por PR em comparação com os pares que investiram menos. Então vimos que a… mesma coisa que vimos na média da população: as mudanças no custo por PR são impulsionadas principalmente pela produtividade de PRs, não pelos gastos com IA.

07:19 Os que mais gastaram tiveram ganhos de produtividade de PRs de 67%, em comparação com cerca de 40% para seus pares. Distribuir o mesmo salário por mais PRs no mês tem um efeito maior do que o aumento dos custos de IA, porque os tokens são a parte barata. Isso não quer dizer que as organizações devam desperdiçar tokens e gastar sem limites. Aqui, estamos olhando para os tokens usados no

07:50 eixo horizontal e o custo por PR no eixo vertical. Há uma queda acentuada no início, quando um gasto relativamente pequeno com IA resulta em grandes ganhos iniciais. À medida que o uso de tokens aumenta, a melhora no custo por PR diminui. Isso são retornos decrescentes. Mas quero enfatizar que retornos decrescentes não são o mesmo que ausência de retorno. Estamos vendo que os 10% do topo gastam oito vezes mais tokens do que

08:23 a mediana e alcançam um custo por PR 27… 25% menor. Chegará o momento em que os tokens deixarão de ser a parte barata, mas, em geral, para a maioria das empresas por aí, ainda estamos longe desse limite. Mais tokens levam a mais PRs, o que leva a um custo de entrega menor.

08:55 Até agora falamos sobre empresas. Em seguida, gostaria de fazer um aparte e falar de um estudo que fizemos com desenvolvedores. Aqui, analisamos semanas de desenvolvedores com uso intenso de tokens em comparação com semanas do mesmo desenvolvedor com uso menor de tokens. [tosse] [limpa a garganta] Aqui, vimos o mesmo fenômeno, só que no nível individual. Compare as semanas em que cada desenvolvedor usou muito agent e skills com as próprias

09:26 semanas sem skills. Eles gastam cerca de duas vezes mais com tokens, mesclam 27% mais PRs, e cada PR custa cerca de 18% menos quando somamos salários e tokens. Há duas perguntas pertinentes que recebo quando falo sobre esse trabalho. Primeiro: o trabalho mais rápido

09:57 resulta em um trabalho pior? E, segundo, o fato de haver mais PRs — os ganhos de produtividade que estamos vendo — é consequência de blocos menores de trabalho? A primeira pergunta é: trabalho mais barato e mais rápido significa trabalho pior? Se a IA torna os PRs mais rápidos e baratos, estamos apenas entregando mais erros? Um indicador indireto disso são os reverts: PRs mesclados que desfazem um PR anterior.

10:29 O quinto que mais gasta começou no nível mais baixo, antes da maior parte do crescimento no uso de tokens, e as taxas de revert caíram um pouco em todos os grupos. Embora essas variações estejam ligeiramente abaixo do nível de ruído dos dados. Isso não é evidência de uma melhora. Mas, o que é mais importante, não estamos vendo sinais preocupantes de problemas de qualidade generalizados ou graves com gastos maiores em tokens e maior produtividade de PRs.

11:02 Minha segunda pergunta é: a produtividade é impulsionada por PRs menores? E, comprovadamente, não. Os PRs não são menores. Na verdade, a IA está aumentando o número de linhas de código geradas por PR. Isso não surpreende os desenvolvedores na sala. Levantem a mão se já reviraram os olhos para comentários inline prolixos e desnecessários gerados por IA, ou para um arquivo cheio de…

11:32 testes irrelevantes. IA generativa gosta de gerar código. Além disso, para os devs, é fácil começar a criar, e há uma tendência a fazer mais por PR, em vez de abrir outro ticket. É só um, talvez dois prompts, e eu resolvo este caso extremo, ou combino este elemento com aquele. Menos PRs para gerenciar. No entanto, isso não combina bem com o estresse que as pessoas estão sentindo atualmente ao revisar PRs. Há… [limpa a garganta]

12:02 Além disso, a IA está se tornando mais capaz, então estamos ficando mais ambiciosos. Não dá para explorar nesta palestra o que está realmente impulsionando esse nível de mudança na quantidade de linhas de código. No entanto, o aumento no volume de PRs não vem de PRs menores. Isso é intuitivo para a maioria, mas ainda assim é bom confirmar. Voltando à pergunta inicial: vale a pena gastar 60% a mais por 43% mais produção?

12:35 Não dá para saber olhando isso isoladamente. Você deve acompanhar os dois números. Eles são importantes, mas são métricas de apoio. O gasto com IA por PR representa a inteligência que você está comprando como recurso para ajudar seus devs a trabalhar mais rápido. PRs por engenheiro é o que você está obtendo com esse gasto. No entanto, olhar para esses números esconde a relação de troca. Mas, ao incluir os salários na equação,

13:07 e calcular a relação entre custo e volume de produção, você tem a resposta. O custo por PR caiu 26% no mesmo período. É evidente que a IA está gerando ganhos de eficiência de custos, apesar do aumento das faturas. E o gasto com IA necessário para obter esses ganhos de eficiência é pequeno, relativamente falando. A IA ainda representa uma fração do custo de um PR.

13:38 Em média, 2,5%. Menos de 10% para o grupo que mais gasta. Tokens são a parte barata. Na faixa que observamos, continuar aumentando o gasto continuou trazendo retorno. Os usuários de mais tokens tiveram um aumento de 67% no volume de PRs, em comparação com 40% entre os pares que gastaram menos. Isso reduziu o custo por PR em 32%, contra cerca de 25% entre os pares que gastaram menos.

14:09 Ao analisar a curva da relação entre o custo dos PRs e o uso de tokens, os 10% dos meses das empresas com maior uso de tokens tiveram um uso de tokens 10,8 vezes maior, mas um custo por PR 25% menor em comparação com a mediana. A IA está tornando os desenvolvedores mais produtivos em uma escala que nunca vimos antes. Não é apenas mais uma ferramenta; é inteligência, que muda o quanto cada dev consegue produzir.

14:41 Por isso, precisamos pensar no custo dela de outra forma: não como um custo indireto à parte, mas como parte do que é necessário para produzir cada PR. Você precisa somar o gasto com IA e o gasto humano — os salários — para calcular o custo real por PR. Isso não quer dizer que se deva gastar sem critério. Claro, você deve ficar atento a jobs que saem do controle. Deve acompanhar seus gastos com IA. Não estou

15:12 dizendo para não olhar quanto de IA — quanto de gasto com IA — está sendo destinado a cada PR. Estou dizendo para não deixar que essa seja sua métrica principal. Uma nova forma de enquadrar a questão pode orientar como e quando você pensa em outros investimentos, como integrar roteadores de modelos, fazer post-training do seu próprio modelo, implementar limites de tokens etc. Você vai obter mais ganhos de eficiência tentando controlar os custos de IA ou continuando a investir em coisas

15:42 que aumentam o volume de produção, como ampliar a capacitação em IA? De qualquer forma, acompanhe todo mês os custos totais de inteligência, humana e artificial, por PR. Coloque esse número ao lado da fatura de IA e do volume de PRs. Qual é a tendência? O volume de produção continua melhorando? E quanto aos ganhos de eficiência de custos, ao custo de entrega? Acompanhe os revertidos e as métricas de qualidade junto com tudo isso, como contrapeso. Não queremos que conteúdo lixo de IA emperre as

16:14 engrenagens. Então, ao entrar na temporada de orçamento, leve o custo por PR para a conversa. Não apenas a fatura de tokens, nem apenas o aumento no volume de produção. A fatura diz quanto você gastou. O custo por PR diz se valeu a pena. E, neste momento, para a maioria das empresas, a resposta é: continuem investindo. [limpa a garganta] Tokens são a parte barata para obter ganhos de eficiência. Muito bem. Você chegou ao fim.

16:46 Veja como ficar por dentro das nossas pesquisas mais recentes, que, mais uma vez, se baseiam no maior conjunto de dados do setor sobre workflows de engenharia e telemetria de IA. Você pode me seguir no LinkedIn, assim como meus colegas ou a Jellyfish. Assine nosso Substack ou confira o blog da Jellyfish no site. Se quiser ajuda para acompanhar o workflow de engenharia e a eficácia da IA na sua organização, incluindo o custo por PR de merge, acesse nosso site e agende uma demonstração,

17:17 ou entre em contato comigo, e vou encaminhar você às pessoas certas. Mais uma vez, sou Steve Jameson, líder de pesquisa em IA e engenharia na Jellyfish. Obrigado por assistir. Até mais.

Transcrição original

[00:02] Hi, I’m Steve Jameson, AI research and engineering leader at Jellyfish. I’m here to show you why tokens are the cheap part. The research that I’ll present is drawn from the Jellyfish platform. The industry’s largest set of engineering workflow data joined AI telemetry data. It’s no secret that AI costs are climbing. They’re up 60x from this time last year. The use cases are wide and varied. The models and harnesses are getting much better. The implications are exciting.

[00:34] But discussions around budget and spend are not as much fun. These conversations involve your peers and senior leadership and the board. Not always the easiest audiences, especially when you don’t have the right data. And it’s real money these days. Output is up, too. Merged PRs per engineer are up 43% over the same one-year horizon. This is phenomenal. We’ve not seen productivity inputs like this, especially on this time scale.

[01:06] There’s plenty of research and anecdotal data to know that AI and AI-driven coding are driving these throughput gains. Heck, even our charts show the correlation. Notice where the inflection points are. AI spend increased in early 2026 when throughput gains start a steady increase of their own. There’s a tension with these two numbers, though. How do you reconcile them? Spend is up 60x. Throughput is also up 43%. Is that good? Bad? 43% is a big number.

[01:39] But so is 60x. How do you know if you’re spending enough? Is there more productivity gain locked behind a checkbook? Should we increase spend 50%? 2x more? Or how do you know if you spent too much? I’m sure many of you have felt the tension here. The CFO or board are asking for the receipts of the spend. Can you show them? Well, merge PRs are up 43% satisfy them?

[02:10] Also, what happens if you cap use and spend? Are you stopping from setting tokens on fire? Or are you stopping further efficiency gains? You can ask peers at other companies what they’re paying. For many, it’s still a moving target though. But, how do you equate that to your org? Surely, just comparing their bill to yours is inadequate. We’ve heard that reports of We’ve heard the reports of companies spending 100k, 500k, even

[02:41] millions on AI. Setting then resetting their AI budgets as reality sets in. Ultimately, these two numbers can’t tell the story. And even together, they miss the biggest line on the cost side. These two numbers leave out the biggest cost of all, developer salary. AI is making developers more productive on a scale we haven’t seen before. It isn’t just another tool, it’s intelligence.

[03:11] This intelligence dramatically changes how much each dev can produce. That’s why we need to think about its cost differently. Not off to the side as overhead, but it’s part of what it takes to produce each PR. We’re going to call this intelligence costs of a PR. What you pay your engineers plus what you pay for AI. Put them together in one cost bucket. AI is about 2 and 1/2% of

[03:43] the cost to produce another unit of merged code. Salary is the other 97 and 1/2%. This is in line with other reported figures, and this data is from August 2026. Here, tokens are the cheap part. But, that’s current relative costs, not dollars. Let’s look at what happened to the cost of a merged PR over the last year.

[04:15] >> [clears throat] >> The dollar cost of a merged PR fell 26% over the last year. Not PRs created, but PRs merged. Review time is factored in, and some level of quality gates has been cleared. What That decline in cost per merged PR includes a 60x increase in AI costs over the same time frame. The change is nearly universal, too. 83% of the companies we studied showed a drop in cost per PR. What does this tell us?

[04:46] The additional throughput gains are being spread or are [clears throat] spreading salary thinner across PRs, and this is happening faster than the AI costs are increasing. What’s the range in token spend? We ranked companies by token usage, then grouped them into quintiles or fifths. The range here is quite large. The lightest group, about 0.3%

[05:16] of the cost of a PR is is AI. This represents about 60 million tokens per dev per month. The top 20% of AI spend per dev, we’re going to call the heaviest spend group. There, 8 and 1/2% of the PR costs is AI. This represents about 2.5 billion tokens per dev per month. About two orders of magnitude more than the lightest group.

[05:47] We’ll use these groups on the next slides to see how token spend influences other metrics. First, PR throughput measured as merged PRs per dev. Split by the same AI spend quintiles on the previous slide. The bottom 4/5 of spenders saw PR throughput gains of around 40% give or take. But the heavy spend group improved more at a 67% increase.

[06:17] More AI spend led to more throughput gains. Now let’s look at the cost per PR. Positive results are seen again across the board. Cost per PR is dropping for all AI usage groups. However, again, the heaviest fifth so the the companies that spent the most improved the most. They saw a cost per PR decrease of 32%

[06:48] over the last year. The other four groups saw about a 25% decrease in cost per PR. Investing in spending more on AI fueled more of an improvement in cost per PR compared to peers who leaned in less. So we saw that the pop- same same as we saw in the population average, cost per PR changes are driven largely by PR throughput, not by AI

[07:19] spend. The heavy spenders experienced PR throughput gains of 67% compared to about 40-ish percent for their peers. Spreading the same salary across more PRs in the month has more of an effect than the rising AI costs because tokens are the cheap part. This is not to say that org should light tokens on fire and spend with abandon. Here we’re looking at tokens used on the

[07:50] horizontal axis and cost per PR on the vertical axis. There’s a steep drop at the beginning where relative small AI spend results in large gains initially. As token usage increases, the cost per PR improvement decreases. This is diminishing returns. I want to stress though, diminishing returns is not the same as no returns. We’re seeing that the top 10% are spending 8x the tokens compared to

[08:23] the median and achieving a 27 25% lower cost per PR. There will be a time when tokens aren’t the cheap part, but by and large for most companies out in the wild we’re not close to that threshold. More tokens leads to more PRs, which leads to a lower cost of delivery.

[08:55] So far we’ve talked about companies. Next I’d like to take a tangent and talk about a study we did with developers. Here we looked at developer weeks with heavy token use compared to the same developer weeks with lower token use. >> [cough] [clears throat] >> Here we saw the same phenomenon just at the individual level. Compare each developers heavy agent skill weeks with their own

[09:26] weeks without skills. They spend about twice as much on tokens, merged 27% more PRs, and reach PR and each PR costs about 18% less once salary and tokens are counted together. There are two fair curiosities I get when I talk about this work. First, does faster work

[09:57] result in worse work? And second, are the more PRs the throughput gains that we’re seeing, are they being driven by smaller chunks of work? First curiosity is cheaper, faster work, worse work? If AI makes PRs faster and cheaper, are we just shipping more mistakes? One proxy for this is river reverts. Merged PRs that undo an earlier PR.

[10:29] The heaviest fifth started lowest before most of the token growth, and revert rates drop slightly for every group. Though these deltas are just slightly below the noise in the data. It’s not evidence of a improvement here. However, more importantly, we’re not seeing any worrying signs of rampant or severe quality issues with higher token spends and faster PR throughput.

[11:02] My second curiosity is throughput driven by smaller PRs? And this is demonstrably no. Not smaller PRs. In fact, AI is driving an increase in line level lines of code generated per PR. This is no surprise to the devs in the room. Raise your hand if you’ve rolled your eyes at verbose, unnecessary inline AI comments, or a file full of mostly

[11:32] irrelevant tests. Gen AI Gen AI likes to generate code. Also, the bar to create is low for devs, and there’s a pull to do more per PR instead of spinning up another ticket. It’s just one, maybe two prompts, and I’ll handle this edge case, or I can combine this and that element. Fewer PRs to wrangle. This doesn’t mesh well with the PR review stress folks are feeling these days, though. There’s >> [clears throat]

[12:02] >> Also, AI is just becoming more capable, so we’re getting more ambitious. It is beyond this talk to dig into what’s actually driving those level of lines of code changes. However, the increase in PR throughput is not coming from smaller PRs. This is intuitive for most, but it’s still good to verify. Back to the opening question. Is 60% more spend worth 43% more output?

[12:35] You can’t tell in isolation. You should track both. They are important numbers, but they’re supporting metrics. AI spend per PR is the intelligence that you’re buying as a resource to help make your devs go faster. PRs per engineer is what you’re getting with that spend. However, looking at those hides the trade-off. >> [clears throat] >> At but put salary into the equation and

[13:07] take the ratio of cost to throughput, and there you get your answer. Cost per PR is down 26% over that same time period. It’s clear AI is driving cost efficiencies despite the increasing bills. And the AI the AI spend needed to get those efficiencies is small, relatively speaking. AI is still a sliver of what a PR costs.

[13:38] Two and a half percent on average. Under 10% for the heavy spender group. Tokens are the cheap part. >> [clears throat] >> In the range that we see, more spend kept paying. Heavier token users saw 67% PR throughput gain compared to 40% for their lower spend peers. This drove cost per PR down 32% compared to about 25% for the lower spend peers.

[14:09] Looking at the PR cost to token ratio curve, the top 10% of company months by token usage resulted in 10 8x the tokens, but 25% lower cost per PR compared to the median. AI is making developers more productive on a scale we haven’t seen before. It isn’t just another tool, it is intelligence, which changes how much each dev can produce.

[14:41] That’s why we need to think about its cost differently, not off to the side as overhead, but part of what it takes to produce each PR. You need to add the AI spend and the human spend the human salary spend together to calculate your real costs per PR. This isn’t to say spend frivolously. Sure, you should watch for runaway jobs. You should track your AI spend. I’m not

[15:12] saying don’t look at how much AI is going how much AI spend is going in each PR. I’m saying don’t let that be your driving metric. A new framing might steer how and when you think about other investments, like integrating model routers, post-training your own model, implementing token limits, etc. Will you get more efficiencies out of trying to control AI costs or by continuing to invest in things

[15:42] that increase throughput, like more AI enablement? Either way, track the total intelligence costs, human plus artificial, per PR every month. Next to that AI bill and next to the PR throughput. How are you trending? Is throughput continuing to improve? What about those cost efficiencies, the cost to deliver? Watch reverts and quality metrics beside all of this as a counterweight. We don’t need AI slop mucking up the

[16:14] gears. So, heading into budget season, bring cost per PR to the table. Not just your token bill, not just the throughput bump. The bill tells you what you spent. Cost per PR tells you whether it worked. And right now, for most companies, it says keep investing. [clears throat] Tokens are the cheap part to get efficiency gains. Well done. You made it to the end.

[16:46] Here’s how you can stay up to date with our latest research, which again draws from the largest engineering workflow and AI telemetry data set in the industry. You can follow me on LinkedIn, my colleagues, or Jellyfish. Subscribe to our Substack, or you can check out our Jellyfish blog on the website. If you want help tracking your org’s engineering workflow and AI effectiveness, including cost per merge PR, go to our website and book a demo,

[17:17] or reach out to me and I’ll get you connected to the right folks. Again, I’m Steve Jameson, AI research and engineering leader at Jellyfish. Thanks for watching. Cheers.