Está ficando mais difícil detectar textos escritos por IA

Autoria: Better Stack · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: AI Writing Is Getting Harder to Catch #ai #aiwriting #ainews · Canal: Better Stack · 02:35 · Assistir no YouTube

Tópicos: Avaliação e benchmarks de IA, Geração de conteúdo com IA, Modelos de IA

Resumo

Um estudo da Graphite comparou 10 mil artigos escritos por humanos com 90 mil textos gerados por nove modelos de IA. Os pesquisadores identificaram padrões característicos, mas muitos mudam entre versões dos modelos, e algumas pistas já desapareceram ou se inverteram. Embora apenas Claude tenha se aproximado mais da escrita humana nas escolhas gerais de palavras, os modelos passaram a escrever cada vez mais como uns aos outros. Os autores do estudo recomendam não determinar a autoria com base em sinais isolados: exclamações, observações entre parênteses e relatos pessoais ainda são mais comuns em textos humanos.

Pontos-chave

O estudo comparou 10 mil artigos humanos publicados antes do lançamento do ChatGPT com 90 mil textos gerados por IA sobre os mesmos temas.
Foram identificadas 12.877 palavras, expressões e padrões que apareciam com maior frequência em textos de IA.
Menos da metade dos sinais de IA encontrados no GPT-6 Astra também aparece no GPT-5.6 Soul.
Os modelos mudam seus hábitos de escrita entre versões: deixam de usar algumas expressões e adotam outras.
GPT e Gemini reduziram muito o uso de travessões longos, enquanto Claude voltou a usá-los no Opus 5.
Só Claude se aproximou mais da escrita humana nas escolhas gerais de palavras; GPT se afastou.
Os nove modelos passaram a escrever mais como uns aos outros do que como pessoas.
Os pesquisadores desaconselham avaliar autoria com base em sinais isolados; exclamações, observações entre parênteses e relatos pessoais aparecem mais em textos humanos.
O conjunto de dados completo do estudo está disponível para download gratuito.

Capítulos

Início	Capítulo	Resumo
00:00	O estudo e a comparação entre textos	O vídeo apresenta a pesquisa, que compara artigos humanos com textos gerados por nove modelos.
00:30	Sinais de escrita que mudam entre versões	A análise encontra milhares de padrões de IA e mostra que muitos não persistem de uma versão do modelo para outra.
01:32	Travessões e semelhanças entre modelos	O uso de travessões varia entre modelos, enquanto os textos gerados passam a se parecer mais entre si.
02:04	O que ainda distingue a escrita humana	O estudo aponta recursos mais comuns em textos humanos e alerta contra julgar autoria por sinais isolados.

Citações

GPT-6 Astra agora usa travessões longos 88% menos do que os humanos usavam antes mesmo de o ChatGPT existir. — 00:00

Cada novo lançamento abandona alguns hábitos antigos e adota outros. — 01:01

Os nove modelos agora escrevem mais como uns aos outros do que como pessoas de verdade. — 02:04

Humanos ainda escrevem de um jeito genuinamente único. — 02:35

Conceitos e entidades

Graphite (empresa): Organização que publicou o estudo sobre padrões de escrita de IA descrito no vídeo.
Common Crawl (ferramenta): Fonte dos 10 mil artigos humanos publicados antes do lançamento do ChatGPT.
GPT-4.1 (modelo): Modelo usado para resumir os artigos humanos que serviram de base para os textos comparativos.
GPT-6 Astra (modelo): Modelo cuja escrita é comparada à de versões anteriores e à escrita humana.
GPT-5.6 Soul (modelo): Versão comparada ao GPT-6 Astra quanto à frequência de sinais de escrita de IA.
Claude (modelo): Modelo que, segundo a análise, foi o único a se aproximar mais da escrita humana nas escolhas gerais de palavras.
Opus 5 (modelo): Modelo que usa uma estrutura de comparação específica com muito mais frequência do que humanos.
Gemini (modelo): Modelo que reduziu o uso de contrações e passou a usar a palavra “incredibly” com frequência.
travessão longo (conceito): Sinal de escrita que já foi associado a textos de IA, mas cujo uso varia entre modelos e versões.
conjunto de dados (conceito): Os dados do estudo foram disponibilizados gratuitamente para quem quiser analisá-los.

Tradução completa (pt-BR)

00:00 Se você ainda está tentando identificar textos escritos por IA procurando por travessões, bem, tenho más notícias para você. O GPT-6 Astra agora usa travessões 88% menos do que os humanos usavam antes mesmo de o ChatGPT existir. E há outros indícios de que os textos escritos por IA ficaram significativamente menos desleixados. A Grafa acabou de publicar um estudo enorme sobre o assunto, então vamos ver o que eles descobriram. Primeiro, eles reuniram 10.000 artigos escritos por humanos do Common Crawl, todos publicados antes do lançamento do ChatGPT, em novembro de 2022. Depois, pediram ao GPT-4.1 que resumisse cada um e a nove modelos diferentes que escrevessem um artigo completo a partir de cada resumo.

00:30 Assim, eles ficaram com 90.000 artigos de IA sobre exatamente os mesmos temas dos textos escritos por humanos. Depois, contabilizaram cada palavra, frase e padrão que aparecia pelo menos duas vezes mais frequentemente nos textos de IA. Ao todo, nos nove modelos, encontraram 12.877 desses exemplos. E é difícil mapear exatamente todos os sinais de IA, porque, quando um modelo ganha uma nova versão, muitos desses sinais mudam. Por exemplo, entre todos os sinais de IA que os pesquisadores encontraram nesses modelos, menos da metade aparece tanto no GPT-6 Astra quanto na versão imediatamente anterior, o GPT-5.6 Soul.

01:01 Por exemplo, o Soul diz “além disso” 14 vezes mais frequentemente que o Astra, enquanto o Astra diz “não precisa” 17 vezes mais frequentemente que o Soul. E cada novo lançamento abandona alguns hábitos antigos e adquire outros. Por exemplo, o GPT praticamente parou de usar palavras promocionais como “desbloquear” e “otimizar”, mas adora dizer o que algo não é, como em “isto não é simplesmente uma ferramenta”. O GPT-6 Astra faz isso 12 vezes mais do que um humano faria. O Claude reduziu o uso de palavras exageradas, como “revolucionário”, mas agora vive escrevendo comparações como “é menos uma biblioteca e mais um conjunto de ferramentas”. O Opus 5

01:32 na verdade, usa esse padrão 105 vezes mais do que os humanos. E o Gemini quase parou de usar contrações como “é” e “não”, enquanto diz “incrivelmente” muito mais do que qualquer outro modelo. E a polêmica dos travessões é muito engraçada. O GPT e o Gemini reduziram tanto o uso deles que agora usam travessões muito menos do que as pessoas normalmente usam. Os pesquisadores acham que isso aconteceu porque eles exageravam no uso. O Claude também reduziu o uso deles no Opus 4.6, mas, no Opus 5, voltou a usar travessões, e agora a frequência está praticamente no mesmo nível que a dos humanos. Eu ia sugerir que as pessoas voltassem a usá-los, porque agora isso seria um sinal de que foi um humano quem escreveu,

02:04 mas as diferenças estão ficando bem menos nítidas agora. Então, você pensaria que os modelos mais novos soariam mais humanos, certo? Mas os pesquisadores compararam as escolhas de palavras gerais de cada modelo com textos escritos por humanos, e só o Claude ficou realmente mais próximo. O GPT foi na direção oposta. O GPT-6 Astro agora tem 48% mais sinais de IA do que o GPT-4.1 tinha. Vai entender. Mas o mais engraçado é que agora todos os nove modelos escrevem mais como uns aos outros do que como pessoas de verdade. Então, está mesmo ficando mais difícil identificar textos escritos por IA? Os próprios pesquisadores dizem que você não deve julgar a autoria com base em sinais de IA isolados. O que realmente denuncia os humanos

02:35 nos dados são coisas como pontos de exclamação, observações entre parênteses e pequenas anedotas pessoais. Na verdade, os humanos usam pontos de exclamação mais de 100 vezes mais frequentemente do que os modelos atuais. Então, os humanos ainda escrevem de uma maneira genuinamente única. E eles também disponibilizaram um conjunto de dados completo, que pode ser baixado gratuitamente, caso você queira se aprofundar nos dados. E, se quiser ficar por dentro das novidades em pesquisa e engenharia de IA, inscreva-se no canal Better Stack.

Transcrição original

[00:00] If you’re still trying to spot AI writing by looking for M dashes, well, I’ve got bad news for you. GPT-6 Astra now uses M dashes 88% less often than humans did before ChatGPT even existed. And there are other indications that AI writing has gotten significantly less sloppy. Grafa I just published a massive study on the subject, so let’s go over what they found. So, they pulled 10,000 human-written articles from Common Crawl, all published before ChatGPT launched in November 2022. Then, they had GPT-4.1 summarize each one and asked nine different models to write a full

[00:30] article from that summary. So, you end up with 90,000 AI articles on the exact same topics as the human ones. Then, they counted every word, phrase, and pattern that shows up at least as twice as often in AI text. And across all nine models, they found 12,877 of such samples. And it’s hard to map out all the AI tells exactly because when a model gets a new version, a lot of its AI tells change. For example, GPT-6 Astra and the version right before it, GPT-5.6 Soul, out of all the AI tells the researchers found in those models, less than half of them show up

[01:01] in both versions. For example, Soul says in addition 14 times more often than Astra, while Astra says need not 17 times more often than Soul. And each new release drops some old habits and picks up new ones. For example, GPT has mostly stopped using salesy words like unlock and streamline, but it loves saying what something is not, like this is not simply a tool. GPT-6 Astra does that 12 times more than a human would. Claude has toned down the hype words like groundbreaking, but it now keeps writing comparisons like it’s less like a library and more like a toolkit. Opus 5

[01:32] actually uses that pattern 105 times more than humans. And Gemini has almost stopped using contractions like it’s and don’t, while saying incredibly way more often than any other model. And the M dash debacle is super funny. GPT and Gemini cut back on it so much so that they now use it way less than normal people do. The researchers think this is because they overdid it. Claude also cut back on it in Opus 4.6, but on Opus 5, they started using M dashes again, and now it’s pretty much at the same level as humans use it. I was going to suggest putting them back in because now that would be a sign a human has written it,

[02:04] but the lines are getting really blurred right now. So, you would think newer models would sound more human, right? But the researchers compared the overall word choices of each model to human writing, and only Claude actually got closer. GPT went the other way. GPT-6 Astro now has 48% more AI tails than GPT-4.1 did. Make that make sense. But the funniest thing is that all nine models now write more like each other rather than actual people. So, is AI writing actually getting harder to spot? The researchers themselves say you shouldn’t judge authorship on individual AI tails. What actually gives humans

[02:35] away in their data are things like exclamation marks, parenthetical asides, and little personal anecdotes. Humans actually use exclamation marks over 100 times as often as the current models. So, humans still write in a genuinely unique way. And they also released a full data set, which is free to download if you want to dig deeper in the data. And if you want to stay up to date with the latest in AI research and engineering, be sure to subscribe to the Better Stack channel.