Detectores podem classificar textos humanos como conteúdo gerado por IA

Ver no idioma original →

Autoria: globonews · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: português

Vídeo original: Detectores podem classificar textos humanos como conteúdo gerado por IA · Canal: globonews · 06:55 · Assistir no YouTube

Tópicos: Aplicações empresariais de IA, Avaliação e benchmarks de IA, Governança e regulação de IA

Resumo

Detectores de IA usados para avaliar trabalhos acadêmicos podem classificar textos escritos por pessoas como conteúdo gerado por IA, com consequências como nota zero ou acusações de fraude. O caso de Oron Newby, nos Estados Unidos, mostra os riscos de tratar o resultado de um detector como prova conclusiva. No Brasil, universidades e órgãos de pesquisa discutem regras de transparência, autoria e supervisão humana para o uso dessas ferramentas. Um professor entrevistado defende diversificar as avaliações, incluindo apresentações e chamadas orais, para avaliar melhor as habilidades dos alunos.

Pontos-chave

• Detectores de IA estimam a probabilidade de um texto ter sido produzido por IA, mas não comprovam sua autoria.
• Falsos positivos podem levar alunos a receber nota zero ou ser acusados de fraude acadêmica.
• Oron Newby teve a punição acadêmica anulada pela Justiça de Nova York após contestar a classificação de seu trabalho.
• Padrões de escrita podem levar detectores a classificar incorretamente textos humanos como gerados por IA.
• Pesquisas apontam que o problema pode ser maior para pessoas que escrevem em inglês sem serem falantes nativas.
• Unicamp e Unesp reforçam princípios como transparência, autoria e supervisão humana no uso de IA.
• O CNPq passou a exigir que pesquisadores declarem o uso de IA generativa em etapas importantes de trabalhos financiados pelo órgão.
• Avaliações orais, bancas de projeto e outros formatos podem ajudar a avaliar habilidades além da escrita.

Capítulos

Início	Capítulo	Resumo
00:00	O risco dos detectores de IA	A reportagem apresenta a dificuldade de verificar o uso irregular de IA em trabalhos e o risco de falsos positivos.
01:36	O caso de Oron Newby	Um estudante contestou a classificação de seu trabalho como totalmente gerado por IA, e a Justiça anulou a punição.
03:15	Como os detectores podem errar	A reportagem explica que detectores analisam padrões de linguagem e podem confundir textos humanos com textos gerados por IA.
04:20	Regras e avaliação nas universidades	Universidades e órgãos de pesquisa discutem regras para o uso de IA, enquanto um professor defende diversificar as formas de avaliação.

Citações

Um texto escrito pelo próprio aluno pode ser classificado como produzido por IA. — 01:36

Eles não comprovam a autoria. — 03:15

Não dá para só por meio de um texto, de um trabalho entregue escrito que a gente consegue avaliar os alunos. — 05:54

O que a gente tem que fazer é levar o processo de avaliação para outros lugares. — 06:25

Conceitos e entidades

• AI detectors (conceito): Ferramentas que estimam se um texto foi produzido por IA, mas podem gerar falsos positivos e não comprovam autoria.
• Oron Newby (pessoa): Estudante de uma universidade particular de Nova York cuja punição acadêmica foi anulada pela Justiça.
• Unicamp (empresa): Universidade citada como exemplo de instituição que estabelece princípios para o uso de IA.
• Unesp (empresa): Universidade citada por tratar do uso de IA e reforçar princípios de transparência, autoria e supervisão humana.
• CNPq (empresa): Órgão que passou a exigir a declaração do uso de IA generativa em etapas importantes de trabalhos financiados.
• Diogo Cortiz (pessoa): Professor da PUC de São Paulo e especialista em inteligência artificial entrevistado sobre avaliação educacional.

Tradução completa (pt-BR)

00:00 Vamos aproveitar, então, que estamos falando de desafios em tempos de inteligência artificial, porque o uso de IA em trabalhos acadêmicos está levando a uma nova discussão para dentro das universidades. Como é que a gente pode comprovar, ou os professores podem comprovar, quando um aluno usou essas ferramentas de forma irregular? A Carla Buquer, nossa editora especialista em inteligência artificial, vai explicar o que está em jogo. Carla, seja bem-vinda mais uma vez ao especial de domingo. Então, eu estava pensando aqui,

00:31 Antigamente, colar na prova, né? Você tinha que ter ali uma sofisticação: tentar escrever pequeno ou enxergar de longe para conseguir colar. Não que isso esteja certo, gente. Não estou defendendo isso aqui, pelo amor de Deus, né? Não. Aí, depois, quando surgiram a internet e os buscadores, muita gente começou a fazer trabalhos usando os buscadores, mas aí era fácil também procurar, o professor procurar para saber se tinha alguma coisa ou não. Agora tem a IA. Está ficando mais sofisticado colar em trabalho, colar em prova.

01:06 Oi, Eric, boa noite para você. Boa noite a todo mundo que nos assiste. Eric, que atire a primeira pedra quem nunca colou, né? Minha mãe lá em Belém, ouvindo isso, é que não chore, mas é a verdade. Mas, com certeza, está tudo muito mais sofisticado, porque existem ferramentas de inteligência artificial que prometem identificar textos produzidos por IA. O problema é que esses detectores também podem errar, e a consequência é séria. Um texto escrito pelo próprio aluno pode

01:36 ser classificado como produzido por IA e virar motivo para nota zero ou até para uma acusação de fraude acadêmica. Vou convidar vocês para olharem aqui no nosso telão um caso prático que aconteceu. Ele entrou no centro de uma disputa judicial nos Estados Unidos. O nome dele está aqui, a carinha dele: é o Oron Newby. Ele era aluno de uma universidade particular em Nova York. Um professor deu zero para um trabalho dele depois que uma ferramenta usada por universidades para verificar trabalhos acadêmicos indicou que o texto

02:08 que ele escreveu tinha sido 100% gerado por inteligência artificial. O aluno negou, recorreu dentro da universidade, teve ali todo um embate, um embrólio, e aí acabou indo parar na Justiça. Depois de alguns meses, a Justiça de Nova York anulou a conclusão de que ele tinha cometido infração acadêmica e mandou a universidade tirar a punição do histórico do estudante. Mas aí o estrago já tinha sido feito, porque você imagina ele procurando estágio naquele momento frágil, né, dentro da universidade e

02:41 aí com essa mancha no currículo, digamos assim, e a situação. Então, uma situação bem complicada. O caso expõe, então, uma questão importante: o resultado de um detector, sozinho, é prova suficiente para acusar um aluno? A gente estava vendo a matéria maravilhosa da Carla Lucena, com várias nuances sobre essa questão da inteligência artificial, a dificuldade de detectar o que é falso e verdadeiro numa imagem, a dificuldade de detectar o que é falso e verdadeiro na voz. E no texto não é diferente, mas no texto ainda é mais

03:15 complicado. Então, vamos entender um pouco como esses detectores funcionam na próxima tela. Esses detectores, que também são ferramentas de IA, indicam probabilidades, mas não comprovam a autoria, né? Eles podem gerar falsos positivos, quando um texto escrito por uma pessoa é classificado como se tivesse sido feito por uma ferramenta de inteligência artificial, mas não foi. Aí você pergunta assim: “Ué, mas por que ele identifica isso como…?” Porque a gente está falando de ferramentas que

03:45 aprendem com linguagem natural, aprendem como a gente fala, como a gente escreve. Então, se a gente usa muito determinado adjetivo, determinado verbo, mesmo sem saber, ele pode pegar um texto, analisar e falar: “Não, isso daqui foi gerado por IA”, quando não foi. Então, existem pesquisas que mostram que esse problema pode ser ainda maior entre pessoas que escrevem em inglês sem serem falantes nativas do idioma. Por quê? Porque tudo é programado nos Estados Unidos. Os grandes programadores dessas ferramentas estão lá no Vale do Silício, né? E aí a

04:20 discussão ganha importância no Brasil justamente porque universidades e órgãos de pesquisa estão criando regras mais claras para o uso de inteligência artificial. Vamos para a nossa próxima tela para ver como está essa situação aqui no Brasil. Eu peguei aqui o exemplo de algumas universidades de São Paulo. No caso da Unicamp e da Unesp, que tratam do uso de inteligência artificial e reforçam princípios como transparência, autoria e supervisão humana. O CNPq passou a exigir que pesquisadores declarem o uso de

04:51 inteligência artificial generativa em etapas importantes de trabalhos financiados pelo órgão. Ou seja, gente, a discussão não é mais simplesmente sobre proibir ou liberar a inteligência artificial, porque a gente vem falando sobre isso, né? Chegou a um ponto em que é realmente difícil voltar atrás. Isso tem sido debatido. Daqui a pouco a gente vai falar um pouco mais sobre essa questão de como fazer, né, para pisar no freio. Eu acho que agora a grande questão é definir como a inteligência artificial pode ser

05:21 usada, como esse uso deve ser informado em caso de eventuais irregularidades. Estamos falando dessa questão dentro da educação e das universidades: como essas irregularidades podem ser comprovadas e, se for o caso, que tipo de punições devem ser estabelecidas. Eu conversei com o professor da PUC de São Paulo, Diogo Cortiz. Ele é especialista em inteligência artificial. O Diogo, além de professor, viaja pelo mundo inteiro. Então, tem dias, tem alguns meses em que ele está na China; daqui a pouco, está nos Estados Unidos. Então, ele acompanha muito de perto essas transformações das ferramentas, mas ele

05:54 também é professor no dia a dia, está ali com os alunos na sala de aula. E aí a gente conversou sobre isso: como fazer para restabelecer uma nova conexão com os alunos em tempos de inteligência artificial? Vamos ouvir. Um desafio enorme. Acho que o mundo inteiro está passando por esse processo de repensar tanto as nossas práticas educacionais como também o processo de avaliação. Não dá para avaliar os alunos só por meio de um texto, de um trabalho escrito e entregue. E muitas vezes é até mais fácil a

06:25 gente identificar o uso de inteligência artificial, né? Porque a gente conhece os alunos, sabe mais ou menos o padrão de escrita de cada um, o padrão de pensamento de cada um. De repente, chega um conteúdo totalmente desconectado. Então, o que a gente tem que fazer é levar o processo de avaliação para outros lugares. Avaliar as habilidades e competências de diferentes formas, às vezes fazendo bancas de projeto, às vezes fazendo uma espécie de chamada oral, como isso está voltando no mundo, né? Porque isso é até interessante,

06:55 porque força os alunos a desenvolverem sua capacidade de argumentação, algo que a gente foi perdendo ao longo do tempo. Então, talvez a IA nos force a resgatar alguns hábitos antigos que pareciam um pouco desconectados, mas que, na verdade, podem incentivar os alunos a desenvolver habilidades de comunicação, argumentação e persuasão que às vezes foram se perdendo no processo educacional. M.

Transcrição original

[00:00] Vamos aproveitar então que estamos falando de desafios em tempos de inteligência artificial, porque o uso de IA em trabalhos acadêmicos está levando a uma nova discussão para dentro das universidades. Como é que a gente pode comprovar ou os professores podem comprovar quando um aluno usou essas ferramentas de forma irregular? A Carla Buquer, nossa editora especialista em inteligência artificial, vai explicar o que que tá em jogo. Carla, seja bem-vinda mais uma vez ao especial de domingo. Então, eu tava pensando aqui,

[00:31] antigamente colar na prova, né, você tinha ali ter uma sofisticação de tentar escrever pequeno ou enxergar longe para conseguir colar. Não que isso esteja certo, gente. Não estou defendendo isso aqui, pelo amor de Deus, né? Não. Aí depois quando surge a internet, os buscadores, muita gente começou a fazer trabalhos usando ali os buscadores, mas aí ela fácil também você procurar ali, o professor procurar para saber se tinha alguma coisa ou não. Agora tem a IA. Tá ficando mais sofisticado colar em trabalho, colar em prova.

[01:06] >> Oi, Eric, boa noite para você. Boa noite a todo mundo que nos assiste. Eric, que atire a primeira pedra quem nunca colou, né? Minha mãe lá em Belém ouvindo isso é que não chore, mas é a verdade. Mas com certeza tá tudo muito mais sofisticado, porque existem ferramentas de inteligência artificial que prometem identificar textos produzidos por IA. O problema é que esses detectores também podem errar e a consequência é séria. Um texto escrito pelo próprio aluno pode

[01:36] ser classificado como produzido por IA e virar motivo para nota zero ou até para uma acusação de fraude acadêmica. Vou convidar vocês para olharem aqui no nosso telão um caso prático que aconteceu. Aconteceu, entrou no centro de uma disputa judicial nos Estados Unidos. O nome dele, tá aqui, a carinha dele, é o Oron Newby. Ele era aluno de uma universidade particular em Nova York. Um professor deu zero para um trabalho dele depois que uma ferramenta usada por universidades para verificar trabalhos acadêmicos indicou que o texto

[02:08] que ele que ele escreveu tinha sido 100% gerado por inteligência artificial. O aluno negou, recorreu dentro da universidade, teve toda ali uma um embate, um embrolho e aí acabou indo parar na justiça. Depois de alguns meses, a justiça de Nova York anulou a conclusão de que ele tinha cometido infração acadêmica e mandou a universidade tirar a punição do histórico do estudante. Mas aí o estrago já tinha sido feito, porque você imagina ele procurando estágio naquele momento frágil, né, de dentro da universidade e

[02:41] aí com essa mancha no currículo, digamos assim, >> e situação. >> Então, uma situação bem complicada. O caso expõe então uma uma questão importante. O resultado de um detector sozinho é prova suficiente para acusar um aluno? A gente tava vendo a matéria da Carla Lucena maravilhosa, né, com várias nuances aí sobre essa questão de inteligência artificial, dificuldade de detectar o e eh a na questão do que que é falso e verdadeiro numa imagem, dificuldade de detectar o que é falso e verdadeiro na voz. E no texto não é diferente, mas no texto ainda é mais

[03:15] complicado. Então vamos entender um pouco como é que esses detectores funcionam numa próxima tela. Esses detectores, que são ferramentas de IA também indicam probabilidade, mas eles não comprovam a autoria, né? Eles podem gerar falsos positivos quando um texto escrito por uma pessoa é classificado como se tivesse tivesse sido feito por uma ferramenta de inteligência artificial, mas não foi. Aí você pergunta assim: “Ué, mas por que que ele ele identifica isso como?” Porque a gente tá falando de ferramentas que

[03:45] aprendem com linguagem natural, aprendem como a gente fala, como a gente escreve. Então, se a gente usa muito determinado adjetivo, determinado verbo, >> mesmo sem saber, >> mesmo sem saber, ele pode pegar um texto, analisar e falar: “Não, isso daqui foi gerado por IA e não foi.” Então, assim, existem pesquisas que mostram que esse problema pode ser ainda maior entre pessoas que escrevem em inglês sem ser falantes nativas do idioma. Por quê? Porque é tudo programado nos Estados Unidos. Os grandes programadores dessas ferramentas estão lá no Vale do Silício, né? E aí a

[04:20] discussão ganha importância no Brasil justamente porque universidades e órgãos de pesquisa estão criando regras mais claras pro uso de inteligência artificial. Vamos pra nossa próxima tela para ver como é que tá essa situação aqui no Brasil. Aí eu peguei exemplo aqui de algumas universidades de São Paulo. No caso da Unicamp e Unesp que tratam do uso de inteligência artificial e reforçam princípios como transparência, autoria e supervisão humana. O CNPq passou a exigir que pesquisadores declarem uso de

[04:51] inteligência artificial generativa em etapas importantes de trabalhos financiados pelo órgão. Ou seja, gente, a discussão não é mais simplesmente sobre proibir ou liberar a inteligência artificial, porque a gente vem falando sobre isso, né? Chegou num ponto realmente assim que é difícil você andar recuar. Isso tem sido debatido. Daqui a pouco a gente vai falar um pouco mais sobre essa questão de ah, como é que faz, né, para pisar no no freio. Eu acho que agora a grande questão é definir como a inteligência artificial pode ser

[05:21] usada, como esse uso deve ser informado em caso de eventuais irregularidades. Aí a gente falando nessa questão dentro da educação e universidades, como essas irregularidades podem ser comprovadas e se for o caso, que tipo de punições devem ser estabelecidas. Eu conversei com o professor da PUC de São Paulo, Diogo Cortiz. Ele é especialista em inteligência artificial. O Diogo, além de professor, ele viaja assim o mundo inteiro. Então tem dias, tem alguns meses ele tá na China, daqui a pouco ele tá nos Estados Unidos. Então assim, ele acompanha muito de perto essas transformações das ferramentas, mas ele

[05:54] também é professor do dia a dia de est ali com os alunos na sala de aula. E aí a gente conversou sobre isso, como é que faz para restabelecer uma nova conexão com os alunos em tempos de inteligência artificial? Vamos ouvir >> um desafio enorme. Acho que o mundo inteiro tá passando por esse processo da gente repensar tanto as nossas práticas educacionais como também o processo de avaliação. Não dá para só por meio de um texto, de um trabalho entregue escrito que a gente consegue avaliar os alunos, não. E muitas vezes é até mais fácil a

[06:25] gente identificar o uso de inteligência artificial, né? Porque a gente conhece os alunos, a gente sabe mais ou menos o padrão de escrita de cada um, padrão de pensamento de cada um, de repente chega um conteúdo totalmente desconectado. Então o que a gente tem que fazer é levar o processo de avaliação para outros lugares. Então avaliar as habilidades, competências de diferentes formas, às vezes fazendo bancas de projeto, às vezes fazendo uma espécie de chamada oral, como tá voltando isso no mundo, né? Porque isso até interessante,

[06:55] porque força os alunos a se desenvolverem na sua característica de argumentação, algo que a gente foi perdendo ao longo do tempo. Então, talvez a IA nos force a resgatar alguns hábitos antigos que pareciam um pouco desconectado, mas que na verdade pode incentivar os alunos a desenvolver habilidades de comunicação, de argumentação e de persuasão que às vezes foram se perdendo no processo educacional. M.