Detectores podem classificar textos humanos como conteúdo gerado por IA

Video authored by the channel shown, not by IANIA; all rights belong to the creator. Transcript and summary generated automatically; the original-language content is preserved.

Original language: Portuguese

Original video: Detectores podem classificar textos humanos como conteúdo gerado por IA · Channel: globonews · 06:55 · Watch on YouTube

Topics: Enterprise AI applications, AI evaluation and benchmarks, AI governance and regulation

Summary

Detectores de IA usados para avaliar trabalhos acadêmicos podem classificar textos escritos por pessoas como conteúdo gerado por IA, com consequências como nota zero ou acusações de fraude. O caso de Oron Newby, nos Estados Unidos, mostra os riscos de tratar o resultado de um detector como prova conclusiva. No Brasil, universidades e órgãos de pesquisa discutem regras de transparência, autoria e supervisão humana para o uso dessas ferramentas. Um professor entrevistado defende diversificar as avaliações, incluindo apresentações e chamadas orais, para avaliar melhor as habilidades dos alunos.

Key points

Detectores de IA estimam a probabilidade de um texto ter sido produzido por IA, mas não comprovam sua autoria.
Falsos positivos podem levar alunos a receber nota zero ou ser acusados de fraude acadêmica.
Oron Newby teve a punição acadêmica anulada pela Justiça de Nova York após contestar a classificação de seu trabalho.
Padrões de escrita podem levar detectores a classificar incorretamente textos humanos como gerados por IA.
Pesquisas apontam que o problema pode ser maior para pessoas que escrevem em inglês sem serem falantes nativas.
Unicamp e Unesp reforçam princípios como transparência, autoria e supervisão humana no uso de IA.
O CNPq passou a exigir que pesquisadores declarem o uso de IA generativa em etapas importantes de trabalhos financiados pelo órgão.
Avaliações orais, bancas de projeto e outros formatos podem ajudar a avaliar habilidades além da escrita.

Chapters

Start	Chapter	Summary
00:00	O risco dos detectores de IA	A reportagem apresenta a dificuldade de verificar o uso irregular de IA em trabalhos e o risco de falsos positivos.
01:36	O caso de Oron Newby	Um estudante contestou a classificação de seu trabalho como totalmente gerado por IA, e a Justiça anulou a punição.
03:15	Como os detectores podem errar	A reportagem explica que detectores analisam padrões de linguagem e podem confundir textos humanos com textos gerados por IA.
04:20	Regras e avaliação nas universidades	Universidades e órgãos de pesquisa discutem regras para o uso de IA, enquanto um professor defende diversificar as formas de avaliação.

Quotes

Um texto escrito pelo próprio aluno pode ser classificado como produzido por IA. — 01:36

Eles não comprovam a autoria. — 03:15

Não dá para só por meio de um texto, de um trabalho entregue escrito que a gente consegue avaliar os alunos. — 05:54

O que a gente tem que fazer é levar o processo de avaliação para outros lugares. — 06:25

Concepts and entities

AI detectors, Oron Newby, Unicamp, Unesp, CNPq, Diogo Cortiz

Full transcript (original language)

00:00 Vamos aproveitar então que estamos falando de desafios em tempos de inteligência artificial, porque o uso de IA em trabalhos acadêmicos está levando a uma nova discussão para dentro das universidades. Como é que a gente pode comprovar ou os professores podem comprovar quando um aluno usou essas ferramentas de forma irregular? A Carla Buquer, nossa editora especialista em inteligência artificial, vai explicar o que que tá em jogo. Carla, seja bem-vinda mais uma vez ao especial de domingo. Então, eu tava pensando aqui,

00:31 antigamente colar na prova, né, você tinha ali ter uma sofisticação de tentar escrever pequeno ou enxergar longe para conseguir colar. Não que isso esteja certo, gente. Não estou defendendo isso aqui, pelo amor de Deus, né? Não. Aí depois quando surge a internet, os buscadores, muita gente começou a fazer trabalhos usando ali os buscadores, mas aí ela fácil também você procurar ali, o professor procurar para saber se tinha alguma coisa ou não. Agora tem a IA. Tá ficando mais sofisticado colar em trabalho, colar em prova.

01:06 >> Oi, Eric, boa noite para você. Boa noite a todo mundo que nos assiste. Eric, que atire a primeira pedra quem nunca colou, né? Minha mãe lá em Belém ouvindo isso é que não chore, mas é a verdade. Mas com certeza tá tudo muito mais sofisticado, porque existem ferramentas de inteligência artificial que prometem identificar textos produzidos por IA. O problema é que esses detectores também podem errar e a consequência é séria. Um texto escrito pelo próprio aluno pode

01:36 ser classificado como produzido por IA e virar motivo para nota zero ou até para uma acusação de fraude acadêmica. Vou convidar vocês para olharem aqui no nosso telão um caso prático que aconteceu. Aconteceu, entrou no centro de uma disputa judicial nos Estados Unidos. O nome dele, tá aqui, a carinha dele, é o Oron Newby. Ele era aluno de uma universidade particular em Nova York. Um professor deu zero para um trabalho dele depois que uma ferramenta usada por universidades para verificar trabalhos acadêmicos indicou que o texto

02:08 que ele que ele escreveu tinha sido 100% gerado por inteligência artificial. O aluno negou, recorreu dentro da universidade, teve toda ali uma um embate, um embrolho e aí acabou indo parar na justiça. Depois de alguns meses, a justiça de Nova York anulou a conclusão de que ele tinha cometido infração acadêmica e mandou a universidade tirar a punição do histórico do estudante. Mas aí o estrago já tinha sido feito, porque você imagina ele procurando estágio naquele momento frágil, né, de dentro da universidade e

02:41 aí com essa mancha no currículo, digamos assim, >> e situação. >> Então, uma situação bem complicada. O caso expõe então uma uma questão importante. O resultado de um detector sozinho é prova suficiente para acusar um aluno? A gente tava vendo a matéria da Carla Lucena maravilhosa, né, com várias nuances aí sobre essa questão de inteligência artificial, dificuldade de detectar o e eh a na questão do que que é falso e verdadeiro numa imagem, dificuldade de detectar o que é falso e verdadeiro na voz. E no texto não é diferente, mas no texto ainda é mais

03:15 complicado. Então vamos entender um pouco como é que esses detectores funcionam numa próxima tela. Esses detectores, que são ferramentas de IA também indicam probabilidade, mas eles não comprovam a autoria, né? Eles podem gerar falsos positivos quando um texto escrito por uma pessoa é classificado como se tivesse tivesse sido feito por uma ferramenta de inteligência artificial, mas não foi. Aí você pergunta assim: “Ué, mas por que que ele ele identifica isso como?” Porque a gente tá falando de ferramentas que

03:45 aprendem com linguagem natural, aprendem como a gente fala, como a gente escreve. Então, se a gente usa muito determinado adjetivo, determinado verbo, >> mesmo sem saber, >> mesmo sem saber, ele pode pegar um texto, analisar e falar: “Não, isso daqui foi gerado por IA e não foi.” Então, assim, existem pesquisas que mostram que esse problema pode ser ainda maior entre pessoas que escrevem em inglês sem ser falantes nativas do idioma. Por quê? Porque é tudo programado nos Estados Unidos. Os grandes programadores dessas ferramentas estão lá no Vale do Silício, né? E aí a

04:20 discussão ganha importância no Brasil justamente porque universidades e órgãos de pesquisa estão criando regras mais claras pro uso de inteligência artificial. Vamos pra nossa próxima tela para ver como é que tá essa situação aqui no Brasil. Aí eu peguei exemplo aqui de algumas universidades de São Paulo. No caso da Unicamp e Unesp que tratam do uso de inteligência artificial e reforçam princípios como transparência, autoria e supervisão humana. O CNPq passou a exigir que pesquisadores declarem uso de

04:51 inteligência artificial generativa em etapas importantes de trabalhos financiados pelo órgão. Ou seja, gente, a discussão não é mais simplesmente sobre proibir ou liberar a inteligência artificial, porque a gente vem falando sobre isso, né? Chegou num ponto realmente assim que é difícil você andar recuar. Isso tem sido debatido. Daqui a pouco a gente vai falar um pouco mais sobre essa questão de ah, como é que faz, né, para pisar no no freio. Eu acho que agora a grande questão é definir como a inteligência artificial pode ser

05:21 usada, como esse uso deve ser informado em caso de eventuais irregularidades. Aí a gente falando nessa questão dentro da educação e universidades, como essas irregularidades podem ser comprovadas e se for o caso, que tipo de punições devem ser estabelecidas. Eu conversei com o professor da PUC de São Paulo, Diogo Cortiz. Ele é especialista em inteligência artificial. O Diogo, além de professor, ele viaja assim o mundo inteiro. Então tem dias, tem alguns meses ele tá na China, daqui a pouco ele tá nos Estados Unidos. Então assim, ele acompanha muito de perto essas transformações das ferramentas, mas ele

05:54 também é professor do dia a dia de est ali com os alunos na sala de aula. E aí a gente conversou sobre isso, como é que faz para restabelecer uma nova conexão com os alunos em tempos de inteligência artificial? Vamos ouvir >> um desafio enorme. Acho que o mundo inteiro tá passando por esse processo da gente repensar tanto as nossas práticas educacionais como também o processo de avaliação. Não dá para só por meio de um texto, de um trabalho entregue escrito que a gente consegue avaliar os alunos, não. E muitas vezes é até mais fácil a

06:25 gente identificar o uso de inteligência artificial, né? Porque a gente conhece os alunos, a gente sabe mais ou menos o padrão de escrita de cada um, padrão de pensamento de cada um, de repente chega um conteúdo totalmente desconectado. Então o que a gente tem que fazer é levar o processo de avaliação para outros lugares. Então avaliar as habilidades, competências de diferentes formas, às vezes fazendo bancas de projeto, às vezes fazendo uma espécie de chamada oral, como tá voltando isso no mundo, né? Porque isso até interessante,

06:55 porque força os alunos a se desenvolverem na sua característica de argumentação, algo que a gente foi perdendo ao longo do tempo. Então, talvez a IA nos force a resgatar alguns hábitos antigos que pareciam um pouco desconectado, mas que na verdade pode incentivar os alunos a desenvolver habilidades de comunicação, de argumentação e de persuasão que às vezes foram se perdendo no processo educacional. M.