O homem que criou o primeiro chatbot e depois nos alertou

Autoria: Better Stack · Assistir no YouTube

Vídeo de autoria do canal indicado, não da IANIA; todos os direitos pertencem ao criador. Transcrição, resumo e tradução gerados automaticamente; o conteúdo no idioma original é preservado na versão em idioma original.

Idioma original: inglês

Vídeo original: The Man Who Built the First Chatbot, Then Warned Us · Canal: Better Stack · 09:18 · Assistir no YouTube

Tópicos: Agentes de IA, Governança e regulação de IA, Modelos de IA, Segurança de IA

Resumo

O vídeo restaura e demonstra Eliza, o chatbot criado por Joseph Weizenbaum em 1966, explicando como suas regras e scripts produziam respostas que pareciam conversacionais. A transcrição mostra falhas do programa, como travar ao receber números e revelar seu script quando alguém tenta digitar um ponto de interrogação. Após décadas perdido e substituído por cópias, o código original foi encontrado em um arquivo do MIT e restaurado. Weizenbaum passou a alertar que as pessoas poderiam atribuir compreensão e sabedoria a computadores, um risco que o vídeo relaciona ao apego emocional a chatbots atuais.

Pontos-chave

Eliza foi criado por Joseph Weizenbaum no MIT e publicado em 1966; o código original foi recuperado décadas depois.
O chatbot usa palavras-chave, regras de substituição e respostas predefinidas, sem compreender o significado do que lhe dizem.
O script determina a personalidade de Eliza, enquanto o programa funciona como um mecanismo que executa essas regras.
Números podem fazer o programa procurar um endereço inválido na memória e travar; o ponto de interrogação também causa um comportamento inesperado.
O código original ficou obscurecido pela popularidade de versões clonadas, inclusive uma versão em BASIC publicada em 1977.
A equipe que restaurou o código corrigiu um erro de digitação para conseguir executá-lo, mas manteve a falha com números por considerá-la parte de sua autenticidade.
O chamado efeito Eliza descreve a tendência de as pessoas atribuírem compreensão ou capacidades humanas a um programa simples.
Weizenbaum advertiu que computadores não devem receber tarefas que exijam sabedoria e temia que as pessoas formassem vínculos prejudiciais com máquinas.
O vídeo associa os alertas de Weizenbaum às preocupações atuais sobre apego emocional a chatbots e prejuízo às relações no mundo real.

Capítulos

Início	Capítulo	Resumo
00:00	Eliza, o chatbot original	O vídeo apresenta a execução do código de Eliza e mostra como o programa reproduz respostas publicadas por Weizenbaum.
03:06	Falhas, scripts e personalidades	Demonstra como entradas específicas fazem Eliza travar ou revelar seu script, e explica como regras diferentes podem mudar sua personalidade.
05:40	O código perdido e sua restauração	O vídeo conta como o código foi transcrito, corrigido e encontrado após décadas em que cópias de Eliza se tornaram mais conhecidas que o original.
07:44	Os alertas de Weizenbaum e o efeito Eliza	A discussão aborda a tendência de pessoas atribuírem compreensão a chatbots e relaciona os alertas de Weizenbaum ao apego emocional a sistemas atuais.

Citações

Eliza em si é apenas um mecanismo, e o script por cima diz a ela quem ser. — 04:08

Como não temos como tornar os computadores sábios, não devemos lhes dar tarefas que exijam sabedoria. — 08:16

O padrão que preocupa a OpenAI é o apego em detrimento das relações no mundo real. — 08:46

Saber como o truque funciona não impediu isso com uma secretária, e não acho que vá impedir com qualquer um de nós. — 09:18

Conceitos e entidades

Eliza (modelo): Chatbot criado por Joseph Weizenbaum em 1966 que usa palavras-chave, regras e scripts para gerar respostas.
Joseph Weizenbaum (pessoa): Professor do MIT que criou Eliza e mais tarde alertou sobre os riscos de atribuir sabedoria e compreensão a computadores.
MIT (empresa): Instituição onde Weizenbaum era professor e cujo arquivo preservou o código original de Eliza.
SLIP (ferramenta): Biblioteca usada por Eliza para lidar com listas de palavras, cuja manipulação de números podia levar o programa a falhar.
IBM 7094 (ferramenta): Computador de grande porte no qual Eliza foi executado originalmente.
ARPANET (conceito): Rede que precedeu a internet e ajudou a disseminar uma versão de Eliza escrita em Lisp.
BBN (empresa): Organização onde um programador criou uma versão de Eliza em Lisp que se espalhou pela ARPANET.
Eliza effect (conceito): Tendência de as pessoas atribuírem compreensão ou capacidades humanas a um programa que apenas simula uma conversa.
Inventing Eliza (conceito): Livro da MIT Press citado no vídeo por comparar o funcionamento de Eliza ao de chatbots com um modelo e um system prompt.
OpenAI (empresa): Empresa citada no vídeo por suas preocupações com o apego emocional de usuários ao ChatGPT.
ChatGPT (modelo): Chatbot atual citado na comparação com as preocupações de Weizenbaum sobre vínculos emocionais com máquinas.

Tradução completa (pt-BR)

00:00 Esta é Eliza, o primeiro chatbot já criado, rodando seu código original dos anos 1960, e ela ainda responde exatamente do mesmo jeito que respondia em 1966. E, se eu digitar um número, ela ainda trava. Esse código exato ficou guardado, sem ser visto, em uma caixa no MIT por mais de 50 anos, e agora voltou a funcionar no meu Mac, em um programa que finge ser um mainframe dos anos 1960. Vou reproduzir as conversas mais famosas dela e fazê-la falhar de algumas maneiras diferentes; depois, vamos falar sobre por que seu criador passou a vida alertando as pessoas sobre ela, porque aquilo sobre o que ele alertava é exatamente o problema que estamos

00:30 vendo nos chatbots de IA de hoje. >> [música] >> Então, uma explicação rápida. Eliza foi criada por Joseph Weizenbaum, professor do MIT, e ele a apresentou em um artigo de 1966. Ela rodava em um computador do tamanho de uma sala, um IBM 7094, uma máquina que custava 2,9 milhões de dólares, o equivalente a cerca de 23 milhões de dólares hoje, e tinha menos memória do que uma única foto no seu celular. Também não havia tela. Era preciso digitar em uma máquina de escrever conectada ao computador, e ele datilografava

01:01 as respostas no mesmo papel. Havia também uma tecla que não era permitido apertar: o ponto de interrogação. E lembre-se disso, porque é claro que vamos apertá-la mais adiante. Weizenbaum publicou uma conversa completa com Eliza em seu artigo, então o verdadeiro teste é saber se o código daquela caixa realmente conversa do jeito que o artigo diz. Para descobrir, carreguei o script de médico do artigo, em que Eliza interpreta uma terapeuta, e estou digitando exatamente as falas que ele publicou. Os homens são todos iguais. >> Em que sentido? >> Eles estão sempre nos incomodando com uma coisa ou outra.

01:31 >> Você consegue pensar em um exemplo específico? >> Isso foi publicado por Weizenbaum em 1966, palavra por palavra. E a fala seguinte mostra um pouco de como isso funciona. Bem, meu namorado me fez vir aqui. Ela responde: >> Seu namorado fez você vir aqui? >> Eliza é basicamente só um espelho com algumas regras. Ela identifica uma palavra-chave e troca “meu” por “seu” e “me” por “você”, encaixando suas próprias palavras em uma resposta pronta. Se identificar mais de uma palavra-chave, vence a que tem classificação mais alta. Ela não faz ideia do que um namorado realmente é. E foi por isso que Weizenbaum fez dela uma terapeuta.

02:02 O exemplo dele era o seguinte: se você diz a uma terapeuta que fez um longo passeio de barco e ela responde “fale sobre barcos”, você não acha que ela não sabe do que está falando; presume que ela está levando a conversa a algum lugar. Mas esse sistema também tem suas falhas. Se você disser que era como meu pai em alguns aspectos, ela simplesmente responderá com =DIT. Essa é uma das próprias regras dela vazando. É uma instrução para usar as respostas DIT, que esse código mais antigo não consegue seguir nesse caso. Então, ele imprime E em vez disso. Se continuarmos essa conversa como Weizenbaum fez, chegaremos à última fala: valentões. >> Isso tem alguma coisa [limpa a garganta] a ver com o fato de que seu namorado

02:34 fez você vir aqui? >> E essa resposta revela outro truque. Quando não encontra nenhuma palavra-chave, ela ou diz algo vago, como “continue, por favor”, ou retoma algo que você disse antes. Então, quando você fala sobre alguma coisa sua, ela pode guardar uma cópia para usar depois, dando a impressão de que esteve ouvindo o tempo todo. Aliás, você pode executar tudo isso por conta própria; é tudo open source, e vou deixar os links na descrição abaixo. Agora que sabemos que ela consegue manter algum tipo de conversa, vamos tentar fazê-la falhar dizendo que hoje você tem 999 anos. Quando você faz isso, o programa inteiro morre, e eu volto direto para uma linha de comando dos anos 1960. Para explicar esse

03:06 travamento, imagine sua frase como uma cadeia de notas adesivas, em que cada nota indica onde encontrar a próxima. A biblioteca de Eliza para lidar com listas de palavras, chamada SLIP, funciona mais ou menos assim. Quando você digita um número, ela o confunde com uma dessas instruções e então tenta reendereçá-lo, procurando em um lugar aleatório da memória, e acaba travando. A equipe só descobriu isso ao executar o código, e deixou essa falha ali de propósito. Mais tarde voltaremos ao motivo. Mas o número não é a única maneira de fazer isso falhar. Lembra da tecla que não era permitido apertar? Vamos perguntar a ela

03:38 como ela está usando um ponto de interrogação. No sistema do MIT, o ponto de interrogação era a tecla para apagar esta linha; então, ele apaga a linha inteira que digitei, e Eliza acha que não enviei nada. Uma linha em branco é o sinal para ela salvar seu script; então, ela me pede um número, imprime o script inteiro na tela e encerra o programa. Portanto, literalmente não dá para fazer uma pergunta ao primeiro chatbot e, se você tentar, ele despeja todas as regras que tem na tela. Tecnicamente, este é o primeiro vazamento de system prompt de um chatbot, mas também revela a última peça de como Eliza funciona. O

04:08 script que ela acabou de despejar é toda a sua personalidade. A própria Eliza é apenas um mecanismo, e o script por cima diz a ela quem deve ser. É bem parecido com os chatbots que você usa hoje, que têm um modelo com um system prompt por cima. Um novo livro da MIT Press, que sai em julho, chamado Inventing Eliza, faz essa mesma comparação. Esse modelo nunca foi apenas um terapeuta de brinquedo: era a primeira plataforma de chatbot. Você podia até reescrever a personalidade dela enquanto ela estava funcionando. Se você digitar um sinal de mais, Eliza para de conversar e diz: “Dê-me instruções.” Então, aqui acrescentei uma regra: se você disser oi,

04:39 ela responde: “Olá de” e, em seguida, o que quer que tenha vindo depois do oi. Mas, se eu disser oi para todos os meus amigos, ela ignora minha regra e simplesmente diz: “Seus amigos”, porque a classificação dessa regra é mais alta. Então, volto lá, classifico minha regra acima dela, e agora ela diz: “Olá de para todos os seus amigos.” Essa capacidade de ensinar é, na verdade, a origem do nome dela. Na peça Pygmalion, que mais tarde virou My Fair Lady, um professor ensina uma florista chamada Eliza Doolittle a falar como uma dama da alta sociedade. Weizenbaum deu esse nome ao programa porque ele também podia ser ensinado. E, como ela, também podia

05:09 interpretar um papel. Ele até começa perguntando: “Qual script você deseja executar?” A terapeuta era apenas um dos scripts. A equipe de Inventing Eliza encontrou outros no arquivo do MIT, como um que só conversa informalmente sobre a Nova Inglaterra. Em uma conversa, alguém digita: “Gosto do Missouri.” E ele responde: “Missouri não é um estado da Nova Inglaterra.” Agora, quase não conseguimos fazer nada disso funcionar. O código tem cerca de 2.600 linhas e, em sua maior parte, não tem documentação. O reconhecimento de texto teve dificuldades com a tinta de impressora de 60 anos, então dois pesquisadores redigitaram à mão a maior parte do código

05:40 . Uma função não estava no arquivo nem em nenhum manual e, nas palavras deles, “O Google não ajudou”. Então, deduziram o que ela deveria fazer e a escreveram por conta própria. Quando finalmente executaram o programa, tentaram enviar “os homens são todos iguais”, e ele travou. A causa era um erro de digitação escondido no código: havia quatro zeros onde deveriam existir cinco. Depois que corrigiram isso, em 21 de dezembro de 2024, Eliza teve uma conversa pela primeira vez em mais de 60 anos. Então, como o primeiro chatbot desapareceu por tanto tempo? Bem, ele acabou sendo derrotado pelas próprias

06:12 cópias. Pouco depois da publicação do artigo, um programador da BBN escreveu sua própria versão em Lisp, e a BBN estava construindo a ARPANET, a rede que se tornou a internet. Então, aquela cópia se espalhou pelas universidades, enquanto o original de Weizenbaum ficou em uma máquina IBM que nunca foi conectada a ela. Além disso, o artigo dele apresentava o script de médico, que parecia exatamente Lisp, então, por cerca de 50 anos, as pessoas presumiram que Eliza era um programa em Lisp. Depois, em 1977, uma revista publicou uma versão em BASIC que tinha apenas algumas páginas,

06:43 justo quando os computadores domésticos começaram a se popularizar. Aquela versão foi copiada para todas as linguagens [música] que você possa imaginar, e os pesquisadores chamam Eliza talvez de o programa mais pirateado da história. Curiosamente, a pessoa que escreveu aquela versão em BASIC é a mesma que encontrou o original. Em 2021, ele e um arquivista do MIT retiraram uma caixa com o rótulo “computer conversations box eight” e, dentro dela, estava a impressão do código de Eliza, além de conversas que ninguém jamais tinha visto, muitas delas editadas à mão por Weizenbaum. Depois que encontraram esse código, quiseram restaurá-lo à sua

07:13 original, e o código que roda hoje é exatamente 96% igual ao que foi encontrado naquela caixa. Voltando aos bugs, eles disseram que corrigir o bug dos números significaria mudar o núcleo do programa e, nas palavras deles, encontrar bugs só aumenta a autenticidade. Eles até deram a essa parte do artigo o nome de Ada Lovelace, que escreveu, ainda na década de 1840, que os computadores poderiam trabalhar com outras coisas além de números. É que Eliza levou isso um pouco ao pé da letra. Então, é assim que Eliza funciona e como desapareceu. Mas agora vamos falar da parte mais sombria: por que seu criador passou o resto da

07:44 vida alertando as pessoas sobre IA. Por dentro, Eliza é apenas um espelho que devolve suas próprias palavras, mas o problema é que as pessoas não a trataram como tal. A própria secretária de Weizenbaum sabia muito bem que era apenas um programa que ele havia escrito, mas, depois de trocar apenas algumas frases com ele, pediu que ele saísse da sala para que pudesse conversar com o programa em particular. Além disso, os psiquiatras também começaram a levá-lo a sério. Em 1966, três deles escreveram que um sistema de computador como aquele poderia atender várias centenas de pacientes por hora. Weizenbaum ficou tão alarmado que escreveu que um programa simples como aquele poderia

08:16 induzir pensamentos delirantes poderosos em pessoas perfeitamente normais. E isso agora é chamado de efeito Eliza. Então, tudo isso transformou o homem que criou o primeiro chatbot em um dos primeiros críticos da IA. Em seu livro de 1976, ele escreveu que, como não temos como tornar os computadores sábios, não deveríamos dar a eles tarefas que exijam sabedoria. Ele temia que as pessoas criassem vínculos prejudiciais com as máquinas e continuou alertando sobre isso até morrer, em 2008. E esse é, de certa forma, exatamente o problema que estamos vendo hoje com os chatbots de IA. Um ano atrás, a OpenAI disse

08:46 que cerca de 0,15% dos usuários do ChatGPT demonstravam níveis elevados de apego emocional a ele. Na época, mais de 800 milhões de pessoas usavam o ChatGPT toda semana, então isso representa mais de um milhão de pessoas. E o padrão que, segundo a OpenAI, causa preocupação é o apego em detrimento dos relacionamentos no mundo real. Weizenbaum, na verdade, começou seu artigo de 1966 com a frase: “Dizem que explicar é desfazer o mistério.” Quando você entende como um programa funciona, a magia se desfaz e você pensa: “Eu poderia ter escrito isso.” No fim das contas, Eliza é apenas um espelho com algumas regras, e mesmo assim as pessoas

09:18 se abriram com ele. Os chatbots de hoje são muito mais capazes do que isso, o que torna o alerta dele mais relevante, não menos. Saber como o truque funciona não impediu que isso acontecesse com uma secretária, e não acho que impeça que aconteça com qualquer um de nós. Conte nos comentários abaixo o que você acha de tudo isso. Já que está por aqui, inscreva-se e, como sempre, até a próxima. >> [música] [música]

Transcrição original

[00:00] This is Eliza, the first chatbot ever made running its original 1960s code, and it still answers exactly the same way it did in 1966. And if I type a number, it still crashes. This exact code sat unseen in a box at MIT for over 50 years, and now it runs again on my Mac in a program that pretends to be a 1960s mainframe. I’m going to replay its most famous conversations and break it in a couple different ways, and then we’ll get to why its creator spent his life warning people about it, because what he was warning about is the exact problem we’re

[00:30] seeing with AI chatbots today. >> [music] >> So, quick explainer. Eliza was built by Joseph Weizenbaum, a professor at MIT, and he published it in a paper in 1966. It ran on a computer the size of a room, an IBM 7094, a machine that cost $2.9 million, which is around $23 million today, and it had less memory than a single photo on your phone. There was no screen, either. You had to type on a typewriter wired up to the computer, and it typed

[01:01] its replies back on the same paper. There’s also one key that you weren’t allowed to press, which is the question mark. And remember that, because of course we’re going to press that later on. Now, Weizenbaum printed one full conversation with Eliza in his paper, so the real test is whether the code from that box actually talks the way his paper says it does. To find out, I’ve loaded the doctor script from his paper, where Eliza plays a therapist, and I’m typing in the exact lines he published. Men are all alike. >> In what way? >> They’re always bugging us about something or other.

[01:31] >> Can you think of a specific example? >> That is word-for-word what Weizenbaum printed in 1966. And the next line shows us some of how this works. Well, my boyfriend made me come here. Comes back as >> Your boyfriend made you come here? >> Eliza is basically just a mirror with some rules. It spots a keyword and swaps my for your and me for you, and slots your own words into a template reply. If it does spot more than one keyword, the higher-ranked one wins. It has no idea what a boyfriend actually is. And that’s why Weizenbaum made this a therapist.

[02:02] His example was if you tell a therapist you went on a long boat ride, and they say tell me about boats, you don’t think they’re clueless, you assume they’re going somewhere with it. But this system is also not without its faults. If you tell it you were like my father in some ways, it’ll just reply with equals DIT. That’s one of its own rules leaking out. It’s an instruction to use its DIT replies, which this older code can’t follow there. So it prints E instead. If we keep this conversation going the way Weizenbaum did, we get to the last line, bullies. >> Does that have anything [clears throat] to do with the fact that your boyfriend

[02:34] made you come here? >> And this one is revealing another trick. When it finds no keyword, it either says something vague like please go on, or it brings back something you said earlier. So when you talk about my something, it can save a copy for later, so it looks like it’s been listening the whole time. You can run this all yourself by the way, it’s all open source, and I’ll leave the links in the description down below. So now that we know it can hold some kind of conversation, let’s try and break it by telling it you are 999 today. When you do this, the whole program dies, putting me straight back to a 1960s command line. To explain this

[03:06] crash, if you think of your sentence as a chain of sticky notes, where each note says where to find the next one, Eliza’s library for handling list of words, called SLIP, works a bit like that. When you type a number, it mistakes that number for one of those directions, and then readdress, so it goes looking in some random spot in memory, and falls over. The team this code only found this out by actually running it, and they left this in on purpose, and we’ll get back to why later. But first, a number isn’t the only way to break this. Remember the key that you weren’t allowed to press earlier? Let’s ask it

[03:38] how are you with a question mark. On MIT system, the question mark was the delete this line key, so it wipes my whole line, and Eliza thinks I’ve sent it nothing. A blank line is its signal to save its script, so it asks me for a number, then prints its entire script onto the screen and quits. So, you literally can’t ask the first chatbot a question, and if you try, it dumps every rule it has out onto its screen. This is technically the first chatbot system prompt leak, but it also reveals the final piece of how Eliza works. The

[04:08] script it just dumped is its entire personality. Eliza itself is just an engine, and the script on top tells it who to be. Pretty similar to how chatbots you use today have one model with a system prompt on top. A new book from MIT Press this July called Inventing Eliza makes that same comparison. This model was never just a toy therapist, it was the first chatbot platform. You could even rewrite its personality while it was running. If you type a plus sign, Eliza stops chatting and says, “Please instruct me.” So, here I’ve added a rule where if you say hi,

[04:39] it replies, “Hello from” and then whatever came after the hi. But, if I say hi to all my friends, it ignores my rule and just says, “Your friends.” because my ranks higher. So, I go back in, rank my rule above it, and now it says, “Hello from to all your friends.” This ability to teach is actually where its name comes from. In the play Pygmalion, which later became My Fair Lady, a professor teaches a flower girl called Eliza Doolittle to speak like an upper-class lady. Weizenbaum named his program after her because it could be taught, too. And like her, it could also

[05:09] play a part. It even starts by asking, “Which script do you wish to play?” The therapist was just one of those scripts. The Inventing Eliza team found others in the MIT’s archive, like one that only makes small talk about New England. In one conversation, they show someone types, “I like Missouri.” and it replies, “Missouri is not a New England state.” Now, getting any of this running nearly didn’t happen. The code is about 2,600 lines and mostly undocumented. Text recognition struggled on 60-year-old printer ink, so two researchers typed most of it back by

[05:40] hand. One function wasn’t in the archive at all or any manual, and in their words, “Google was not helpful.” So, they worked out what it must do and wrote it themselves. When they finally ran it, they tried sending men are all alike and it crashed. The cause was one typo deep in the code, four zeros where there should have been five. After they fixed that, on December 21st, 2024, Eliza held a conversation for the first time in over 60 years. So, how does the first chatbot go missing for that long? Well, it kind of got beaten by its own

[06:12] clones. Shortly after the paper came out, a programmer at BBN wrote his own version in Lisp and BBN was building the ARPANET, which was the network that became the internet. So, that copy spread to university and Weizenbaum’s original sat on an IBM machine that was never connected to it. On top of this, his paper printed the doctor script, which looked exactly like Lisp, so people assumed for about 50 years that Eliza was a Lisp program. Then, in 1977, a magazine published a version in BASIC that was only a couple of pages long,

[06:43] right as home computers took off. That one got copied into every language [music] that you can think of and the researchers call Eliza perhaps the most knocked off program in history. Funnily enough, the person who wrote that BASIC version is the same person who found the original. In 2021, he and an MIT archivist pulled out a box labeled computer conversations box eight and inside was the printout of Eliza’s code plus conversations nobody had ever seen before and a lot of them hand edited by Weizenbaum. Once they found this code, they wanted to restore it to its

[07:13] original and the code running today is 96% exactly what was found in that box. Going back to the bugs, they said that fixing the number bug would mean changing its core and in their words, finding bugs only adds to the authenticity. They even named that part of the paper after Ada Lovelace, who wrote back in the 1840s that computers could work on other things besides numbers. It’s just that Eliza took that a little bit too literally. So, that’s how Eliza works and how it went missing. But, now let’s talk about the darker part, why its creator spent the rest of

[07:44] his life warning people about AI. Under the hood, Eliza is just a mirror handing your own words back to you, but the trouble is people didn’t treat it like one. Weizenbaum’s own secretary knew full well it was just a program that he’d written, but after only a few lines of chatting with it, she asked him to leave the room so she could talk to it in private. On top of this, psychiatrists started to take it seriously as well. Three of them wrote in 1966 that a computer system like this could handle several hundred patients an hour. Weizenbaum was so alarmed he wrote that simple program like this could

[08:16] induce powerful delusional thinking in quite normal people. And this is now called the Eliza effect. So, all of this turned the man who built the first chatbot into one of AI’s earliest critics. In his 1976 book, he wrote that since we have no way of making computers wise, we ought not now to give computers tasks that demand wisdom. He worried that people would form harmful attachments to machines and he kept warning about this until he died in 2008. And this is kind of the exact problem that we’re seeing with AI chatbots today. A year ago, OpenAI said

[08:46] around 0.15% of ChatGPT’s users showed heightened levels of emotional attachment to it. At the time, over 800 million people use ChatGPT every week, so that’s more than a million people. And the pattern that OpenAI says it’s worried about is attachment at the expense of real-world relationships. Weizenbaum actually opened his 1966 paper with the line, It is said that to explain is to explain away. Once you see how a program works, the magic crumbles and you think, I could have written that. Overall, Eliza is just a mirror with a few rules and people still

[09:18] confided in it. Today’s chatbots are wildly more capable than this, which makes his warning more relevant and not less. Knowing how the trick works didn’t work on a secretary and I don’t think it stops it working on any of us either. Let me know what you think about all of this in the comments down below. While you’re there, subscribe and as always, see you in the next one. >> [music] [music]